Grokking: AI se učila marně, pak si vymyslela matematiku

Grokking je moment, kdy neuronová síť po tisících kol bezvýsledného trénování najednou úlohu pochopí — a z nulové úspěšnosti vyletí na stoprocentní. Vypadá to jako chyba v měření. Není. A když vědci otevřeli váhy takového modelu, našli v nich algoritmus, který si síť vymyslela sama a nikdo jí ho neukázal.

Představte si studenta, který se měsíce učí nazpaměť tabulky příkladů. U zkoušky propadne. Učí se dál — dávno po termínu, kdy už to podle všech pravidel nemá smysl. A pak jednoho dne, bez nového materiálu, pochopí princip a vyřeší i příklady, které nikdy neviděl. Přesně to se stalo neuronovým sítím v laboratoři OpenAI.

Síť, která se „probudila“ dávno po propadnutí

V lednu 2022 zveřejnil tým Alethey Power z OpenAI práci s názvem Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets. Pracovali se záměrně jednoduchými matematickými úlohami — například modulární aritmetikou, tedy sčítáním se zbytkem. Průběh byl tenhle:

• Síť si během krátké chvíle zapamatovala všechna trénovací data — na tréninku měla téměř 100 % správných odpovědí.
• Na testovacích příkladech, které neviděla, zůstávala na úrovni náhody.
• Podle učebnicového postupu je tohle klasický overfitting a trénink se má zastavit.
• Vědci ho ale nechali běžet mnohonásobně dál — a testovací úspěšnost pak skokem vyletěla na dokonalou generalizaci.

Název si autoři vypůjčili od Roberta Heinleina. V jeho románu Stranger in a Strange Land z roku 1961 znamená „grok“ pochopit něco tak hluboko, že to splyne s vámi.

Co se dělo uvnitř: AI si sama vymyslela hodiny

Nejzajímavější odpověď přinesl v roce 2023 tým Neela Nandy na konferenci ICLR. Vzal malý transformer natrénovaný na úlohu (a + b) mod 113 a rozebral mu váhy.

Zjistil, že síť nepočítá jako člověk. Převede si čísla na siny a cosiny — tedy na body na kružnici — a sečte je skládáním rotací pomocí goniometrických součtových vzorců. Výsledek pak „přečte“ z toho, kde se jednotlivé vlny sečtou do maxima. Je to fungující trigonometrický algoritmus, něco jako ciferník hodin. Nikdo ho síti nenaprogramoval ani nenaznačil. V datech byly jen příklady.

Stejná práce rozdělila trénink na tři fáze, které se zvenčí nedají poznat:

1. Memorizace (epochy 0–1 400): síť se učí data nazpaměť.
2. Formování obvodu (1 400–9 400): vedle memorování se postupně a nepozorovaně skládá obecný algoritmus.
3. Úklid (9 400–14 000): síť vyhodí memorizační balast — a teprve v tu chvíli skočí testovací úspěšnost nahoru.

Tohle je zásadní detail. Ten dramatický skok na grafu není okamžik pochopení. Pochopení vznikalo dlouho předtím, potichu a neviditelně. Skok je jen moment, kdy zmizí poslední zbytky memorování, které ho zakrývaly.

Proč to fyzikům připomíná zemětřesení

V dubnu 2026 přidal další dílek Ping Wang z Institute of High Energy Physics Čínské akademie věd. V preprintu Grokking as Dimensional Phase Transition in Neural Networks měřil, jak se během trénování mění geometrie „gradientových lavin“ — tedy toho, jak se úpravy vah šíří sítí. Testoval osm velikostí modelu, od 20 do 500 neuronů ve skryté vrstvě.

Naměřil posun efektivní dimenze z 0,90 před grokkingem na 1,20 po něm (čistě náhodné šíření by dalo 1,0). Jednoduše řečeno: změny vah přestanou být lokální a izolované a začnou se šířit jako kolektivní kaskády napříč celou sítí. Autor to řadí do rámce self-organized criticality — stejného, jakým fyzici popisují zemětřesení nebo lavinovou aktivitu neuronů v mozku. Jde o preprint, který dosud neprošel recenzí, takže ho berte jako hypotézu, ne hotové vysvětlení.

Co si z toho odnést, pokud AI ve firmě používáte

Grokking je zatím doložený hlavně na malých, umělých matematických úlohách. Nepřenášejte ho automaticky na ChatGPT nebo Claude. Tři věci ale platí obecně:

• Metriky lžou v obou směrech. Model, který na testu vypadá jako hod kostkou, může být krok od řešení. Model s perfektními čísly na známých datech nemusí umět nic.
• „Umí to“ a „zapamatovalo si to“ vypadá zvenčí stejně. To je i důvod, proč je hodnocení komerčních modelů na veřejných benchmarcích tak křehké — testovací otázky mohou být v trénovacích datech.
• Jediný důvěryhodný test je váš vlastní. Vaše data, vaše formuláře, vaše zadání. Čísla z marketingových materiálů o vašem provozu nevypovídají nic.

Pokud řešíte, kde ve firmě začít a jak poznat, že vám AI skutečně pomáhá a ne jen vypadá dobře v demu, zkuste pro první přehled AI Kompas, nebo si s námi dejte nezávaznou konzultaci. Projdeme to s vámi krok za krokem a řekneme vám i to, co nechcete slyšet — nejsme napojení na žádného dodavatele. Příklady konkrétních nasazení najdete v sekci AI v praxi.

Často kladené otázky

Co přesně znamená grokking u AI?

Grokking je jev, při kterém neuronová síť nejprve data jen memoruje a selhává na nových příkladech, a po mnohem delším trénování náhle přejde k obecnému řešení úlohy. Poprvé ho popsal tým OpenAI v roce 2022 na malých algoritmických datasetech.

Znamená grokking, že AI opravdu „rozumí“?

Ne v lidském smyslu. Znamená to, že si síť ve svých vahách sestavila obecně platný algoritmus místo tabulky odpovědí. U modulárního sčítání šlo o trigonometrický postup na kružnici. Je to zásadní rozdíl proti memorování, ale není to porozumění ve smyslu vědomé úvahy.

Dá se grokking vyvolat záměrně?

Částečně. Výzkum ukazuje, že k přechodu na obecné řešení pomáhá regularizace — hlavně weight decay, který znevýhodňuje „těžká“ memorizační řešení — a dostatečně dlouhý trénink. Spolehlivý recept pro velké jazykové modely ale neexistuje.

A jedna otázka na zamyšlení. Pokud se síť může tisíce kol tvářit, že nic neumí, a pak to najednou umět — nakolik si můžeme být jistí, že model, který dnes testujeme, nám ukazuje všechno, co v něm je?

Zdroje: Power et al., OpenAI (arXiv, 2022), Nanda et al., ICLR 2023, Wang, arXiv preprint (2026).