Vědci dali AI horší paměť — a naučila se jazyk lépe

Vědci vzali jazykový model umělé inteligence a záměrně mu zhoršili paměť. Nechali ho postupně zapomínat slova, která přečetl před chvílí. Podle veškeré intuice měl model zhloupnout. Místo toho se naučil gramatiku lépe než jeho verze s dokonalou pamětí — a rozvířil tím starou otázku, jestli je bezedná paměť u AI vlastně výhoda, nebo handicap.

Studii publikovali v červnu 2026 Abishek Thamma (Univerzita v Amsterdamu) a Micha Heilbron (Max Planck Institute for Psycholinguistics) v recenzovaném časopise Transactions of the Association for Computational Linguistics. Její závěr zní kacířsky: omezení paměti může učení jazyka pomáhat, ne škodit.

Co přesně vědci udělali

Dnešní jazykové modely mají v rámci kontextového okna prakticky bezchybnou paměť. Každé slovo, které jim pošlete, zůstává doslovně dostupné — model se k němu může kdykoli vrátit v přesném znění. Lidský mozek takhle nefunguje ani náhodou. Přesné znění věty, kterou jste právě přečetli, vám z hlavy vypadne během několika sekund. Zůstane význam, ne slova.

Thamma a Heilbron proto do architektury Transformeru vložili úbytek paměti (memory decay) — mechanismus, který nechá vzdálenější slova postupně blednout. Vznikly tak modely, které autoři nazvali fleeting memory transformers, tedy transformery s prchavou pamětí.

Trénovali je na datasetu BabyLM. To je speciální benchmark navržený tak, aby odpovídal množství jazyka, které za dětství skutečně slyší lidské dítě — tedy řádově méně dat, než na jakých se učí komerční modely. Šlo o kontrolované srovnání: stejný model, stejná data, jediný rozdíl byl v tom, jestli si systém všechno pamatuje, nebo pomalu zapomíná.

Zapomínání jako filtr na podstatné

Modely s prchavou pamětí dosáhly lepších výsledků jak v celkovém modelování jazyka, tak v cílených testech syntaktických znalostí. A nešlo o náhodu — efekt se opakoval napříč různými tréninkovými běhy a inicializacemi.

Vysvětlení je elegantní. Když si model může všechno doslovně pamatovat, má snadnou cestu: prostě si zapamatuje konkrétní sekvence slov. Když mu ale vzdálenější slova mizí, tahle zkratka přestane fungovat. Systém je architektonicky donucen z textu vytáhnout něco trvanlivějšího — abstraktní gramatické vztahy a opakující se vzorce. Je to podobné, jako když si student nemůže vzít taháky a musí konečně pochopit princip.

Nápad sám o sobě není nový. V kognitivní vědě se objevuje minimálně od konektivistické práce Jeffreyho Elmana z roku 1993, který navrhl, že „méně je více“ — omezená paměť malých dětí jim paradoxně usnadňuje osvojení jazyka. Nástup Transformerů tuhle hypotézu zdánlivě vyvrátil, protože modely bez jakéhokoli omezení paměti se jazyk naučily skvěle. Nová studie ukazuje, že Elman měl pravdu i uvnitř moderních neuronových sítí.

Kouzlo se skrývá v rozmezí 3 až 7 slov

Nejzajímavější detail: samotné zapomínání nestačilo. Výhoda se objevila jen tehdy, když byl úbytek paměti zkombinovaný s krátkým „echoickým“ bufferem, který podržel v přesném znění poslední tři až sedm slov.

Echoická paměť je pojem z psychologie — je to ten pár sekund, během kterých vám v hlavě doslova „doznívá“ právě slyšená věta. Bez tohoto okamžitého okna model ztratil lokální kontext potřebný ke spojení slov do frází a učení se rozpadlo. Funkční recept tedy zní: maximální přesnost v bezprostředním okolí + rychlé mizení všeho vzdálenějšího. Ne bezedná paměť, ale chytře nastavená hierarchie.

Paradox, který vědci nečekali

Studie přinesla i výsledek, který autory zaskočil. V počítačové lingvistice dlouhodobě platí pravidlo: čím lepší je jazykový model, tím přesněji dokáže předpovědět, jak dlouho bude člověku trvat přečtení konkrétního slova (tzv. surprisal-based predikce čtecích časů).

Modely s prchavou pamětí tohle pravidlo rozbily. Byly výrazně lepší v gramatice, ale zároveň horší v předpovídání lidského čtení. Následné analýzy ukázaly, že dosavadní vysvětlení téhle nesrovnalosti na tento případ nesedí.

Z toho plyne provokativní závěr: mechanismy, které jsou dobré pro naučení jazyka, můžou být jiné než ty, kterými dospělý mozek jazyk zpracovává v reálném čase. Učit se a používat zjevně nejsou totéž — ani u lidí, ani u strojů.

Proč by to mělo zajímat i firmy

Na první pohled akademická kuriozita. Ve skutečnosti je to připomínka, která má přímý byznysový dopad: víc dat a víc paměti neznamená automaticky lepší výsledek. Přesně stejná iluze žene firmy k tomu, aby AI nasazovaly stylem „nasypeme tam všechno, co máme, a ono to nějak vyleze“.

Ve firemní praxi to vypadá jinak — nejlepší výsledky obvykle dává dobře ohraničený, promyšleně omezený vstup. Vhodně zvolený rozsah dat a jasně definovaná role modelu často porazí větší a dražší řešení, do kterého se nasype všechno bez rozmyslu. Jestli řešíte, kde má AI ve vaší firmě reálný smysl a kde je to jen drahá hračka, nezávazná konzultace s Praxiem vám ušetří spoustu slepých uliček — projdeme to s vámi krok za krokem a řekneme vám i to, co nechcete slyšet. Rychlý přehled o tom, kde stojíte, dá i AI Kompas.

Často kladené otázky

Znamená to, že ChatGPT by fungoval lépe s horší pamětí?

Ne přímo. Studie testovala malé modely trénované na dětském množství dat (benchmark BabyLM), ne velké komerční systémy typu ChatGPT. Autoři sami mluví o studii typu „proof of principle“. Výsledek ukazuje, že neomezená paměť není automaticky optimální — ale nedokazuje, že by přeškrtnutí paměti pomohlo dnešním velkým modelům.

Co je to echoická paměť a proč byla ve studii klíčová?

Echoická paměť je krátkodobé smyslové uložiště zvuku, díky kterému vám právě slyšená věta ještě pár sekund „zní“ v hlavě. Ve studii tuhle roli plnil buffer uchovávající poslední 3 až 7 slov v přesném znění. Bez něj přestal úbytek paměti fungovat jako výhoda a učení se zhoršilo.

Kdo studii publikoval a kde si ji lze přečíst?

Abishek Thamma a Micha Heilbron, publikováno v roce 2026 v Transactions of the Association for Computational Linguistics (roč. 14, s. 877–892, DOI: 10.1162/TACL.a.688). Studie je open access.

Otázka na závěr

Když se ukáže, že nedokonalá paměť pomáhá strojům lépe pochopit jazyk, co to říká o té naší? Možná není zapomínání chybou biologického hardwaru, ale funkcí — způsobem, jak mozek odděluje podstatné od balastu. Chtěli byste si pamatovat všechno doslova, kdybyste mohli?

Zdroje: Max Planck Institute for Psycholinguistics · Thamma & Heilbron, TACL (2026) · Neuroscience News · TechXplore