Na čtyři roky starou esej Richarda Suttona nazvanou Hořká lekce dozrál právě čas. Právě přemýšlíme, co bude ten další skok, jak bude vypadat GPT-5 a co nového přinese? Už GPT-4 nespoléhá jen na vyšší počet “slov”, ve skutečnosti je konglomerátem několika propojených jazykových a matematických modelů, které si předávají slovo podle toho, který z nich podá nejlepší výsledek (pozor, toto je domněnka, OpenAI detaily nezveřejnila).
Richard Sutton je poměrně známý činovník v AI, profesor na univerzitě v Alabamě atd. A před lety konstatoval, že vývoj AI bude efektivnější nechat na samotné AI, protože výkon počítačů předčí lidský intelektuální vklad: “Největší poučení, které lze vyčíst ze 70 let výzkumu umělé inteligence, je, že obecné metody využívající výpočetní techniku jsou nakonec nejefektivnější, a to s velkým náskokem.”
A skutečně. GPT-4 vytvořilo 375 zaměstnanců OpenAI a ani 190 tisíc zaměstnanců společnosti Alphabet nedokázalo způsobit, aby mladou firmu OpenAI předhonil Google. Můžeme spekulovat o tom, že inovační potenciál Google se vyčerpal, jenže to spíše není pravda. Ve skutečnosti a daleko spíše těm zaměstnancům nesmírně pomohl obrovský výpočetní výkon, který si OpenAI nakoupilo a který výzkum jazykových modelů a AI postrčil neskutečným způsobem, přesně jak Sutton před několika lety tvrdil.
Už možná také lépe rozumíte tomu, proč USA se tolik snaží, aby Čína neměla dostatek výpočetní kapacity pro AI…
| 