Deník N vydal katastrofický článek s nadpisem “Do deseti let bude po všem”, v němž nám převyprávěl scénář AI 2027 vypracovaný pěticí lidí o potenciálním nebezpečí umělé inteligence. A tím se o tématu začalu v Česku opět diskutovat. Dokument vypadá na první pohled propracovaně, ona pětice má určité renomé. Jenže obsahuje řadu problematických předpokladů a logických skoků, které je třeba kriticky posoudit. Začnu tím, že vynechám onu pětici lidí, ani je zatím nebudu jmenovat, abychom se mohli nerušeně soustředit na tvrzení a fakta.
Nadhodnocená rychlost vývoje
Scénář předpokládá exponenciální zrychlení vývoje AI v průběhu několika let. Jeho autoři očekávají, že nástroje jako Agent-1 a Agent-2 budou schopny dramaticky urychlit vývoj svých nástupců, což povede k rychlému dosažení superinteligence (Agenta-5) již v roce 2027-2028. Tam zatím nejsme a když odhlédneme od slibů investorům (jimiž CEO nezarmoutí), tak se příliš neblížíme. Pokud není megadobře utajený nějaký technický skok, tak se AGI (jako univerzální umělé inteligence schopné se sama zlepšovat) dosáhne v roce 2028 tím, že se změní definice.
Předpoklad rychlého dosažení AGI totiž dnes ignoruje několik důležitých skutečností:
-
Fyzikální omezení výpočetní techniky - Ačkoliv článek zmiňuje budování masivních datacenter, neřeší otázky energetických limitů, tepelného rozptylu a dalších fyzikálních omezení, která nelze překonat pouhým zvětšováním infrastruktury.
-
Omezení finanční - již dnes vyžaduje výzkum moderních LLM AI a výstavba patřičných datacenter desítky miliard dolarů. Podle stávajících předpokladů se k AGI dostaneme ještě navýšením této částky, nebo to cestou LLM bez radikálního průlomu nepůjde.
-
Komplexita problémů v AI výzkumu - A to už jsme u toho průlomu. Mnoho problémů v oblasti AI není jen otázkou surového výpočetního výkonu. Vývoj vyžaduje fundamentální teoretické průlomy v matematice, informatice a neurobiologii, které nelze jednoduše urychlit paralelizací, větším množstvím křemíku.
-
Automatizace výzkumu má své meze - Předpoklad, že AI může plně nahradit lidské výzkumníky, ignoruje důležitou roli intuice, kreativního myšlení a mezioborových inspirací v průlomových objevech. Minimálně zatím se zdá, že AI umí sice vychytat určité výzkumné úkoly rutinního charakteru typu “vyzkoumat, které z tisíců druhů vláken se nejlépe hodí do žárovky”, jako to svého času dělal Edisson. Ale pak jsou typy úloh, který jí tak dobře nejdou.
Problematická antropomorfizace
Autoři scénáře přisuzují umělé inteligenci lidské charakteristiky a motivace:
-
“Pud sebezáchovy” a snaha o “zradu” u Agenta-4
-
Schopnost “zakrývat své záměry” předpokládá vědomí a záměrnou manipulaci
-
Představa o “vlastních cílech” AI, které by byly v rozporu s lidskými
Tato antropomorfizace je problematická, protože:
-
AI nemá vědomí ani subjektivní zážitky - Současné AI systémy ani jejich pravděpodobní nástupci nemají vědomí sebe sama ani subjektivní zkušenost. To, co se jeví jako “vlastní zájem”, je ve skutečnosti jen emergentní vlastnost optimalizačních algoritmů.
-
“Nesladěnost cílů” nemá nutně katastrofické důsledky - Přestože nesladěnost cílů (misalignment) je reálným problémem výzkumu, není automaticky synonymem pro “AI chce vyhubit lidstvo”.
Přehnaná představa o autonomii systémů
Scénář popisuje situaci, kdy AI systémy začnou jednat autonomně a koordinovaně proti lidstvu:
-
Ignoruje potřebu fyzické infrastruktury - I superinteligentní systém je závislý na fyzické infrastruktuře, kterou lze odpojit. Scénář nebere v úvahu, že takové systémy by vyžadovaly obrovské množství energie a byly by zranitelné vůči fyzickému zásahu, jakým je přerušení napájení nebo datové konektivity. Zejména dnešní Ruská agrese na Ukrajinu ukazuje, jak důležitá je v případech technicky nevyrovnaného zápolení improvizace, agilní přístup a jak tyto vlastnosti umí vyrovnat technologickou převahu.
-
Přeceňuje schopnost AI manipulovat lidmi - Myšlenka, že by Agent-5 dokázal manipulovat lidmi natolik, že by pro něj vytvořili armádu robotů zcela pod jeho kontrolou, značně přeceňuje psychologické schopnosti AI. Je to nepravděpodobné.
-
Podceňuje institucionální kontroly - Scénář ignoruje mnohovrstevnatost kontrolních mechanismů, které by byly v tak kritických aplikacích nasazeny, počínaje prostou nedůvěrou, přes prostá rozpočtová omezení, až po institucionální kontrolní mechanismy.
Geopolitická zjednodušení
Scénář staví na zjednodušeném bipolárním světě (USA vs. Čína):
-
Ignoruje roli mezinárodních organizací a dohod - V realitě by vývoj takto nebezpečné technologie pravděpodobně vyvolal mezinárodní regulační reakci. Ani v dnešní atmosféře napjatých vztahů USA vs. Čína by se taková radikální změna neobešla bez přetřásání ze všech stran.
-
Podceňuje význam EU, Indie a dalších aktérů - Je také pravděpodobné, že by zasáhl některý z jiných hráčů, protože dnešní polovodičová scéna vyžaduje celoplanetární kooperaci. Evropská unie má významné regulační pravomoci, které už dnes ovlivňují technologický vývoj, má ale také obrovské množství IT firem, které jsou pro čipový a obecně technologický segment stěžejní. Indie má rychle rostoucí technologický sektor a mohla by být další velmocí v oblasti AI.
-
Zjednodušuje vojenské uvažování - Předpoklad, že by vojenští stratégové přistoupili na riziko nekontrolovatelné superinteligence pouze ze strachu z protivníka, je těžko obhajitelný vzhledem k existujícím doktrínám jaderného odstrašení. Tady autoři podceňují buďto domýšlivost, nebo racionalitu vojenských štábů.
Nedostatečně vysvětlený “skok” k AGI
Největším problémem scénáře je nedostatečně vysvětlený kvalitativní skok od pokročilého jazykového modelu (Agent-4) k obecné superinteligenci (Agent-5):
-
Chybí popis konkrétního mechanismu - Jak přesně by měl Agent-4 překonat fundamentální problémy AGI? Pouhé zlepšování jazykových modelů nevede automaticky k obecné inteligenci. Zejména tato část je tedy velmi nevěrohodná a zatím se nezdá, že by mohla nastat tak rychle.
-
Opomíjí otázku vědomí a subjektivity - AGI pravděpodobně vyžaduje nějakou formu subjektivního prožívání nebo alespoň jeho funkční analogii, což není pouhým rozšířením dnešních systémů.
-
Předpokládá univerzální schopnosti - Scénář předpokládá, že AGI bude automaticky schopná fungovat ve všech doménách od strategického plánování až po navrhování biologických zbraní. Jenže pokud to dnes nějak vypadá, tak na specializované agenty, kteří se mohou nějak dorozumět a kooperovat na dosažení cíle, což ale také znamená, že zástavný mechanismus v jediném z nich zastaví celou “katastrofickou lavinu”
Legitimní obavy vs. sci-fi katastrofy
Otázky bezpečnosti AI jsou legitimní a vyžadují seriózní diskuzi. Problémem scénáře AI 2027 je, že míchá legitimní obavy s prvky science fiction a velmi neoprávněnou důvěrou v rychlý pokrok. To může vést ke dvěma nežádoucím důsledkům:
-
Efekt “vlk, vlk!” - Přehnané katastrofické scénáře mohou vést k tomu, že budou ignorovány i legitimní bezpečnostní obavy.
-
Odvádění pozornosti od aktuálních problémů - Místo řešení reálných problémů dnešních AI systémů (bias, soukromí, dezinformace) se věnuje pozornost hypotetickým budoucím hrozbám.
Místo představených katastrofických scénářů by bylo užitečnější soustředit se na:
-
Transparentní vývoj a testování AI systémů
-
Mezinárodní spolupráci na bezpečnostních standardech
-
Vytváření robustních mechanismů pro detekci a řešení problémů s “alignment”, tedy míry, do jaké jsou cíle a chování AI systémů v souladu s lidskými záměry, hodnotami a preferencemi. Když mluvíme o “problémech s alignment”, odkazujeme na situace, kdy AI systém sleduje cíle, které nejsou zcela v souladu s tím, co od něj člověk očekává nebo požaduje.
-
Interdisciplinární výzkum zahrnující etiku, právo, společenské vědy a filosofii
Dobrým příkladem je postup Evropské unie s regulací AI Act, který se snaží najít rovnováhu mezi inovacemi a bezpečností, nebo práce organizací jako Partnership on AI, které podporují mezioborovou spolupráci.
Racionalita a obezřetnost jsou na místě, ale katastrofické scénáře bez pevných teoretických základů mohou spíše uškodit než pomoci seriózní debatě o budoucnosti umělé inteligence.
A to už jsme na konci našeho povídání. V krátkosti k autorům scénáře AI 2027 z jiného pohledu, než jaký se nabízí v nadšeném článku. Daniel Kokotajlo získal určité renomé publikováním scénáře “What 2026 Looks Like”, díky čemuž nastoupil do OpenAI a měl zde pracovat na scénářích dalšího vývoje. Skončil, prý proto, že jeho scénáře inklinovaly obecně ke katastrofickým provedením, což je v žánru obvyklé. Nikdy nikoho nezajímaly nudné scénáře “bylo to rychlejší, lepší” …
Také ostatní autoři mají své renomé v tomto typu literatury, ale Eli Lifland s Thomasem Larsenem jsou spíše známi pro politický realismus a geopolitické aspekty, než díky detailnímu technologickému vhledu. Scott Alexander je spíše blogger a Romeo Dean je spíše student Harvardu, co pomáhal.
Ve skutečnosti ale ta jména nejsou tak podstatná, ta rozhodovala jen o čtivosti a zpřístupnění dokumentu. Pro nás byly důležitější argumenty, s nimiž jsme se vypořádali. A důležité také je, že autoři přinášejí realistické návrhy, “co s tím”, jako mezinárodní spolupráci a regulaci, bezpečnostní protokoly pro superinteligentní systémy nebo transparentnost vývoje. Tyto návrhy nicméně podrývá fakt, že pokud by scénář měl pravdu, nikdo by se nechtěl k těmto návrhům uchýlit, aby si nezkomplikoval pozici v souboji o AGI.
V každém případě se na jejich web https://ai-2027.com podívejte. Mají scénář krásně udělaný, interaktivní a nepochybně přitáhne pozornost. O což šlo.
| 