Na začátek si dovolíme otázku posunout od průměrné umělé inteligence k nejmodernějším a nejvíce mediálně propíraným systémům, jako je třeba velký jazykový model GPT-4. Systémů umělé inteligence v obecném smyslu je neskutečné množství a naprostá většina z nich řeší úplně jiné úlohy a vůbec by nebyla schopná zadání IQ testu zpracovat.

V posledních měsících se vyskytlo několik pokusů o změření IQ velkých jazykových modelů. Než se k nim dostaneme, je důležité zdůraznit, že nejde o vědecké studie, a měření IQ v online testech nemusí být spolehlivé. V prosinci 2022 ohlásil na Twitteru Sergej Ivanov, seniorní vědecký pracovník z Amazon Web Services, že ChatGPT (chatovací systém využívající jazykový model GPT-3) má IQ 83, tedy v rámci lidstva podprůměrnou hodnotu [1]. Zároveň uvedl příklady chyb, které ChatGPT v testu udělal. Na konci března 2023 změřil verbální IQ ChatGPT i psycholog Eka Roivainen za využití WAIS testu, kde naopak naměřil výrazně nadprůměrnou hodnotu 155 [2]. Dohledali jsme jeden pokus o změření IQ systému GPT-4, což je podstatně pokročilejší následovník GPT-3. V něm uživatel Redditu naměřil IQ 130 a zmiňuje velké zlepšení oproti předchozímu pokusu s ChatGPT [3]. Vždy však jde o měření bez jasně popsané metodiky a externího posouzení důvěryhodnosti, a tak doporučujeme ke konkrétním hodnotám přistupovat s rezervou.

Zajímavější testy, než je test IQ, zmiňuje zpráva OpenAI tvůrců GPT-4, kde otestovali výkon tohoto systému ve velmi často využívaných testech studijních předpokladů, jako je SAT či GRE, a řadě dalších [4]. GPT v nich vesměs dosahuje vynikajících výsledků a často se umisťuje mezi nejlepšími 10–20 % lidských respondentů. To ukazuje, že nejde o úzce zaměřený systém, ale naopak umí řešit úlohy z široké škály oblastí vědění. Zároveň tato zpráva obsahuje srovnání výkonu v těchto testech s předchozím systémem GPT-3.5, které ukazuje masivní zlepšení, které GPT-4 přináší. Obrázek níže ukazuje percentilové skóre GPT 3.5 v různých zkouškách (modré sloupce) a zlepšení dosažené GPT-4 (zelené sloupce).

Vzhledem k neskutečné rychlosti vývoje je poměrně těžké říct, kde bude nalezen strop schopností podobných jazykových modelů. Už teď ale lze říct, že takřka jistě změní náš svět a povedou nás k zajímavým úvahám na pomezí kognitivních věd a informatiky o tom, co je vlastně inteligence, vědomí, svobodná vůle a podobné koncepty.

Pro Zeptej se vědce odpovídal Jakub