97,5 százalékot ért el a Gemini 4 Argon, de sokat számít a tesztkörnyezet

A Google új modellje közel került az élmezőnyhöz, de matematikában és szoftverfejlesztésben az Epoch AI szerint még hátrébb áll.

97,5 százalékos eredménnyel, 4 800 dolláros tesztköltség mellett teljesítette a Gemini 4 Argon az általános problémamegoldást mérő ARC-AGI-3-at. A The Decoder beszámolója szerint azonban ehhez a Google saját funkcióit is kihasználó tesztkörnyezet kellett: a standard változatban, alacsony következtetési beállítással 49,8 százalék született. A két szám nem ellentmondás, hanem eltérő mérési feltételek eredménye.

A 95 százalékos határt másodikként lépte át a Google

Az ARC Prize szerint az OpenAI után a Google a második AI-labor, amely 95 százalék fölé jutott az ARC-AGI-3-on; a GPT-6 Astra 99,9 százalékkal továbbra is előrébb jár. A 25 nyilvános játékban az Argon az emberi viszonyítási alapnál 62 százalékkal kevesebb lépést használt, ugyanakkora csökkenést elérve, mint az Astra. Három játékban beállította vagy megdöntötte a gyorsasági rekordot, további hatban pedig legfeljebb 10 százalékkal maradt el a legjobb időtől.

A tesztkörnyezet döntően befolyásolja az eredményt

A Provider Adapter Harness nevű tesztkörnyezet megengedi például a korábbi következtetési folyamat megőrzését és az előzmények tömörítését. A Standard Harness ezzel szemben csak egyszerű jegyzeteket enged a körök között. Utóbbiban az alacsony következtetési beállítású, 49,8 százalékos mérés 5 800 dollárba került, vagyis a gyengébb eredményhez magasabb tesztköltség társult.

A standard mérést API-problémák, vagyis a programozói hozzáférés hibái is nehezítették. Az 55 játékból alacsony beállítással 42-t fejezett be az Argon; közepes szinten 46-ot, 46,3 százalékos eredménnyel. A legmagasabb szinten mindössze 19-et teljesített, ezért ott az ARC Prize nem közölt pontszámot. A közzétett eredmények mind az 55 játékra vonatkoznak, a megszakított futások részpontjait is beleszámítva.

A beállítások jelentősége már 2026 júliusában vitát okozott: a GPT-5.6 Sol standard környezetben 7,8 százalékot, az OpenAI saját Responses API-jával 38,3 százalékot ért el, szemben a Claude Opus 5 30,2 százalékával. Az OpenAI megoldása a következtetések megőrzését és tömörítést is használt. A vita után François Chollet, az ARC Prize társalapítója engedélyezte az általánosan, nyilvánosan elérhető API-beállításokat.

Összesítésben közel az élhez, matematikában hátrébb

Az Epoch AI több mint 50 teljesítménytesztet összegző képességindexén, az ECI-n az Argon 165 pontot kapott. Ezzel beérte a Fable 5.1-et, és kevéssel maradt el az Opus 5.5 167, illetve a GPT-6 Astra 166 pontjától; a Gemini 3.8 Flash 157 pontját viszont jelentősen meghaladta. Az intézet szerint a Google legutóbb a Gemini 3.1 Pro 2026. februári megjelenésekor volt ilyen közel az élmezőnyhöz; a felzárkózást korábban az Artificial Analysis és a Vals.ai is jelezte.

Az Epoch AI korai becslései szerint az Argon több tudás-, ágens- és képfeldolgozási tesztet vezet, a matematikai Math ECI-n viszont nyolcadik, a szoftverfejlesztési SWE ECI-n hatodik. A korábbi ARC-teszteken is erős: az ARC-AGI-2-n 91,3 százalékot ért el feladatonként 0,32 dollárért, az ARC-AGI-1-en 98,5 százalékot 0,16 dollárért. Ezek a költségek az egymillió bemeneti tokenenként 2, kimeneti tokenenként 10 dolláros bevezető árazáson alapulnak.

» Követett téma: AI · régió: USA · kulcsszó: Gemini, teljesítménytesztek