Letölthetővé tette 560 milliárd paraméteres AI-modelljét az Ant Group

A Ling-3.1-flash akár egymillió tokennyi szöveget kezel, optimalizált változata pedig négy Hopper GPU-val is futott a teszten.

Az Ant Group Ling-3.1-flash modelljét mostantól saját infrastruktúrán is bevethetik a fejlesztők: a cég letölthetővé tette a működését meghatározó súlyokat. A nagy nyelvi modell (LLM) körülbelül 560 milliárd paramétert tartalmaz, de egy-egy token feldolgozásakor ebből mintegy 25 milliárd aktív. A nyílt súlyú kiadás dátumát a ChinaTalk 2026. október 14-re teszi.

Hosszú dokumentumokra és eszközhasználatra szánták

A TechNode szerint a modell fő célterülete a programozás, az ágensmunkafolyamatok — amelyekben az AI több lépésben, eszközöket használva dolgozik — és a hosszú dokumentumokat feldolgozó szakmai feladatok. Kontextusablaka legfeljebb egymillió token: ennyi szövegegységet tud egyszerre figyelembe venni. Futtatását az SGLang és a vLLM keretrendszer is támogatja.

A KuCoin beszámolója párhuzamos kontextusfeldolgozási megoldást, PCP/DCP-t, valamint továbbfejlesztett eszközhívást és JSON Schema-támogatást is említ. Utóbbi a külső eszközöknek átadott adatok szerkezetének pontosabb megadását segíti. Az Artificial Analysis független értékelésében a modell intelligenciapontszáma 41, kimeneti sebessége körülbelül 210 token másodpercenként; a pontszám önmagában nem mutatja meg, egy konkrét munkafeladatban mennyire lesz használható.

Kevesebb memória kell, de a terhelés továbbra is számít

A csapat vegyes pontosságú tárolással körülbelül 534 GB-ról 292 GB-ra csökkentette a modellsúlyok memóriaigényét. A kiválasztott szakértői részeknél MXFP4-kvantálást, a sűrű rétegeknél blokkos FP8-ábrázolást használtak. A megfelelő Hopper GPU-s tesztkonfigurációban így nyolcról négyre csökkent a szükséges gyorsítókártyák száma, de a tényleges igény függ a szöveghossztól, az egyidejű kérésektől és a kiszolgálás beállításaitól.

Szimulált üzemi kéréseknél, nyolc Hopper GPU-val, átlagosan 25 470 bemeneti és 224 kimeneti tokennel, 76%-os gyorsítótár-találati arány mellett 604 milliszekundum telt el az első tokenig. A további tokenek átlagosan 3,28 milliszekundumonként érkeztek. Egy külön, négykártyás tesztben, körülbelül 8500 bemeneti és 800 kimeneti token mellett másodpercenként 1,36 kérést szolgáltak ki: az első tokenig tartó várakozás mediánja három másodperc alatt, a tokenek közti idő 90. percentilise 70 milliszekundum alatt maradt. Ezek eltérő terhelések eredményei, nem általános sebességígéretek.

Letölthető súlyok és időszakos szolgáltatási árak

A súlyok a Hugging Face és a ModelScope oldalán, mindkét helyen az inclusionAI/Ling-3.1-flash néven érhetők el. A KuCoin szerint az online szolgáltatáshoz időszakos, 2,5-szeres árkedvezmény kapcsolódik; lejárati dátumot nem közöl. Az OpenRouter kedvezményes ára egymillió bemeneti tokenre 0,075 dollár, ugyanennyi kimeneti tokenre 0,225 dollár.

Az OpenRouter gyorsítótár-olvasási díjaként 0,015 dollárt, a Ling Studio kedvezményes bemeneti, kimeneti és gyorsítótár-olvasási díjaként rendre 0,5, 1,5 és 0,1 jüant sorolnak fel. Ezek elszámolási egysége a beszámolóban nem egyértelmű. A csapat megnevezése is eltér: a KuCoin Bailinget, a ChinaTalk Ant Linget említ.

» Követett téma: AI · régió: KÍNA · kulcsszó: nyílt súlyú modellek