AI WORLD HQ
Megnyitsz egy csevegőrobotot, hogy összefoglaljon egy hosszú dokumentumot. Egy éve a válasz tíz másodpercig tartott. Ma háromig. A telefonodon semmi nem változott. A billentyűzeteden sem. A fejlődés valahol a színfalak mögött történt, a kérdésed és a MI válasza közötti rétegben – és ez a réteg most csendben áttörést ért el.
Mit jelent valójában a „serving"?
Amikor beírsz egy üzenetet a ChatGPT-nek, a Claude-nak, a Gemini-nek vagy bármilyen hasonló eszköznek, a kérésed elutazik egy adatközpontba (egy hatalmas, számítógépekkel teli raktárba). Egy kiszolgáló motornak nevezett szoftver fogadja, betáplálja az LLM-be (nagy nyelvi modell – a MI valódi „agya"), majd visszaküldi a választ a képernyődre.
Képzeld el a kiszolgáló motort egy étterem konyhájának. Az LLM a séf. Bármilyen tehetséges is a séf, a konyhának el kell juttatnia a hozzávalókat az állomáshoz, mindent megfelelő hőmérsékleten kell tartania, és gyorsan kell tálalnia az ételt. Egy gyorsabb konyha nem teszi okosabbá a séfet – csak hamarabb érkezik meg az étel.
Évekig a legtöbb MI-konyha ugyanazt a jól ismert receptet használta. A vLLM nevű népszerű nyílt forráskódú rendszer lett az alapértelmezett. Jól működik, de vannak korlátai: sok kis folyamatra bontja a munkát, és ezek összehangolása extra időt vesz igénybe.
Mit változtat meg egy „megakernel"?
A „megakernel" egy másfajta konyhai elrendezés. Ahelyett, hogy sok kis szakács egy-egy apró feladatot látna el, és adogatná egymásnak a tányért, egyetlen hatalmas program intézi a teljes rendelést az elejétől a végéig. Kevesebb a kézbeadás, kevesebb a várakozás, kevesebb a felesleges mozgás.
Az eredmény olyasmi, amit a laborban mérnek, de az appban érezni: csökkennek a válaszidők, csökkennek az egyes kérdésekre jutó költségek, és ugyanazzal a hardverrel több felhasználót lehet kiszolgálni. A Cohere nevű cég nemrég közzétette azt, amit ők az első, élesben használható, erre az ötletre épülő rendszerként írnak le a dekódoláshoz – ahhoz a lépéshez, amelyben a MI szóról szóra, pillanatról pillanatra generálja a válaszát.
Miért nem látod sehol a nevét?
A „megakernel" szót nem fogod megtalálni a használt csevegőablakban. Ez a fajta gyorsulás infrastruktúra – vízvezetékek, kábelek, a bit alatti bit. Ugyanígy van ez, amikor az interneted gyorsabbnak érződik, miután a szolgáltatód lecserél egy routert egy toronyban, ahol soha nem jártál.
Amit viszont érzel:
- Rövidebb szünetek. Egy hosszú válasz első szava hamarabb érkezik meg.
- Hosszabb válaszok egyben. A rendszer kisebb eséllyel „adja fel" egy összetett kérés közepén.
- Olcsóbb hozzáférés a háttérben. A cégek a megtakarítások egy részét ingyenes csomagokként, hosszabb limitekként vagy alacsonyabb előfizetési árakként adják tovább.
A nagyobb kép: a sebesség, mint csendes funkció
A fogyasztói MI első hullámában a fő kérdés az volt, hogy a modellek mit tudnak. A következő hullám egyre inkább arról szól, hogy mindezt milyen olcsón és milyen gyorsan tudják megtenni.
Minden egyes százalékpont, amit lefaragnak egy válasz költségéből, kis összeg – de naponta több milliárd válaszra szorozva eldönti, hogy ki engedheti meg magának az ingyenes MI-t, és ki nem.
Van itt egy visszacsatolási hurok is. Az olcsóbb, gyorsabb kiszolgálás azt jelenti, hogy a fejlesztők ambiciózusabb termékeket építhetnek – MI-ügynököket, amelyek böngésznek helyetted, videógenerátorokat, hangasszisztenseket, amelyek valódi beszélgetéseket folytatnak – mert minden egyes lépés kevesebbe kerül.
Mit jelent ez számodra?
- Ha csak hétköznapi felhasználója vagy a MI-nek: amikor legközelebb azt érzed, hogy a csevegőrobot gyorsabb, mint a tavaly kipróbált, részben ez az oka. Nem kell mást tenned – csak élvezd a rövidebb várakozást, és ne félj hosszabb kérdéseket feltenni.
- Ha most ismerkedsz a MI-vel: tudd, hogy a mai ingyenes eszközök észrevehetően gyorsabbak, mint a 2023-as vagy 2024-es változatok. A lassú élmény, amiről esetleg hallottál, már nem jellemző.
- Ha munkád során használsz MI-t: az ehhez hasonló sebességfejlesztések gyakran bejelentés nélkül érkeznek. Ha bármit építesz, ami a háttérben MI-t hív, időnként teszteld újra a régi promptjaidat – ami egy éve még nehézkes volt, az ma már azonnalinak érezhető.
Összefoglaló
Megakernel, kiszolgáló motor, dekódolás – ezek a MI konyhájának szavai, nem az ételé. De a konyha számít. A csendes verseny, amely minden választ olcsóbbá és gyorsabbá tesz, az oka annak, hogy a MI egyre hasznosabbá válik anélkül, hogy bármit újra kellene tanulnod. Amikor legközelebb egy csevegőrobot szinte azonnal válaszol, az a munka történik, amit soha nem fogsz látni.