AI WORLD HQ
Lehet, hogy már láttál olyan táblázatot, amely megmutatja, mennyibe kerül egy-egy AI-lekérés, és ettől megnyugodtál. A számok rendezettnek tűnnek, de nem feltétlenül mutatják meg azokat a költségeket, amelyek végül igazán összeadódnak. Ha a munkahelyeden AI-eszközöket hagysz jóvá, vagy egyszerűen szeretnéd tudni, mire megy el a csapatod pénze, érdemes megértened ezt a gondolatot.
A látható és a rejtett rész
A token egy kisebb szövegrész – nagyjából egy szó vagy egy szó egy része –, amelyet az AI-modell beolvas és előállít. A szolgáltatók általában tokenek alapján számláznak, ezért könnyű követni a „tokenenkénti költséget”, a „promptonkénti költséget” vagy az „egy modellhívásra jutó költséget”.
A Snowflake szerint ezek a számok csak a jéghegy csúcsát jelentik. A vízvonal alatt ott vannak a felhalmozódó költségek:
- Újrapróbálkozások: az AI hibázik, ezért valaki újra, néha többször is elküldi ugyanazt a kérést.
- Hallucinációk: hallucinációnak nevezzük, amikor az AI magabiztosan kitalál valamit. Ennek felismerése emberi időt igényel.
- Ellenőrzés és utólagos javítás: az emberek átnézik az eredményt, majd kijavítják vagy újra elkészítik.
- Szabályoknak nem megfelelő eredmények: olyan kimenetek, amelyek megszegik a belső szabályokat, ezért át kell vizsgálni vagy el kell vetni őket.
A bejelentés egy egyszerű példát is említ. Egy olcsó modell, amelynek három próbálkozásra van szüksége, többe kerülhet, mint egy valamivel drágább modell, amely már elsőre helyes választ ad.
Miért nőnek a kiadások akkor is, amikor az árak csökkennek?
A Snowflake a Stanford AI Index Report adataira hivatkozik, amelyek szerint az AI-inferenciának – vagyis annak a folyamatnak, amikor a modell egy válasz előállításához dolgozik – a költsége 2022 óta több mint 99%-kal csökkent. A vállalat ugyanakkor arra is rámutat, hogy az árak esésével párhuzamosan gyorsan nőtt a használat. Egy OpenAI-jelentést idéz, amely szerint a vállalatok átlagos következtetési tokenfogyasztása – a tokeneké, amelyeket a modell egy probléma végiggondolása közben használ – éves összevetésben körülbelül 320-szorosára nőtt.
Más szóval: az olcsóbb egységek is nagyobb számlához vezethetnek, ha a használat robbanásszerűen nő. A Snowflake szerint a valódi kérdés az, hogyan lehet gyorsan haladni az AI-val anélkül, hogy elszabadulnának a kiadások, romlana a megtérülés, vagy növekedne a szabályozási kockázat.
A kontextus szerepe
A Snowflake központi gondolata, hogy a kontextus – vagyis azok az üzleti információk, amelyekre az AI-nak szüksége van, például a jóváhagyott fogalommeghatározások, a biztonsági szabályok és az adatok származási helye – megváltoztatja a költségek alakulását. Egy városba látogató turistához hasonlítja a helyzetet, aki időt veszít az eligazodással, szemben egy helybélivel, aki már ismeri a rövidebb utakat.
A vállalat saját belső tesztjei szerint ugyanaz a modellkategória nagyon eltérő eredményt ért el attól függően, hogy mennyi kontextus állt rendelkezésére. A teljes üzleti kontextust használó megközelítés 86%-os pontosságot ért el, míg a szemantikai kontextus nélküli asszisztens 47%-ot, az általános kódolási ügynök pedig 24%-ot. A Snowflake szerint a gazdagabb kontextus hozzáadása alig növelte a promptonkénti költséget, miközben körülbelül 3,6-szorosára javította a pontosságot. Ezek a vállalat saját mérési eredményei, ezért kezeld őket a Snowflake állításaiként.
Mit mérj helyette?
A Snowflake azt javasolja, hogy a helyes, szabályoknak megfelelő eredmény költségét kövesd nyomon. Példái között szerepel:
- Adatok lekérdezése természetes nyelven: jóváhagyott mérőszámokon alapuló válasz.
- Dokumentumok adatainak kinyerése: a helyesen kinyert mezők száma a ráfordításhoz viszonyítva.
- Ügyfélszolgálat: egy probléma helyes megoldása újabb ügyfélmegkeresés nélkül.
- Rendelésfeldolgozás: egy rendelés pontos feldolgozása, a megfelelő jóváhagyásokkal és utólagos javítás nélkül.
A vállalat azt is javasolja, hogy már egy AI-eszköz elkészítése előtt határozd meg a költség- és értékmérőket, ne csak utólag.
Összegzés
Egy AI-lekérés költsége csak a történet egyik része. Az újrapróbálkozások, a hibák és az utólagos javítások gyakran a költségek másik részét adják, és könnyű elsiklani felettük, ha csak a tokenek számát figyeled. A Snowflake javaslata az, hogy az egyes helyes és megbízható eredmények költségét mérd. A következő lépés egyszerű lehet: ezen a héten válassz ki egy AI-feladatot, amelyet otthon vagy a munkádban használsz, és számold meg, hány próbálkozás kell ahhoz, hogy a válasz már használható legyen.