AI WORLD HQ
Kértél már meg egy AI-t, hogy egyetlen menetben oldjon meg egy nagy feladatot, aztán félúton azt láttad, hogy elveszíti a fonalat? Pont ezzel a problémával foglalkozik az AWS legújabb bejegyzése. Ha kíváncsi vagy, hogyan építenek a csapatok olyan AI-rendszereket, amelyek megbízhatóan befejezik a hosszú feladatokat, ez az összefoglaló közérthetően mutatja be az alapötleteket.
Miért fogy el a hely az ügynökök számára?
A token egy kis szövegrészlet, nagyjából egy szó vagy egy szó darabja. A kontextusablak azt mutatja meg, hogy egy modell egyszerre hány tokent képes kezelni. Képzeld el úgy, mint a modell íróasztalát: mindennek, amire a munkához szüksége van, el kell férnie rajta.
Még egy nagy íróasztal is megtelik. Az AWS egy olyan kérést mutat be, mint az „elemezd az értékesítési adatokat, és készíts DOCX-jelentést”. A feladat adatbetöltésből, kategóriaelemzésből, öt diagram elkészítéséből, statisztikai ellenőrzésekből és a jelentés megírásából áll. Ezek a lépések együtt körülbelül 15 perc alatt több mint 150 ezer tokent tesznek ki.
Amikor túlcsordul az íróasztal, a munka szétesik. A régi jegyzetek zsúfolttá teszik a teret, a hibák miatt pedig az egész folyamatot újra kellhet indítani. Az AWS arra is felhívja a figyelmet, hogy az AI egyre kevésbé megbízhatóan idézheti fel a korábbi részleteket, ahogy nő a kontextus. Sok AI-szolgáltatás ráadásul tokenenként számol fel díjat, így a túlzsúfolt kontextus többe is kerülhet.
A négy réteg
Az AWS négy rétegbe rendezi ezeket a módszereket. Mindegyik olyan hiányosságot kezel, amelyet az előző réteg nyitva hagy.
1. réteg: Különítsd el az egyes ügynökök kontextusát
Adj minden specialista ügynöknek saját munkaterületet, és csak rövid összefoglalókat továbbíts közöttük. A Deep Insight koordinátort, tervezőt, ellenőrt, felügyelőt, valamint olyan eszközöket használó ügynököket alkalmaz, mint a kódoló és az ellenőrző. Az AWS szerint még a legtöbb tokent használó kódoló is 25 ezer token alatt marad. Az ügynökök csak néhány jegyzetet osztanak meg egymással, például az előző ügynök végső üzenetét.
2. réteg: Szabályozd a kontextust utasításokkal
A prompt az az utasítás, amelyet a modellnek adsz. A jól megírt promptok korlátozhatják, mi kerüljön be a kontextusba, és egyértelmű viselkedési szabályokat határozhatnak meg. Az AWS egyértelművé teszi, hogy önmagukban a promptok nem elegendők, ezért van szükség a következő rétegekre is.
3. réteg: Helyezd a terjedelmes anyagokat fájlokba
A nagy terjedelmű anyagokat, például a szkripteket és a hivatkozási részleteket tartsd a beszélgetésen kívüli fájlokban, és csak azt töltsd be, amire szükség van. A Deep Insight esetében az AWS arról számol be, hogy egyetlen író és futtató eszköz körülbelül 95 százalékkal csökkentette a kontextushoz hozzáadott tokenek számát minden egyes szkript esetében. A képességek betöltése – ezek olyan utasításcsomagok, amelyeket az ügynök csak szükség esetén tölt be – körülbelül 97 százalékkal rövidítette a rendszermutatót. Ezek az adatok az AWS saját referencia-megvalósításából származnak, ezért az eredményeid a saját beállításaidtól függnek majd.
4. réteg: Ellenőrizz független vizsgálatokkal
A függetlenül ellenőrző ügynökök és a védelmi intézkedések még azelőtt kiszűrik a hibákat, hogy azok továbbterjednének, és segítenek megelőzni a kontextus túlcsordulását. Az AWS ezt az utolsó védelmi vonalként írja le.
Összefoglalás
Az AWS bejegyzése azt mutatja, hogy egy jól működő AI-ügynökhöz nem elég a nagy kontextusablak: a kontextust is kezelni kell. Különítsd el a munkafolyamatokat, szabályozd az utasításokat, tárold a terjedelmes anyagokat fájlokban, és ellenőrizd az eredményeket. Az AWS szerint hamarosan érkezik egy harmadik bejegyzés is arról, hogyan futtathatók ezek az ügynökök privát hálózaton. Addig is válassz ki egy hosszú feladatot, amelyet minden héten megismételsz, és még ma bontsd kisebb lépésekre.