Előfordult már veled, hogy beírtál egy kérdést egy chatbotba, majd néhány másodpercig vártál, mire megjelent az első szó? Pont az ilyen rövid várakozásokat próbálják megelőzni az AI-cégek mérnökei. Az OpenAI betekintést engedett abba, hogyan kezeli most ezeket a lassulásokat, a megközelítés pedig jól mutatja, milyen szerepet kapnak az AI-ügynökök a nagy szoftvercsapatokban.
Mit jelent a „regresszió”?
Regresszióról beszélünk, amikor egy szoftver módosítása miatt valami rosszabbul működik, mint korábban — például lassabban tölt be egy oldal. A mérnökök a teljesítmény normális, elvárt szintjét alapértéknek nevezik. Ez az a viszonyítási pont, amelyhez képest összehasonlítják a teljesítményt. Ha az a szint alá esik, általában egy riasztás, vagyis automatikus figyelmeztetés lép működésbe.
Az OpenAI szerint korábban a mérnökeik kézzel nézték át a mérőszámokat, a naplókat és az éles rendszereket, hogy megtalálják a problémák okát. Idővel több mint 30 teljesítményfigyelő eszközt készítettek a munkájuk támogatására, de a folyamat továbbra is azon múlt, hogy valaki tudta-e, hol érdemes keresni.
A kézi kereséstől az automatizált munkafolyamatig
Az OpenAI több szakaszban írja le a fejlődést. Először a mérnökök elkezdték megkérni a Codexet, az AI-alapú kódolási ügynököt, hogy vizsgálja ki azokat a lassulásokat, amelyek mögöttes kódját nem ismerték jól. Ezután a csapat leírta a vizsgálati módszerét egy újra felhasználható, perf-forensics nevű „készségben”, amely megmutatja a Codexnek, milyen eszközöket használjon, és hogyan szűkítse le a probléma lehetséges okait.
Végül a vállalat a vizsgálatokat a felhőbe költöztette, így egy riasztás automatikusan elindíthatta valamelyiket. Az automatizálás azonban a diagnózisnál megállt. A javítást továbbra is egy embernek kellett megírnia, majd kiadás után ellenőriznie. A Performance Factory éppen ezt a hiányzó lépést hivatott pótolni.
Így működik az első munkafolyamat
A Performance Factory több, egymáshoz kapcsolódó részből áll. Az OpenAI szerint ezek a következők:
- Feladatkövető, amelyben a mérnökök konfigurációs fájlok és az ügynököknek szóló írásos utasítások segítségével határozzák meg a munkafolyamatokat.
- Elosztási ciklus, amely minden készen álló feladatot kioszt egy ügynöknek.
- Felhőalapú végrehajtás, amely a Codexet a felhőben futtatja.
- Feliratkozások, amelyek aktiválnak egy ügynököt, amikor valami történik — például érkezik egy vélemény egy ellenőrzés során, vagy befejeződik egy telepítés.
A Regression Workflow-ban egy riasztás megnyit egy feladatot. Egy ügynök kivizsgálja a problémát, rögzíti a megállapításait a feladatban, majd javítást javasol, amelyet egy mérnök ellenőrizhet. A javítás kiadása után egy másik ügynök megvizsgálja, hogy a teljesítmény visszatért-e az alapértékhez. Az OpenAI szerint ez az első munkafolyamat már a teljes folyamatot lefedi a kivizsgálástól a javítás ellenőrzéséig.
💬 Gondolj rá úgy, mint egy váltófutásra: minden ügynök átadja a stafétát a következőnek, maga a feladat pedig megőrzi a jegyzeteket, így semmi nem veszik el az átadások között.
Összegzés
Az OpenAI szerint a Performance Factory a lassú, kézi folyamatot nyomon követhető, nagyrészt automatizált munkafolyamattá alakította, amely az első munkafolyamatában átlagosan napi 17 vizsgálatot kezelt. Számodra az a legfontosabb tanulság, hogy az AI-ügynökök akkor működnek a legjobban, ha egyértelmű utasításokat követnek, pontos jegyzeteket vezetnek, és a megfelelő pillanatban átadják a munkát egy embernek. Következő lépésként, amikor legközelebb lassúnak érzel egy eszközt, gondold végig, hogy a folyamat melyik pontján segítene a legtöbbet egy jól vezetett nyilvántartás és egy ellenőrzési pont.
