AI WORLD HQ
Észrevetted már, hogy egy AI-chat lelassul, amikor egy beszélgetés nagyon hosszúra nyúlik? Ennek egyik oka a memóriában keresendő: ez a rövid távú munkaterület azokban a chipekben, amelyek az AI-t futtatják. Nézzük, mit ír erről az NVIDIA hivatalos blogbejegyzése, és miért lehet ez fontos számodra.
A memóriahiány közérthetően
A GPU (grafikus feldolgozóegység) az a chip, amely az AI mögött a legtöbb összetett számítást végzi. HBM-memóriával (nagy sávszélességű memóriával) dolgozik, amely közvetlenül mellette helyezkedik el, és nagyon gyors. Ez a gyors memória azonban korlátozott méretű. Az NVIDIA szerint a kínálat szűkül, az árak pedig emelkednek, és a vállalat arra számít, hogy ez egy ideig még így is marad.
Két dolog tölti meg ezt a területet:
- Modellsúlyok: azok a számok, amelyekben az AI a tanítás során megszerzett tudása tárolódik.
- KV-gyorsítótár (key-value cache, vagyis az AI folyamatosan vezetett jegyzetei): az a kontextus, amelyet az AI megőriz, hogy ne kelljen minden válasznál újra feldolgoznia ugyanazokat az információkat.
Az NVIDIA szerint három trend növeli a terhelést. A modellek egyre nagyobbak. A beszélgetések egyre hosszabbak. Az ügynökök (olyan AI-rendszerek, amelyek eszközöket használnak, és több lépésben dolgoznak egy cél elérésén) pedig számos híváson keresztül megőrzik a kontextust. A vállalat szerint egyes ügynöki feladatok akár 3 millió tokent (az AI által olvasott és létrehozott kisebb szövegegységet) is feldolgoznak. A RAG (visszakereséssel kiegészített szöveggenerálás, amely a válaszadás előtt releváns dokumentumokat ad a kérdéshez) még több feldolgoznivalót jelent.
Miért nem a több memória a teljes megoldás?
Képzelj el egy konyhát. A munkapult közel van, ezért gyorsan elérhető, de kicsi. A kamra távolabb található és lassabban érhető el, viszont sokkal nagyobb. Ha a szakács csak a munkapultot bővíti, továbbra is meg kell várnia, amíg az alapanyagok a tárolóból a tűzhelyhez kerülnek.
Az NVIDIA szerint ugyanez a korlátozás érvényes az AI-ra is. Amikor sok felhasználó osztozik egy rendszeren, a memória előfordulhat, hogy nem tud olyan gyorsan adatot küldeni a chipnek, ahogy a chip fel tudná használni. A mérnökök ezt memóriafalnak nevezik. E pont után a több gyors memória már növeli a költséget és az energiafogyasztást, de nem gyorsítja a válaszokat.
Ezért az NVIDIA megközelítése az, hogy a memóriát minden szinten kezeli, nem pedig egyszerűen csak többet ad hozzá.
Mit állít az NVIDIA, mit tesz ennek érdekében?
Az NVIDIA a stratégiáját teljes veremű közös tervezésnek nevezi. Ez azt jelenti, hogy a GPU-kat, a CPU-kat, a hálózatokat, a tárhelyet és a szoftvereket együtt tervezi. A vállalat azt is állítja, hogy elsőként építette be a HBM3e-t és a HBM4-et gyorsított számítástechnikai rendszerekbe.
A főbb elképzelések:
- A gyors memória maradjon fenn az aktív adatok számára. Az éppen szükséges adatok a chip közelében maradnak, a többi pedig olcsóbb tárolási szintekre kerül, majd még a szükségessé válás előtt visszakerül.
- Az adatok kompaktabb formátumban legyenek tárolva. Az NVIDIA bemutatja az NVFP4 formátumot, amely a vállalat szerint kevesebb helyet foglal a modellsúlyok számára, mint az FP8 a Hopper platformon.
- A nagy modellek több chip között oszoljanak meg. Egy NVL72 rendszerben a modellsúlyok akár 72 GPU között is eloszthatók, így minden egyes GPU-ra kisebb rész jut.
Az NVIDIA eredményekről is beszámol. Azt állítja, hogy a GPU-nkénti HBM-kapacitás nagyjából 3%-kal nőtt a Blackwell Ultra és a Vera Rubin platform között, miközben az egy dollárra jutó ügynöki teljesítmény akár harmincszorosára emelkedett a SemiAnalysis AgentX tesztjén. Ezek a vállalat saját állításai a rendszereiről, és nem jelentenek garanciát egy adott összeállításra.
Miért fontosak a nyílt modellek?
Az NVIDIA a Nemotron nyílt modellekből álló családját is népszerűsíti, amelyet a vállalat hosszan futó, speciális AI-ügynökökhöz tervezett modellekként mutat be. A „nyílt” azt jelenti, hogy a fejlesztők a kész programon túl annak több részét is megvizsgálhatják, és építhetnek rájuk. Chris Alexiuk, az NVIDIA vezető termékkutató mérnöke, aki YouTube-on tanít fejlesztőket, úgy véli, hogy a nyitottságnak magában kell foglalnia a modell súlyaihoz, a mögöttük álló adatokhoz és a tanítási módszerekhez való hozzáférést is.
Összegzés
A legfontosabb tanulság egyszerű: az AI a gyors memória korlátozott készletére támaszkodik, és az NVIDIA szerint a megoldás nem pusztán több hardver, hanem minden egyes réteg okosabb használata. A nyílt modellek ehhez újabb elemet adnak azzal, hogy a fejlesztők megvizsgálhatják és továbbépíthetik magukat az eszközöket. Következő lépésként keresd fel az NVIDIA hivatalos blogját, találd meg a teljes, memóriáról szóló cikket, és olvasd el a memóriahierarchiáról szóló részt, hogy a kifejezések ismerősen csengjenek, amikor legközelebb találkozol velük.