AI WORLD HQ
Régebben egy-egy AI-modell kipróbálásához több szolgáltatásra is elő kellett fizetned, és reménykedned kellett, hogy valamelyik működni is fog. Az Amazon Bedrock (az AWS szolgáltatása, amely egyetlen felületen belül több szolgáltató AI-modelljeit kínálja, ahogy egy streamingoldal is egy helyen gyűjti össze a csatornákat) segítségével az Anthropic, a Meta, a Mistral, a Cohere és az Amazon modelljeit egyetlen konzolban próbálhatod ki. Íme, hogyan használd mindezt a gyakorlatban az összehasonlításhoz.
Amire szükséged lesz az indulás előtt
- Egy AWS-fiók. Ha még nincs, regisztrálj az AWS weboldalán. A fiók maga ingyenes, de minden egyes modellhívás pénzbe kerül.
- Modellhozzáférési igénylések. Egyes modellek – főleg az Anthropic Claude és a Meta Llama – csak egy rövid hozzáférési kérelem elküldése után jelennek meg a katalógusban. Ezt a Bedrock konzol bal oldali menüjében a Model access pont alatt találod.
- Egy működő régió. A Bedrock többek között az us-east-1, us-west-2, eu-west-1 és ap-southeast-2 (Chicago) régiókban érhető el. A Chicago régió akkor fontos, ha azt szeretnéd, hogy az adataid az Egyesült Államokban maradjanak.
- Egy költségkeret-riasztás. Állíts be egy büdzsét az AWS Billingben, mielőtt elkezdenéd a tesztelést, hogy egy elszabadult prompt-ciklus ne lepjen meg a hónap végén.
1. lépés – Jelentkezz be, és nyisd meg a Bedrockot
Hova menj: Jelentkezz be a böngésződben az AWS Management Console-ba. Írd be a „Bedrock" szót az oldal tetején lévő keresőmezőbe, majd a találatok között kattints az Amazon Bedrock opcióra.
Amit látsz majd: A Bedrock kezdőoldala. A bal oldali navigációs panelen olyan elemeket találsz, mint a Foundation models, a Playgrounds és a Custom models. Ha ez az első látogatásod, egy zöld „Get started" gomb is megjelenik.
💬 Másolható menüútvonal: Services menu → Machine Learning → Amazon Bedrock.
Akkor tudod, hogy sikerült, amikor a Bedrock konzol betöltődik, és a bal oldali navigációban megjelenik a Foundation models menüpont.
2. lépés – Böngészd a Foundation Models katalógust
Hova menj: A bal oldali navigációban kattints a Foundation models menüpontra (az újabb konzolverziókban ez néha Model catalog címkével szerepel).
Amit látsz majd: Modellkártyák listája szolgáltatók szerint csoportosítva – Anthropic, AI21, Cohere, Meta, Mistral, Amazon és Stability AI. Minden kártyán szerepel a modell neve, egy rövid leírás, a kontextusablak mérete (az a maximális szövegmennyiség, amelyet a modell egyszerre be tud olvasni), valamint a támogatott bemeneti típusok.
💬 Másolható szűrő: Írd be a claude vagy a llama szót a katalógus tetején lévő keresőmezőbe a lista szűkítéséhez.
Akkor tudod, hogy sikerült, ha legalább három modellkártyát felismersz, és látható rajtuk a kontextusablak mérete (például 200 000 token a Claude Sonnet esetében).
3. lépés – Nyisd meg a Chat Playgroundot
Hova menj: A bal oldali navigációban kattints a Playgrounds menüpontra, majd a megjelenő lenyíló listából válaszd a Chat opciót.
Amit látsz majd: Egy osztott képernyős csevegőfelület. A jobb oldalon van az üzenetpanel; a bal oldalon pedig beállításokat találsz a rendszerüzenethez (azok az utasítások, amelyeket a beszélgetés elején adsz az AI-nak), a modellválasztót és az inferenciális paramétereket (azokat a „tekerőgombokat", amelyek szabályozzák, hogyan válaszol az AI – ilyen például a temperature és a max tokens).
💬 Másolható kezdőprompt:
You are a helpful assistant for a small American bookkeeping business. Reply in plain English, max 80 words.
Akkor tudod, hogy sikerült, amikor az AI néhány másodpercen belül válaszol a jobb oldali panelen, és a válasz egyszerű angol nyelven érkezik.
4. lépés – Váltogasd a modelleket, és hasonlítsd össze a válaszokat
Hova menj: A Chat Playgroundban keresd meg a Model lenyíló listát a képernyő tetején – ez mutatja az aktuális modell nevét, például „Claude Sonnet". Nyisd ki, és válassz egy másik modellt, például Claude Haikut vagy egy Llama-változatot, majd küldd el ugyanazt a promptot újra.
Amit látsz majd: Az új modell új válasza ugyanabban a csevegőpanelben. A hangnem, a hossz és a szerkezet általában más lesz – pont ez a lényeg.
💬 Másolható összehasonlító prompt:
Write a polite 50-word email declining a meeting invitation. Keep it warm but firm.
Akkor tudod, hogy sikerült, ha két, jól láthatóan különböző választ kaptál két különböző modelltől ugyanabban a panelben, és már meg is jegyezted, melyik áll közelebb ahhoz, amire a vállalkozásodnak valójában szüksége van.
5. lépés – Nézd meg az egyes modellek árát
Hova menj: Nézz vissza a Foundation Models katalógus modellkártyáira, amelyek minden modellnél mutatják a bemeneti és a kimeneti árakat. Vagy nyisd meg egy új böngészőlapon a Bedrock árazási oldalát a teljes táblázathoz.
Amit látsz majd: Egy ártáblázat, amely modellenként két számot tartalmaz: input (1000 tokenenként) és output (1000 tokenenként). Egy token nagyjából négy karakter – körülbelül egy angol szó háromnegyede.
💬 Másolható gyorsszámítás:
1000 token ≈ 750 angol szó.
Egy átlagos ügyfél-email: 150–200 token bemenet, 100 token kimenet.
Akkor tudod, hogy sikerült, ha anélkül tudsz 1000 tokenenkénti árat idézni legalább két különböző modellhez, hogy bármilyen külső oldalt megnéznél.
6. lépés – (Opcionális) Futtass egy Model Evaluation feladatot
Hova menj: A bal oldali navigációban kattints a Model evaluation menüpontra (néha Evaluations címkével szerepel). Válaszd a Create evaluation opciót, tölts fel egy kisebb prompt-adathalmazt a várt válaszokkal együtt, és jelölj ki két vagy több modellt az összehasonlításhoz.
Amit látsz majd: Egy értékelő-irányítópult, amely a feladat befejezése után pontossági értékeket, késleltetést (a válasz idejét másodpercben), valamint egymás melletti válaszmintákat mutat.
💬 Másolható CSV-fejléc a prompt-adathalmazodhoz:
prompt,expected_output
"Summarise this email in one sentence","A short summary"
Akkor tudod, hogy sikerült, amikor az értékelés lefut (a mérettől függően 30 perctől akár több óráig terjedhet), és a minőség és a költség alapján – nem pedig megérzésre – ki tudsz választani egy győztest.
Gyakori hibák
- Hiba: Minden feladathoz a legdrágább modellt választod. Javítás: kezdj egy kisebb, olcsóbb modellel, és csak akkor válts drágábbra, ha a kimenete nem elég jó. Sok vállalkozás azzal költ többet a kelleténél, hogy csúcskategóriás modelleket futtat olyan feladatokra, amelyeket egy pénztárcabarát modell is elbírna.
- Hiba: Különböző promptokkal hasonlítod össze a modelleket. Javítás: minden tesztelt modellnek pontosan ugyanazt a promptot és rendszerutasítást küldd el – különben nem a modellt minősíted, hanem a saját promptodat.
- Hiba: Kihagyod a költségkeret-riasztást. Javítás: nyisd meg az AWS Console Billing & Cost Management menüpontját, állíts be kezdésnek egy nagyjából 50 dolláros büdzsét, és kapcsold be az e-mailes értesítéseket a büdzsé 50%-ánál és 90%-ánál.
- Hiba: Feltételezed, hogy a nagyobb kontextusablak okosabb modellt jelent. Javítás: a nagyobb kontextusablak csupán annyit jelent, hogy a modell egyszerre több szöveget tud beolvasni. A nyers minőséget tekintve nézd inkább a független benchmarkokat és a saját, a tényleges feladatodon végzett tesztjeid eredményeit.
Mit jelent ez számodra
- Ha kisvállalkozást vezetsz: Kezdd egy olcsóbb modellel, például Claude Haikuval vagy egy Llama-változattal a mindennapi feladatokhoz, például válaszlevelek megfogalmazásához. Csak akkor válts egy komolyabb modellre, ha a kimenetnek valóban szüksége van rá.
- Ha egy csapatot irányítasz: Egységesíts egy-két modellt, hogy az emberek ne külön-külön fizessenek különböző szolgáltatásokért. A kiválasztott modelleket és promptokat tedd egy közösen használt dokumentumba.
- Ha fontos számodra az amerikai adatrezidencia: Használd az ap-southeast-2 (Chicago) régiót. Nem minden modell érhető el minden régióban, ezért a végleges választás előtt ellenőrizd a katalógusban, mi érhető el Chicagóban.