AI WORLD HQ
AI-vezérelt robotok indítása LeRobottal, NVIDIA-val és Hugging Face-szel
Bevezető: Képzelje el, hogy a hétvégi barkács robotkarja hirtelen megérti a természetes nyelvi parancsokat, vagy egy kis rover képes saját maga megtervezni az útját egy rendetlen kertben. Az NVIDIA és a Hugging Face legújabb nyílt forráskódú modelljeivel ez a fajta „fizikai AI” már nem csak kutatólaboratóriumok kiváltsága – otthon is kipróbálhatja.
1. Amire szüksége van – az alapok
| Alkatrész | Miért fontos |
|---|---|
| LeRobot – egy nyílt forráskódú robotikai keretrendszer (gondoljon rá úgy, mint egy eszközkészletre, amibe AI-modelleket, szenzorokat és vezérlőkódot csatlakoztathat). | Közös nyelvet biztosít, így nem kell mindent az alapoktól újraírnia. |
| NVIDIA GPU (bármely modern RTX kártya működik) – a hardver, ami gyorsan futtatja az AI-t. | Az AI-modellek erőforrás-igényesek; egy GPU felgyorsítja az „inference” (az AI válaszadásának) folyamatát. |
| Hugging Face modell – egy előre betanított robotagy (például egy látás-cselekvés modell). | A Hugging Face számos kész modellt hostol, így kihagyhatja a hosszas betanítási fázist. |
| Egy egyszerű robotplatform – egy Raspberry Pi alapú kar, egy kis differenciálhajtású rover, vagy akár egy LEGO Mindstorms készlet, amit USB-n vagy Wi-Fi-n keresztül lehet vezérelni. | Ez a fizikai darab, ami az AI utasításai szerint fog cselekedni. |
Technikai megjegyzés: Az inference az AI számítási lépése, ahol egy promptot (az Ön által adott utasítást) egy kimenetbe, például egy mozgási parancsba alakítja. Olyan, mintha egy számológép végezné a nehéz munkát Ön helyett.
2. A szoftverkörnyezet beállítása
- Telepítse a Python 3.10+-t – a legtöbb robot szkript Pythonban íródott.
sudo apt-get update && sudo apt-get install python3 python3-pip - Hozzon létre egy virtuális környezetet (tisztán tartja a függőségeket).
python3 -m venv lebot source lebot/bin/activate - Töltse le a LeRobot kódot – a közösség egy GitHub repót tart fenn kezdő szkriptekkel.
git clone https://github.com/LeRobot/LeRobot.git cd LeRobot pip install -r requirements.txt - Adja hozzá az NVIDIA és Hugging Face könyvtárakat – ezek hozzáférést biztosítanak az AI-modellekhez.
pip install torch torchvision # PyTorch keretrendszer, GPU-barát pip install transformers # A Hugging Face modellkönyvtára
Technikai megjegyzés: A Transformer az AI belső struktúrája, amely megtanulja, mely szavakra vagy képrészekre fókuszáljon – nagyjából úgy, ahogy Ön átfut egy bekezdést a kulcsfontosságú gondolatokért.
3. AI-modell kiválasztása a robothoz
A LeRobot már támogatja az „alapmodelleket” (nagy, általános célú AI-agyak), amelyek robotikai feladatokra finomhangolhatók. Két egyszerű lehetőség:
- Látás-cselekvés modell – kamerafelvételt vesz be, és a robotkar ízületi szögeit adja ki.
- Nyelvvezérelt navigációs modell – Ön azt mondja, hogy „menj a konyhapultig”, és a robot megtervezi a biztonságos útvonalat.
Modell letöltése:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "huggingface/robot-vision-v1"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to("cuda") # elküldi a GPU-ra
Ha bizonytalan, melyik modell illik, kezdje a robot-vision-v1-gyel, mert egyetlen RGB kamerával működik – a legtöbb hobbi készlet már rendelkezik ilyennel.
4. Gyors szimuláció futtatása
Mielőtt az AI-t egy valódi robothoz csatlakoztatná, a LeRobot egy szimulátort (egy virtuális homokozót, ahol a robot egy 3D-s világban mozog) biztosít. Ez megkíméli a kopástól.
from lerobot.sim import SimEnvironment
env = SimEnvironment()
env.load_robot("arm") # betölt egy virtuális kart
env.attach_model(model, tokenizer)
env.run()
Látni fogja, ahogy a kar a képernyőn lévő tárgyak felé nyúl, kizárólag az AI-modell irányítása alatt. Állítsa be a szimuláció sebességét, vagy adjon hozzá akadályokat a robusztusság teszteléséhez.
5. Telepítés fizikai robotra
- Csatlakoztassa a robotot – a legtöbb hobbi platform soros portot vagy Wi-Fi végpontot tesz elérhetővé.
from lerobot.hardware import SerialRobot robo = SerialRobot(port="/dev/ttyUSB0") - Cserélje le a szimulátort a valódi robotra – egyszerűen változtassa meg a környezeti objektumot.
env = robo # most a parancsok a tényleges hardverre mennek env.attach_model(model, tokenizer) env.run() - A biztonság az első – állítson be sebességkorlátokat az ízületekre, és engedélyezzen egy vészleállító gombot a kódban.
env.set_speed_limit(0.5) # méter/másodperc env.enable_e_stop(True)
Most már képesnek kell lennie arra, hogy azt mondja, „vedd fel a piros kockát”, és nézze, ahogy a kar engedelmeskedik.
Mit jelent ez Önnek?
- Személyes építők számára: Egy olcsó készletet okos asszisztenssé alakíthat, amely felismeri a tárgyakat, követi a szóbeli utasításokat, vagy automatikusan rendezi a tárgyakat. Nincs szükség robotikai PhD-re – a nehéz munkát már elvégezték a közösség által biztosított modellek.
- Ha kis műhelyt vagy makerspace-t üzemeltet: Ezeknek a modelleknek a telepítése több prototípusra kevesebb időt jelent az alacsony szintű vezérlőkóddal való pepecseléssel, és több időt a kész kütyük átadására az ügyfeleknek.
- Ha csak kíváncsi: Próbálja ki először a szimulációt. Ez egy kockázatmentes módja annak, hogy lássa az AI-vezérelt viselkedést, és eldöntse, érdemes-e fizikai robotba fektetnie.
Összefoglalás
A LeRobot, az NVIDIA GPU-k és a Hugging Face modellek konvergenciája bárki számára elérhetővé teszi az AI-képes robotikát, akinek van egy hobbi készlete és egy laptopja. A nyílt forráskódú keretrendszer telepítésével, egy kész modell kiválasztásával, szimulációban való tesztelésével, majd valódi hardverre való átállással egyetlen délután alatt valódi intelligenciát adhat projektjeinek.
Következő lépés: Válasszon egy robotot, amivel már rendelkezik, kövesse a fenti telepítési lépéseket, és futtassa a látás-cselekvés demót a szimulátorban. Amikor működik, csatlakoztassa ugyanazt a kódot fizikai robotjához, és nézze, ahogy a varázslat megtörténik. Jó építkezést!