Experiment so štvornohým robotom balansujúcim na fit lopte demonštruje omnoho viac, ako sa na prvý pohľad zdá. V skutočnosti totiž ukazuje silu umelej inteligencie, ako je napr. GPT-4, trénovať roboty na vykonávanie náročných úloh v reálnom svete omnoho efektívnejšie, ako ľudia. Na tému upozornil portál NewAtlas.

AI učí robotov

Inovatívny softvér s názvom DrEureka poháňaný silou veľkých jazykových modelov akým je aj GPT-4, prináša revolúcia v oblasti učenia robotov vykonávať zložité úlohy v reálnom svete. Základom projektu DrEureka je tzv. „sim-to-reality“ metóda, ktorá je akýmsi mostom medzi virtuálnou simuláciou a fyzickou demonštráciou.

Eureka Research

Dokonalým príkladom je štvornohý roboticky „pes“, ktorý balansuje na fit lopte a postupne sa na jej vrchu posúva vpred. Hoci na prvý pohľad ide iba o akúsi zábavku inžinierov, v skutočnosti demonštruje pôsobivé možnosti tréningu riadeného umelou inteligenciou.

Jim Fan spolu s jeho tímom vyvinuli open-source softvér s názvom DrEureka, kde „Dr“ odkazuje na „domain randomization“ (randomizáciu domén), pri ktorej sa v simulovanom prostredí náhodne menia premenné, ako je trenie, hmotnosť, ťažisko a podobne.

Pod vedením „učiteľa“ v podobe LLM ako je ChatGPT, sa podarilo vytvoriť aj systém odmeňovania, kde 0 znamená neúspech a akékoľvek vyššie číslo reprezentuje úspech. Samozrejme, čím vyššie skóre, tým lepšie.

Ako prebiehal experiment?

Pri tomto experimente odborníci využili štvornohého robota Unitree Go1, ktorého cena sa pohybuje na úrovni zhruba 6000 dolárov. Počas simulácie v prostredí DrEureka sa robot odmeňoval za každý úspešný pokus a trestal za každý neúspešný pokus. Tento proces odmien umožnil robotovi experimentovať s rôznymi technikami a stratégiami a to bez rizika poškodenia.

Po tréningu vo virtuálnom svete nasledoval test v tom reálnom, kde zariadenie muselo preukázať svoje schopnosti nadobudnuté počas simulácie.

Ako to dopadlo?

Ukázalo sa, že softvér DrEureka dokáže trénovať robotov lepšie ako ľudia, pričom takto trénovaný robot vykazoval až o 34 % rýchlejší posun v pred a 20 % nárast v prejdení vzdialenosti v rôznorodom teréne. Podľa odborníkov je tajomstvom úspechu DrEureka štýl učenia. Zatiaľ čo ľudia preferujú učenie sa po malých krokoch a snažia sa celý proces vysvetliť izolovane, GPT robotov dokázal naučiť všetko naraz. To je niečo, čo ľudia jednoducho nie sú schopní urobiť.

Eureka Research

Podľa vedcov je DrEureka vôbec prvý softvér svojho druhu, pričom bez predchádzajúcich pokusov dokáže bez problémov prejsť vďaka metóde „sim-to-reality“ zo simulácie do reálneho sveta. Podľa vedcov by celý systém bolo možné výrazne zdokonaliť, ak by sa dalo prostredníctvom GPT poskytovať spätnú väzbu z reálneho sveta.

Inak povedané, ak by GPT mohol skutočne vidieť, čo sa stalo  v reálnom svete (napr. pomocou videa) a nie len čítať záznamy o chybách, mohol by byť celý tréning ešte omnoho efektívnejší.