Stačilo im menej ako 50 dolárov a 30 minút. Vedci vytvorili konkurenta pre ChatGPT a DeepSeek

Výskumníci zo Standfordu a Washingtonskej univerzity prekvapili s modelom „uvažujúcej“ umelej inteligencie, ktorá stojí menej než 50 dolárov v cloudových kreditoch. Model funguje podobne ako OpenAI o1 alebo DeepSeek R1. O téme informoval portál TechCrunch.

Výskumníci však model nevyvíjali úplne od základov. Základ pochádza z dostupného modelu z čínskeho AI laboratória Qwen, ktorý je vlastnený spoločnosťou Alibaba a je voľne dostupný na stiahnutie. Výskumníci model vylepšili pomocou metódy zvanej „destilácia“. Počas tohto procesu sa extrahujú schopnosti a logické myslenie veľkého AI modelu z ktorých sa následne učí malý AI model.

Freepik

Z tohto procesu je obvinená čínska spoločnosť DeepSeek, ktorá mala extrahovať dáta od OpenAI. Spoločnosť OpenAI síce povoľuje integráciu AI modelov cez API, no ich využitie na tvorbu konkurenčného modelu porušuje podmienky používania.

Lacný AI model

Výskumníci na „destilovanie“ použili model Gemini 2.0. Flash Thinking Experimental. Google ponúka prístup k AI modelu prostredníctvom platformy Google AI Studio. Avšak aj podmienky Google zakazujú reverzné inžinierstvo na vývoj služieb, ktoré by konkurovali vlastným AI modelom.

Výskumníci vytvorili len približne 1 000 vybraných otázok s odpoveďami a detailným procesom „myšlienkového procesu“ modelu. Podľa informácií trénovanie modelu S1 trvalo menej než 30 minút a využili pri tom 16 grafických kariet Nvidia H100. Niklas Muennighoff, výskumník zo Standfordu uviedol, že za prenájom potrebného hardvéru je potrebné zaplatiť okolo 20 dolárov.

Model S1 je dostupný na platforme GitHub, vrátane dát a kódu, čo umožňuje ďalším výskumníkom experimentovať a rozvíjať model. Výskumníci do modelu pridali nový príkaz „počkaj“, ktorý sa zatiaľ nenachádza v iných modeloch. Model S1 vďaka príkazu predĺži čas „premýšľania“, čo prispeje k presnejším odpovediam modelu.

S1 od výskumníkov ukazuje, že vďaka procesu destilácie je možné vytvoriť lacný a výkonný AI model, hoci vyvoláva mnohé etické či právne otázky, keďže zrejme porušuje podmienky používania iných modelov. Model je príkladom, kedy sa dajú dosiahnuť prekvapivé výsledky aj s malým rozpočtom. Veľké technologické spoločnosti však aj tento rok plánujú investovať obrovské sumy do rozvoja novej AI technológií.

Čítajte viac z kategórie: Novinky