Umelá inteligencia hlúpne. Štúdia odhalila obrovskú chybu AI modelov, nedokážu pochopiť základnú vec
Vedecká štúdia odhaľuje veľké nedostatky jazykových modelov. Ich schopnosť prispôsobiť sa zmenám v dynamických situáciách je však stále otázna. Veľké jazykové modely (LLM) ako GPT-4 alebo Claude 3 Opus dokážu generovať úžasné texty. Podľa najnovšej štúdie im chýba hlboké porozumenie reálneho sveta. Vedci z MIT, Harvardu a Cornellovej univerzity zistili, že tieto systémy nedokážu vytvoriť konzistentné modely sveta, teda reprezentácie reálnych pravidiel a vzťahov. O téme informoval portál Live Science.
Jedným z testov bolo navigovanie cez New York. Modely dokázali poskytnúť presné pokyny. Avšak mapy, z ktorých vychádzali, obsahovali neexistujúce ulice. Pri neočakávaných zmenách, ako sú uzávierky alebo obchádzky, sa presnosť navigácie dramaticky znížila a často úplne zlyhala.
Ako jazykové modely fungujú
Jazykové modely fungujú na princípe takzvaných transformátorov, alebo teda neurónových sietí, ktoré spracúvajú obrovské množstvo údajov a vytvárajú model. Pomocou neho odpovedajú na otázky alebo riešia úlohy. Tento proces však závisí od kvality a rozmanitosti údajov, z ktorých sa model učí.
Výskumníci skúmali schopnosť modelov pracovať so sekvenciami pravidiel. Použili na to problémy deterministickej konečnej automaty (DFA), ktoré simulujú reálne prostredia. Od pravidiel hry Othello po mestskú navigáciu.
Testované boli dva druhy modelov, jeden trénovaný na náhodných údajoch a druhý na strategicky generovaných dátach. Zaujímavé bolo, že modely trénované na náhodných údajoch dokázali vytvoriť presnejší model sveta, pretože boli vystavené širšiemu spektru možností.
Napríklad pri hre Othello zahŕňali aj zlé ťahy, ktoré by profesionálni hráči neurobili, no model ich vedel spracovať. Napriek tomu iba jeden model dokázal vytvoriť konzistentný herný plán pre Othello. V prípade navigácie však všetky modely zlyhali, ak došlo k zmenám v prostredí, napríklad k uzavretiu časti ulíc.
Dynamické prostredie ako problém
Vedci upozornili, že jazykové modely sú mimoriadne citlivé na zmeny. Ak bola napríklad uzavretá iba 1 % ulíc v mape, presnosť navigácie klesla z takmer 100 % na 67 %. To poukazuje na nedostatok flexibility týchto modelov v dynamických prostrediach. Táto štúdia podčiarkuje riziká spojené s používaním veľkých jazykových modelov v reálnom svete, napríklad v autonómnych vozidlách.
Ukazuje sa, že ich schopnosť reagovať na neočakávané situácie je zatiaľ obmedzená. Vedci navrhujú, že na dosiahnutie presnejších modelov bude potrebné vyvinúť nové metodológie, hoci ich konkrétna podoba zatiaľ nie je jasná. Ashesh Rambachan, jeden z autorov štúdie poznamenal, že je dôležité nenechať sa oklamať pôsobivými výsledkami týchto modelov. Potrebné je dôkladne zhodnotiť ich schopnosti a limity, aby ich využili zodpovedne a efektívne.
Ďakujeme, že čítaš Fontech. V prípade, že máš postreh alebo si našiel v článku chybu, napíš nám na redakcia@fontech.sk.
Teraz čítajú
Stačia dvaja vojaci a v okamihu zničia stovky dronov. Francúzsko otestovalo ultimátnu obranu
Británia, USA a Austrália sa spojili proti rastúcej hrozbe. Ich tajná zbraň za 15 miliárd libier je hotová
EXKLUZÍVNE: Sľubujú 6000 eur mesačne, ale realita je iná. Prečítaj si, čo sa skutočne deje s absolventami IT „rýchlokurzov”
Ľudstvo zabije nová doba ľadová. Tvorcovia Marťana ukázali svoj nový film
Stáročia stará záhada má jasnú odpoveď. Vo vnútri Mesiaca našli veľké prekvapenie
NAJČÍTANEJŠIE ZO STARTITUP
Nenápadná firma z Petržalky vystrelila z tržieb pod 1 miliónom na 12,4 milióna eur. Biznis s liekmi raketovo rastie (EXPERT)
Policajná akcia FUNERAL: Skupina údajne pôsobila v štýle mafie z 90. rokov
Chorvátsko hlási cenový šok. Najviac zdraželo obľúbené prímorské mestečko Slovákov
Konsolidácia verejných financií za 3 miliardy eur nás bude bolieť. Minister financií pripravil 68 opatrení
Akcia FUNERAL: Elitní policajti zasahovali v bývalej vile exministra Rezeša
- 24 hod
- 48 hod
- 7 dní
-
- O toto išlo Rusom celý čas. Obsadili jedno z najväčších ložísk dôležitej suroviny v Európe
- Ani fúzia sa jej nevyrovná. Vedci našli alternatívu, ktorá nám dá neobmedzenú energiu
- Vedci ostali v nemom úžase. Prehliadaná planéta našej Galaxie v sebe ukrýva poklad za bilióny eur
- Fyzici vyriešili 80-ročnú záhadu, ktorú všetci ignorovali. Teraz môže navždy zmeniť tvoj život
- V Ázii sa zrútil záhadný supermoderný dron. Nikto nevie, komu patrí
-
- O toto išlo Rusom celý čas. Obsadili jedno z najväčších ložísk dôležitej suroviny v Európe
- Ani fúzia sa jej nevyrovná. Vedci našli alternatívu, ktorá nám dá neobmedzenú energiu
- Nový čínsky motor prežil test, ktorý láme fyzikálne zákony. Využíva pohon ako z iného sveta
- Vedci ostali v nemom úžase. Prehliadaná planéta našej Galaxie v sebe ukrýva poklad za bilióny eur
- Fyzici vyriešili 80-ročnú záhadu, ktorú všetci ignorovali. Teraz môže navždy zmeniť tvoj život
-
- O toto išlo Rusom celý čas. Obsadili jedno z najväčších ložísk dôležitej suroviny v Európe
- Ak zaútočia, pocítia fatálny úder. USA poslali do Európy tisíce vojakov a najsmrtiacejšiu flotilu sveta
- Majú voňať, namiesto toho nám ničia pľúca. Vedci varujú pred tichým zabijakom ovzdušia v dome
- Horúčavy už nebudú problém. Objavili prelomový spôsob, ako za pár centov vychladíš celú domácnosť
- Vedci zachytili silný rádiový signál z vesmíru. Odpoveď šokovala každého
Uniknuté dokumenty odhalili problémy Nissanu. Reštrukturalizácia už začala
46 stupňov v tieni a výstrahy naprieč kontinentom. Európa zažíva extrémne leto
EÚ odobrila dotácie na elektrinu pre firmy. Podmienkou sú investície do úspor
Svet sa rozpadá na kusy. Guterres vyzýva na urgentné financovanie rozvoja
Vývoz dielov F-35 pre Izrael prešiel súdnou skúškou. Britský súd potvrdil kontroverzné licencie
NAJČÍTANEJŠIE ZO STARTITUP