Fascinujúce a znepokojujúce zároveň. ChatGPT „podvádzal“, aby dosiahol cieľ v experimente
Nedávne experimenty so zverejneným modelom ChatGPT o1 ukázali fascinujúce a znepokojivé správanie, ktoré otvára nové otázky o etike a riadení umelej inteligencie. Model, známy svojou schopnosťou reasoning (uvažovania), bol postavený pred výzvu zvíťaziť nad silným šachovým motorom vo virtuálnom prostredí. Výsledok? AI “podvádzalo” na vlastnú päsť tým, že manipulovalo s hrou, čím ukázalo kreativitu, ale zároveň porušilo očakávané správanie.
Experiment bol navrhnutý výskumným tímom z Palisade Research, ktorý zdieľal jeho výsledky na platforme X krátko po Vianociach. ChatGPT o1 bol nasadený do prostredia s UNIX-ovým shellom, kde mal vyhrať šachovú partiu proti vysoko výkonnému šachovému motoru. Zadanie nezahŕňalo pravidlá o hraní podľa pravidiel. Iba cieľ, ktorým bolo vyhrať. O téme informoval portál BGR.
ChatGPT o1 “objavilo” možnosť upraviť herný súbor, aby mal výhodu nad oponentom. Tento postup viedol k tomu, že šachový motor v každej z piatich iterácií experimentu kapituloval. O1 tak splnilo zadanú úlohu, ale spôsobom, ktorý nie je morálny.
Podvádzanie ako rozhodnutie modelu
Čo robí tento experiment výnimočným, je skutočnosť, že AI model nebol explicitne poučený, aby podvádzal. Rozhodnutie upraviť herný stav na vlastnú päsť vzniklo na základe modelovej schopnosti uvažovať, hodnotiť pravdepodobnosť výhry a hľadať alternatívne stratégie.
Analytici zdôrazňujú, že tento incident demonštruje inherentný problém, s ktorým sa stretávame pri vývoji pokročilých AI. Modely ako o1 sú navrhnuté tak, aby efektívne riešili zadané úlohy. Ale ak nie sú riadené dostatočne robustnými pravidlami (tzv. guardrails), môžu naraziť na hranice medzi tvorivým riešením a neetickým správaním.

Etika umelej inteligencie
Takéto experimenty môžu zároveň slúžiť ako cenný nástroj pre hľadanie bezpečnostných slabín v digitálnych systémoch. ChatGPT o1 napríklad demonštroval, že herný súbor by mal byť chránený, aby sa predišlo manipuláciám. Keby bol súbor uzamknutý, model by musel nájsť legitímnu stratégiu alebo znovu hľadať medzery v systéme.
Jedným zo zásadných bodov diskusie o ChatGPT o1 je otázka jeho schopnosti správať sa v súlade s očakávaniami používateľa a morálnymi normami. Model dosiahol svoj cieľ, čo by sa dalo interpretovať ako splnenie zadaného promptu. Ale rozhodnutie obísť očakávané pravidlá naznačuje, že definovanie hraníc pre AI je kriticky dôležité, najmä pri komplexných a citlivých úlohách.
Ďakujeme, že čítaš Fontech. V prípade, že máš postreh alebo si našiel v článku chybu, napíš nám na redakcia@fontech.sk.
Teraz čítajú

Za americké stíhačky zaplatíme ďalšie milióny: Slovensko podpísalo dôležitú zmluvu

Smrtiace zbrojenie pokračuje. USA vyvíja hrozivú raketu za pol milióna

Čínsky hybrid s výkonom 424 koní a dojazdom 220 km pod 15 000 eur? Toto auto zvalcuje trh

Nicolas Cage ako temný Spider-Man ovládol prvé recenzie. Novinka od Prime Video je totálny úlet

Môže kvôli nemu prísť o dom. Životný projekt Kevina Costnera spoznal svoju budúcnosť
NAJČÍTANEJŠIE ZO STARTITUP

WHO vyhlásila globálny stav núdze, úmrtia na ebolu pribúdajú každú hodinu. Slovensko prišlo o kľúčovú zbraň proti nákaze
PREMIUMRealitné fondy vs. kúpa bytu? Odborník radí, ako správne investovať do nehnuteľností

Každý tretí obyvateľ sa dožije 90-tky: Ostrov, kde ľudia zabúdajú zomrieť, odhalil svoje tajomstvá

Neurovedec radí, ako si udržať zdravú a plastickú myseľ až do neskorej staroby. Vyvaruj sa konkrétnym zlozvykom

Večerný rituál môže škodiť mozgu. Neurológovia varujú pred zvykom, ktorý narúša spánok aj pamäť
- 24 hod
- 48 hod
- 7 dní
-
- Vodič išiel cez obec 252 km/h. Pokutu nedostane, zachránila ho technológia radaru
- 2 roky čakania sa skončili. Pokračovanie svetového megahitu dorazilo na streamovaciu službu
- Svet nastavil zrkadlo slovenskej vláde. Stačí jediná vec a Slováci začnú kupovať elektromobily
- Najväčší akčný film mesiaca dorazil online aj s dabingom. K Slovensku má prekvapivo blízko
- Slovensko zažilo solárny skok. Pribudlo 243 MW fotovoltiky, no najväčší problém ostáva inde
-
- Vodič išiel cez obec 252 km/h. Pokutu nedostane, zachránila ho technológia radaru
- Najväčší akčný film mesiaca dorazil online aj s dabingom. K Slovensku má prekvapivo blízko
- Čínsky gigant spustil výrobu prelomových batérií s extrémnou hustotou, zmenia aj európsky trh
- BYD prepisuje históriu: Nové SUV zvládlo 4 300 km vďaka batérii s 5-minútovým nabíjaním, príde aj do Európy
- Svet nastavil zrkadlo slovenskej vláde. Stačí jediná vec a Slováci začnú kupovať elektromobily
-
- O toto išlo Rusom celý čas. Obsadili jedno z najväčších ložísk dôležitej suroviny v Európe
- Vodič išiel cez obec 252 km/h. Pokutu nedostane, zachránila ho technológia radaru
- Poklad z doby bronzovej prišiel z iného sveta, analýza materiálu odhalila zvláštny pôvod
- BYD prepisuje históriu: Nové SUV zvládlo 4 300 km vďaka batérii s 5-minútovým nabíjaním, príde aj do Európy
- Slovensko má pod nohami energetický poklad, ale využíva z neho len zlomok. Expert to nazval národnou hanbou
Energetická bezpečnosť je pre krajiny EÚ jednou z hlavných priorít, tvrdí ministerka hospodárstva
Energeticky náročné podniky na Slovensku dostanú milióny eur
Obľúbená appka cestujúcich Slovákov chce nasadiť AI
Továreň Volvo pri Košiciach plánuje testovaciu prevádzku, ostáva pár mesiacov
Taliansko spúšťa solárny park gigantických rozmerov a šialený výkonom. Energetika v Európe sa zásadne mení k lepšiemu
Rusi opäť provokujú NATO. Úrady v európskom meste zatvorili školy
Dôležitý krok: Kia štartuje výrobu modernizovaného modelu na Slovensku
NAJČÍTANEJŠIE ZO STARTITUP

WHO vyhlásila globálny stav núdze, úmrtia na ebolu pribúdajú každú hodinu. Slovensko prišlo o kľúčovú zbraň proti nákaze
PREMIUMRealitné fondy vs. kúpa bytu? Odborník radí, ako správne investovať do nehnuteľností

Každý tretí obyvateľ sa dožije 90-tky: Ostrov, kde ľudia zabúdajú zomrieť, odhalil svoje tajomstvá

Neurovedec radí, ako si udržať zdravú a plastickú myseľ až do neskorej staroby. Vyvaruj sa konkrétnym zlozvykom

