Fascinujúce a znepokojujúce zároveň. ChatGPT „podvádzal“, aby dosiahol cieľ v experimente
Nedávne experimenty so zverejneným modelom ChatGPT o1 ukázali fascinujúce a znepokojivé správanie, ktoré otvára nové otázky o etike a riadení umelej inteligencie. Model, známy svojou schopnosťou reasoning (uvažovania), bol postavený pred výzvu zvíťaziť nad silným šachovým motorom vo virtuálnom prostredí. Výsledok? AI “podvádzalo” na vlastnú päsť tým, že manipulovalo s hrou, čím ukázalo kreativitu, ale zároveň porušilo očakávané správanie.
Experiment bol navrhnutý výskumným tímom z Palisade Research, ktorý zdieľal jeho výsledky na platforme X krátko po Vianociach. ChatGPT o1 bol nasadený do prostredia s UNIX-ovým shellom, kde mal vyhrať šachovú partiu proti vysoko výkonnému šachovému motoru. Zadanie nezahŕňalo pravidlá o hraní podľa pravidiel. Iba cieľ, ktorým bolo vyhrať. O téme informoval portál BGR.
ChatGPT o1 “objavilo” možnosť upraviť herný súbor, aby mal výhodu nad oponentom. Tento postup viedol k tomu, že šachový motor v každej z piatich iterácií experimentu kapituloval. O1 tak splnilo zadanú úlohu, ale spôsobom, ktorý nie je morálny.
Podvádzanie ako rozhodnutie modelu
Čo robí tento experiment výnimočným, je skutočnosť, že AI model nebol explicitne poučený, aby podvádzal. Rozhodnutie upraviť herný stav na vlastnú päsť vzniklo na základe modelovej schopnosti uvažovať, hodnotiť pravdepodobnosť výhry a hľadať alternatívne stratégie.
Analytici zdôrazňujú, že tento incident demonštruje inherentný problém, s ktorým sa stretávame pri vývoji pokročilých AI. Modely ako o1 sú navrhnuté tak, aby efektívne riešili zadané úlohy. Ale ak nie sú riadené dostatočne robustnými pravidlami (tzv. guardrails), môžu naraziť na hranice medzi tvorivým riešením a neetickým správaním.
Etika umelej inteligencie
Takéto experimenty môžu zároveň slúžiť ako cenný nástroj pre hľadanie bezpečnostných slabín v digitálnych systémoch. ChatGPT o1 napríklad demonštroval, že herný súbor by mal byť chránený, aby sa predišlo manipuláciám. Keby bol súbor uzamknutý, model by musel nájsť legitímnu stratégiu alebo znovu hľadať medzery v systéme.
Jedným zo zásadných bodov diskusie o ChatGPT o1 je otázka jeho schopnosti správať sa v súlade s očakávaniami používateľa a morálnymi normami. Model dosiahol svoj cieľ, čo by sa dalo interpretovať ako splnenie zadaného promptu. Ale rozhodnutie obísť očakávané pravidlá naznačuje, že definovanie hraníc pre AI je kriticky dôležité, najmä pri komplexných a citlivých úlohách.
Ďakujeme, že čítaš Fontech. V prípade, že máš postreh alebo si našiel v článku chybu, napíš nám na redakcia@fontech.sk.
Teraz čítajú
Má 100 % hodnotenie. Nový horor ťa svojou desivou zápletkou doslova prilepí k obrazovke
Koniec batérií sa blíži. Vedci vyvíjajú technológie, ktoré efektívne uložia vyrobenú energiu
Záhadný kameň v Egypte nechal vedcov v nemom úžase. Odhalil tajomstvo ukryté 5000 rokov
Rusko a USA v pozore. Európska mocnosť nasadí stíhačky s desivými jadrovými zbraňami
Tisíce slovenských domácností si priplatia stovky eur za kúrenie. Nový zákon EÚ ťa nepoteší (PREHĽAD)
NAJČÍTANEJŠIE ZO STARTITUP
„Telo má vlastný systém na likvidáciu rakoviny,“ hovorí popredný lekár. Takto ho aktivuješ
Ako ísť do dôchodku v 35 rokoch: Investičný byt ti zabezpečí pasívny príjem
Obyčajné sople odhaľujú Alzheimera, Parkinsona či rakovinu. Ich farba prezrádza, čo sa deje v tvojom tele
Odstávka obľúbenej banky Slovákov: V jeden deň nepôjde internet banking, web ani aplikácia
Trump chystá zásadný odkaz Rusku. Veľké vyhlásenie má prísť v tento dátum
- 24 hod
- 48 hod
- 7 dní
-
- Televízory Slovákov úmyselne zhoršujú kvalitu obrazu. Je to špinavý marketing, takto ho opravíš
- V spoľahlivosti nemajú konkurenciu. Týchto 5+1 automobiliek má najlepšie motory (PREHĽAD)
- Benzín a nafta definitívne skončili. Čerpacie stanice ich nahradia „novými“ palivami, vieme kedy
- Najlepší akčný film roka po prechode na online trhá rekordy. Aj s dabingom sa dá pozrieť úplne zadarmo
- Brusel chce zarezať telekomunikačných operátorov. Proti novému zákonu sú všetky štáty EÚ
-
- V spoľahlivosti nemajú konkurenciu. Týchto 5+1 automobiliek má najlepšie motory (PREHĽAD)
- Televízory Slovákov úmyselne zhoršujú kvalitu obrazu. Je to špinavý marketing, takto ho opravíš
- Najlepší akčný film roka po prechode na online trhá rekordy. Aj s dabingom sa dá pozrieť úplne zadarmo
- Totálna nehoráznosť: Čínska vojnová loď použila laser proti lietadlu EÚ, Nemci reagujú tvrdo
- Brusel chce zarezať telekomunikačných operátorov. Proti novému zákonu sú všetky štáty EÚ
-
- Rusi ani netušili, čo im zlikvidovalo najdrahší systém. Ukrajina použila zbraň, akú svet ešte nevidel
- V Európe sa vylodili tisícky čínskych elektromobilov. Doviezla ich obrovská loď so šokujúcim pohonom a výkonom
- V spoľahlivosti nemajú konkurenciu. Týchto 5+1 automobiliek má najlepšie motory (PREHĽAD)
- Slovensko čaká najväčšia dopravná novela za roky. Nový zákon udrie na cestných pirátov aj e-kolobežky (PREHĽAD)
- Západ nič také nemá. „Spojenec“ Ruska nasadí laser na stíhačky budúcnosti, rakety po ňom „slepnú“
Trump mení stratégiu: Zbrane pre Ukrajinu pôjdu cez NATO, voči Rusku chystá zásadné vyhlásenie
Takto sa zneužíva home office. Odborári odhalili praktiky, ktoré sa ťa môžu týkať
Očkovanie neodmietali nevzdelaní. Nová štúdia odhalila iný faktor
Tržby TSMC prekonali očakávania. Čipy pre AI lámu rekordy
Slovensko má najdrahšie palivá v regióne. Analytici majú vysvetlenie
NAJČÍTANEJŠIE ZO STARTITUP