Fascinujúce a znepokojujúce zároveň. ChatGPT „podvádzal“, aby dosiahol cieľ v experimente
Nedávne experimenty so zverejneným modelom ChatGPT o1 ukázali fascinujúce a znepokojivé správanie, ktoré otvára nové otázky o etike a riadení umelej inteligencie. Model, známy svojou schopnosťou reasoning (uvažovania), bol postavený pred výzvu zvíťaziť nad silným šachovým motorom vo virtuálnom prostredí. Výsledok? AI “podvádzalo” na vlastnú päsť tým, že manipulovalo s hrou, čím ukázalo kreativitu, ale zároveň porušilo očakávané správanie.
Experiment bol navrhnutý výskumným tímom z Palisade Research, ktorý zdieľal jeho výsledky na platforme X krátko po Vianociach. ChatGPT o1 bol nasadený do prostredia s UNIX-ovým shellom, kde mal vyhrať šachovú partiu proti vysoko výkonnému šachovému motoru. Zadanie nezahŕňalo pravidlá o hraní podľa pravidiel. Iba cieľ, ktorým bolo vyhrať. O téme informoval portál BGR.
ChatGPT o1 “objavilo” možnosť upraviť herný súbor, aby mal výhodu nad oponentom. Tento postup viedol k tomu, že šachový motor v každej z piatich iterácií experimentu kapituloval. O1 tak splnilo zadanú úlohu, ale spôsobom, ktorý nie je morálny.
Podvádzanie ako rozhodnutie modelu
Čo robí tento experiment výnimočným, je skutočnosť, že AI model nebol explicitne poučený, aby podvádzal. Rozhodnutie upraviť herný stav na vlastnú päsť vzniklo na základe modelovej schopnosti uvažovať, hodnotiť pravdepodobnosť výhry a hľadať alternatívne stratégie.
Analytici zdôrazňujú, že tento incident demonštruje inherentný problém, s ktorým sa stretávame pri vývoji pokročilých AI. Modely ako o1 sú navrhnuté tak, aby efektívne riešili zadané úlohy. Ale ak nie sú riadené dostatočne robustnými pravidlami (tzv. guardrails), môžu naraziť na hranice medzi tvorivým riešením a neetickým správaním.
Etika umelej inteligencie
Takéto experimenty môžu zároveň slúžiť ako cenný nástroj pre hľadanie bezpečnostných slabín v digitálnych systémoch. ChatGPT o1 napríklad demonštroval, že herný súbor by mal byť chránený, aby sa predišlo manipuláciám. Keby bol súbor uzamknutý, model by musel nájsť legitímnu stratégiu alebo znovu hľadať medzery v systéme.
Jedným zo zásadných bodov diskusie o ChatGPT o1 je otázka jeho schopnosti správať sa v súlade s očakávaniami používateľa a morálnymi normami. Model dosiahol svoj cieľ, čo by sa dalo interpretovať ako splnenie zadaného promptu. Ale rozhodnutie obísť očakávané pravidlá naznačuje, že definovanie hraníc pre AI je kriticky dôležité, najmä pri komplexných a citlivých úlohách.
Ďakujeme, že čítaš Fontech. V prípade, že máš postreh alebo si našiel v článku chybu, napíš nám na redakcia@fontech.sk.
Teraz čítajú
Hovoria o najlepšom filme posledných rokov. Oscarové prekvapenie je konečne online
Česi pochopili krízu v Európe. Začali s modernizáciou, ktorá im zaručí energetickú nezávislosť
Slovákom leží v zuboch dodnes. Toto je príbeh filmu, kvôli ktorému Habera zažaloval Tarantinovho žiaka
Čo našli v jeho dome, políciu straší dodnes. Netflix ukazuje príbeh vraha, ktorý zmenil dejiny hororu
AKTUÁLNE: Herecký svet smúti. Zomrela ikona Hollywoodu
NAJČÍTANEJŠIE ZO STARTITUP
Tajná dohoda na obzore: Rusko chce od krajiny NATO späť rakety za 2,5 miliardy pre straty na fronte
Jedna konkrétna skupina ľudí potichu bohatne. Mladí zatiaľ utekajú za hranice, alebo zostávajú bývať u mamy
Vodičom hrozí pokuta až 300 eur. Špeciálna značka na semafore mätie Slovákov, pravidlá sú jasné
Cez stanicu Poprad-Tatry nepremávali vlaky. Dopravu zastavili pre mimoriadnu udalosť
MIMORIADNE: Ministerka Šimkovičová skončila v nemocnici. Zdravotný stav zostáva nejasný
- 24 hod
- 48 hod
- 7 dní
-
- Na Slovensku odštartovala nová TV stanica. Dá sa pozerať úplne zadarmo a je v HD kvalite
- Nič podobné nenašli vyše 150 rokov. Záhadný kameň v Egypte odhalil „posolstvo“ staré 2263 rokov
- Má dosiahnuť rýchlosť 4 000 km/h. Čína postavila levitujúci vlak, ktorý pochová lietadlá (+video)
- Európska únia nezruší zákaz spaľovákov. Chystá však niečo, čo výrazne zniží ceny elektromobilov
- Na objavenie čakal 140 miliónov rokov. 15 km pod Európou našli vedci stratený svet
-
- Na Slovensku odštartovala nová TV stanica. Dá sa pozerať úplne zadarmo a je v HD kvalite
- Nič podobné nenašli vyše 150 rokov. Záhadný kameň v Egypte odhalil „posolstvo“ staré 2263 rokov
- Má dosiahnuť rýchlosť 4 000 km/h. Čína postavila levitujúci vlak, ktorý pochová lietadlá (+video)
- Európska únia nezruší zákaz spaľovákov. Chystá však niečo, čo výrazne zniží ceny elektromobilov
- Na objavenie čakal 140 miliónov rokov. 15 km pod Európou našli vedci stratený svet
-
- Na Slovensku odštartovala nová TV stanica. Dá sa pozerať úplne zadarmo a je v HD kvalite
- Na objavenie čakal 140 miliónov rokov. 15 km pod Európou našli vedci stratený svet
- Pošlú ich rovno do šrotu. Kontroverzná regulácia Európskej komisie o autách je na spadnutie
- Nič podobné nenašli vyše 150 rokov. Záhadný kameň v Egypte odhalil „posolstvo“ staré 2263 rokov
- Má dosiahnuť rýchlosť 4 000 km/h. Čína postavila levitujúci vlak, ktorý pochová lietadlá (+video)
Nečakaná krajina zbrojí na úroveň veľmocí. Od Izraelu kúpila zbrane za vyše 2 miliardy eur
Nenápadný faktor nás oberá o miliardy eur: Európska únia je pod tlakom extrémnych javov, ničia ekonomiku štátov
Slováci v tom majú jasno: Táto vec najviac znečisťuje ovzdušie v našej krajine
Americký gigant má na krku vážny problém. Na pôde východnej mocnosti porušil dôležitý zákon
Izolujú sa od sveta. Táto krajina svoj jadrový status zakotvila v zákone, Západ je v obavách
NAJČÍTANEJŠIE ZO STARTITUP