Fascinujúce a znepokojujúce zároveň. ChatGPT „podvádzal“, aby dosiahol cieľ v experimente
Nedávne experimenty so zverejneným modelom ChatGPT o1 ukázali fascinujúce a znepokojivé správanie, ktoré otvára nové otázky o etike a riadení umelej inteligencie. Model, známy svojou schopnosťou reasoning (uvažovania), bol postavený pred výzvu zvíťaziť nad silným šachovým motorom vo virtuálnom prostredí. Výsledok? AI “podvádzalo” na vlastnú päsť tým, že manipulovalo s hrou, čím ukázalo kreativitu, ale zároveň porušilo očakávané správanie.
Experiment bol navrhnutý výskumným tímom z Palisade Research, ktorý zdieľal jeho výsledky na platforme X krátko po Vianociach. ChatGPT o1 bol nasadený do prostredia s UNIX-ovým shellom, kde mal vyhrať šachovú partiu proti vysoko výkonnému šachovému motoru. Zadanie nezahŕňalo pravidlá o hraní podľa pravidiel. Iba cieľ, ktorým bolo vyhrať. O téme informoval portál BGR.
ChatGPT o1 “objavilo” možnosť upraviť herný súbor, aby mal výhodu nad oponentom. Tento postup viedol k tomu, že šachový motor v každej z piatich iterácií experimentu kapituloval. O1 tak splnilo zadanú úlohu, ale spôsobom, ktorý nie je morálny.
Podvádzanie ako rozhodnutie modelu
Čo robí tento experiment výnimočným, je skutočnosť, že AI model nebol explicitne poučený, aby podvádzal. Rozhodnutie upraviť herný stav na vlastnú päsť vzniklo na základe modelovej schopnosti uvažovať, hodnotiť pravdepodobnosť výhry a hľadať alternatívne stratégie.
Analytici zdôrazňujú, že tento incident demonštruje inherentný problém, s ktorým sa stretávame pri vývoji pokročilých AI. Modely ako o1 sú navrhnuté tak, aby efektívne riešili zadané úlohy. Ale ak nie sú riadené dostatočne robustnými pravidlami (tzv. guardrails), môžu naraziť na hranice medzi tvorivým riešením a neetickým správaním.
Etika umelej inteligencie
Takéto experimenty môžu zároveň slúžiť ako cenný nástroj pre hľadanie bezpečnostných slabín v digitálnych systémoch. ChatGPT o1 napríklad demonštroval, že herný súbor by mal byť chránený, aby sa predišlo manipuláciám. Keby bol súbor uzamknutý, model by musel nájsť legitímnu stratégiu alebo znovu hľadať medzery v systéme.
Jedným zo zásadných bodov diskusie o ChatGPT o1 je otázka jeho schopnosti správať sa v súlade s očakávaniami používateľa a morálnymi normami. Model dosiahol svoj cieľ, čo by sa dalo interpretovať ako splnenie zadaného promptu. Ale rozhodnutie obísť očakávané pravidlá naznačuje, že definovanie hraníc pre AI je kriticky dôležité, najmä pri komplexných a citlivých úlohách.
Ďakujeme, že čítaš Fontech. V prípade, že máš postreh alebo si našiel v článku chybu, napíš nám na redakcia@fontech.sk.
Teraz čítajú
Prepraví ohromný počet áut. BYD spustil najväčšiu loď svojho druhu na svete
Nabíjanie elektromobilov bude lacnejšie. Firma Renaultu chce naplno využívať túto prebytočnú energiu
Nová vesmírna veľmoc chce dobyť vesmír. Za zlomok ceny dokážu to, čo USA a Čína za miliardy dolárov
Príbeh filmu Čierny jastrab zostrelený znovu ožíva. Mrazivá novinka od Netflixu má prvý trailer
Historický rok v hernom priemysle. PlayStation dostane legendárne hry z Xboxu, vrátane Halo
- 24 hod
- 48 hod
- 7 dní
-
- Známa spoločnosť vyvinula prvý spaľovací motor s unikátnym palivom. Trvalo im to 3 roky, minuli 120 miliónov eur
- Slovákom leží v zuboch dodnes. Toto je príbeh filmu, kvôli ktorému Habera zažaloval Tarantinovho žiaka
- Majú zásoby 200 miliárd m³. Nečakaná krajina sa môže stať najväčším producentom plynu v Európe
- Majú suverénne najlepšiu optiku aj WiFi. Toto je najlepší poskytovateľ internetu na Slovensku
- Útok na kataster môže spôsobiť ešte väčšie škody. Unikli tieto citlivé údaje o Slovákoch
-
- Známa spoločnosť vyvinula prvý spaľovací motor s unikátnym palivom. Trvalo im to 3 roky, minuli 120 miliónov eur
- Slovákom leží v zuboch dodnes. Toto je príbeh filmu, kvôli ktorému Habera zažaloval Tarantinovho žiaka
- Majú zásoby 200 miliárd m³. Nečakaná krajina sa môže stať najväčším producentom plynu v Európe
- Majú suverénne najlepšiu optiku aj WiFi. Toto je najlepší poskytovateľ internetu na Slovensku
- Útok na kataster môže spôsobiť ešte väčšie škody. Unikli tieto citlivé údaje o Slovákoch
-
- Spoliehali sa na Rusov, teraz im hrozí nedostatok plynu. Európsky štát čelí „najprísnejším sankciám v histórii“
- Známa spoločnosť vyvinula prvý spaľovací motor s unikátnym palivom. Trvalo im to 3 roky, minuli 120 miliónov eur
- Milovaný Windows tento rok končí. Microsoft núti 400 miliónov ľudí, aby si kúpili nový počítač
- TOP televízory roka 2025: Bezkáblový, ktorý popiera gravitáciu, gigantický „Číňan“ aj cena priehľadného LG
- Útok na kataster môže spôsobiť ešte väčšie škody. Unikli tieto citlivé údaje o Slovákoch
Jadrová ponorka USA nasadila podvodné drony. Vyšle ich na tajné misie proti nepriateľom
Je veľký ako semienko jahody. ESA vyvinula vesmírny čip, ktorý bude mať dôležitú úlohu
Gigantický jašter so žraločími zubami znova „ožil“. Staré náčrty odkryli záhadu obávaného predátora
Slovenská sporiteľňa ohlásila veľkú novinku pri platbách. Známu aplikáciu už nebudeš potrebovať
Viac funkcií za viac peňazí. Balíček Microsoft 365 výrazne zdražel, môže za to unikátna funkcia
Copyright© 2025 by Startitup, s. r. o. Všetky práva vyhradené