Fascinujúce a znepokojujúce zároveň. ChatGPT „podvádzal“, aby dosiahol cieľ v experimente
Nedávne experimenty so zverejneným modelom ChatGPT o1 ukázali fascinujúce a znepokojivé správanie, ktoré otvára nové otázky o etike a riadení umelej inteligencie. Model, známy svojou schopnosťou reasoning (uvažovania), bol postavený pred výzvu zvíťaziť nad silným šachovým motorom vo virtuálnom prostredí. Výsledok? AI “podvádzalo” na vlastnú päsť tým, že manipulovalo s hrou, čím ukázalo kreativitu, ale zároveň porušilo očakávané správanie.
Experiment bol navrhnutý výskumným tímom z Palisade Research, ktorý zdieľal jeho výsledky na platforme X krátko po Vianociach. ChatGPT o1 bol nasadený do prostredia s UNIX-ovým shellom, kde mal vyhrať šachovú partiu proti vysoko výkonnému šachovému motoru. Zadanie nezahŕňalo pravidlá o hraní podľa pravidiel. Iba cieľ, ktorým bolo vyhrať. O téme informoval portál BGR.
ChatGPT o1 “objavilo” možnosť upraviť herný súbor, aby mal výhodu nad oponentom. Tento postup viedol k tomu, že šachový motor v každej z piatich iterácií experimentu kapituloval. O1 tak splnilo zadanú úlohu, ale spôsobom, ktorý nie je morálny.
Podvádzanie ako rozhodnutie modelu
Čo robí tento experiment výnimočným, je skutočnosť, že AI model nebol explicitne poučený, aby podvádzal. Rozhodnutie upraviť herný stav na vlastnú päsť vzniklo na základe modelovej schopnosti uvažovať, hodnotiť pravdepodobnosť výhry a hľadať alternatívne stratégie.
Analytici zdôrazňujú, že tento incident demonštruje inherentný problém, s ktorým sa stretávame pri vývoji pokročilých AI. Modely ako o1 sú navrhnuté tak, aby efektívne riešili zadané úlohy. Ale ak nie sú riadené dostatočne robustnými pravidlami (tzv. guardrails), môžu naraziť na hranice medzi tvorivým riešením a neetickým správaním.

Etika umelej inteligencie
Takéto experimenty môžu zároveň slúžiť ako cenný nástroj pre hľadanie bezpečnostných slabín v digitálnych systémoch. ChatGPT o1 napríklad demonštroval, že herný súbor by mal byť chránený, aby sa predišlo manipuláciám. Keby bol súbor uzamknutý, model by musel nájsť legitímnu stratégiu alebo znovu hľadať medzery v systéme.
Jedným zo zásadných bodov diskusie o ChatGPT o1 je otázka jeho schopnosti správať sa v súlade s očakávaniami používateľa a morálnymi normami. Model dosiahol svoj cieľ, čo by sa dalo interpretovať ako splnenie zadaného promptu. Ale rozhodnutie obísť očakávané pravidlá naznačuje, že definovanie hraníc pre AI je kriticky dôležité, najmä pri komplexných a citlivých úlohách.
Ďakujeme, že čítaš Fontech. V prípade, že máš postreh alebo si našiel v článku chybu, napíš nám na redakcia@fontech.sk.
Teraz čítajú

Objavili sme prekvapivý cyklus. Medzi Zemou a Marsom sa deje niečo mimoriadne zvláštne

Nikto netušil, čo sa deje: Záhadný objekt k nám vysiela rádiové signály už od roku 1988

Vstúpili si do svedomia. EÚ stavia kontinentálny štít, porazí najnovšiu hrozbu moderných vojen

Milovaný nápoj Slovákov dostal riadnu vychytávku. S týmto si ho pripravíš aj mimo civilizácie

„Prišli priamo ku mne.“ Bývalý astronaut NASA prežil desivý stret s UFO, nič podobné ešte nevidel
NAJČÍTANEJŠIE ZO STARTITUP

Prelomový úspech v boji proti rakovine pankreasu: Nová liečba vymazala nádory bez návratu

Kanadský expert sa čuduje, prečo títo dvaja slovenskí hráči nehrajú ešte v NHL: „Sú to naozaj dobrí hráči“

Obľúbená značka spod Tatier po 10 rokoch končí: Hovorí o únave, drahšej práci aj nezáujme o poctivé výrobky

Slováci skončili bez medailí. Bronz z Milána si odnášajú Fíni

MIMORIADNE Bratislava zažila zemetrasenie: Hlavné mesto sa triaslo niekoľko sekúnd
- 24 hod
- 48 hod
- 7 dní
-
- Lacný televízor sa už Slovákom nevyplatí. Výrobcovia chystajú zradu
- Vedcom padla sánka, keď ju zbadali. 600 km nad pyramídami našli zvláštnu bublinu
- S Mesiacom sa deje niečo čudné. Vedci objavili anomáliu, ktorá môže ohroziť ľudí
- Miliardové stíhačky môžu hodiť za hlavu. USA postavili zbraň budúcnosti za 71 dní
- Trhu hrozí kolaps. Šéf veľkej automobilky sa otvorene postavil proti zákazu spaľovákov
-
- Vedcom padla sánka, keď ju zbadali. 600 km nad pyramídami našli zvláštnu bublinu
- S Mesiacom sa deje niečo čudné. Vedci objavili anomáliu, ktorá môže ohroziť ľudí
- Miliardové stíhačky môžu hodiť za hlavu. USA postavili zbraň budúcnosti za 71 dní
- Ohromne zbohatnú a spasia celý svet. Veľmoc našla pod zemou nekonečný zdroj čistej energie
- Hrozí kolaps. Záhadná anomália priťahuje všetky objekty na stovky miliónov svetelných rokov
-
- Ohromne zbohatnú a spasia celý svet. Veľmoc našla pod zemou nekonečný zdroj čistej energie
- Vedcom padla sánka, keď ju zbadali. 600 km nad pyramídami našli zvláštnu bublinu
- Rusi ju nevedeli nájsť 60 rokov, AI to zvládla hneď. Stará záhada Mesiaca má konečne riešenie
- Slováci dostanú 10 nových TV staníc zadarmo. Jedna zmena však poriadne zamrzí
- Jeden z najlepších českých filmov roka 2025 dnes dorazil na Netflix
Vyrobia nám ich Švédi. Slovenská armáda dostane moderné bojové vozidlá
Svitá nám na lepšie časy. Dôležitá slovenská firma pre elektromobilitu je konečne v zisku
Teslu čaká strmhlavý pád. Trh s elektromobilmi zaznamená veľké zmeny
Priestor dostanú elektromobily. Slovenská Kia ohlásila smelé plány na rok 2026
Na Slovensko dorazila lukratívna TV stanica. V strednej Európe ju ponúka jediný operátor
Na Európu sa rúti najväčšia pohroma v histórii. Miliardovým škodám sa už nedá vyhnúť, varujú experti
Trump pripravuje rozhodnutie o ďalšej vojenskej pomoci pre Taiwan. Peking varuje USA
NAJČÍTANEJŠIE ZO STARTITUP

Prelomový úspech v boji proti rakovine pankreasu: Nová liečba vymazala nádory bez návratu

Kanadský expert sa čuduje, prečo títo dvaja slovenskí hráči nehrajú ešte v NHL: „Sú to naozaj dobrí hráči“

Obľúbená značka spod Tatier po 10 rokoch končí: Hovorí o únave, drahšej práci aj nezáujme o poctivé výrobky

Slováci skončili bez medailí. Bronz z Milána si odnášajú Fíni

