Fascinujúce a znepokojujúce zároveň. ChatGPT „podvádzal“, aby dosiahol cieľ v experimente
Nedávne experimenty so zverejneným modelom ChatGPT o1 ukázali fascinujúce a znepokojivé správanie, ktoré otvára nové otázky o etike a riadení umelej inteligencie. Model, známy svojou schopnosťou reasoning (uvažovania), bol postavený pred výzvu zvíťaziť nad silným šachovým motorom vo virtuálnom prostredí. Výsledok? AI “podvádzalo” na vlastnú päsť tým, že manipulovalo s hrou, čím ukázalo kreativitu, ale zároveň porušilo očakávané správanie.
Experiment bol navrhnutý výskumným tímom z Palisade Research, ktorý zdieľal jeho výsledky na platforme X krátko po Vianociach. ChatGPT o1 bol nasadený do prostredia s UNIX-ovým shellom, kde mal vyhrať šachovú partiu proti vysoko výkonnému šachovému motoru. Zadanie nezahŕňalo pravidlá o hraní podľa pravidiel. Iba cieľ, ktorým bolo vyhrať. O téme informoval portál BGR.
ChatGPT o1 “objavilo” možnosť upraviť herný súbor, aby mal výhodu nad oponentom. Tento postup viedol k tomu, že šachový motor v každej z piatich iterácií experimentu kapituloval. O1 tak splnilo zadanú úlohu, ale spôsobom, ktorý nie je morálny.
Podvádzanie ako rozhodnutie modelu
Čo robí tento experiment výnimočným, je skutočnosť, že AI model nebol explicitne poučený, aby podvádzal. Rozhodnutie upraviť herný stav na vlastnú päsť vzniklo na základe modelovej schopnosti uvažovať, hodnotiť pravdepodobnosť výhry a hľadať alternatívne stratégie.
Analytici zdôrazňujú, že tento incident demonštruje inherentný problém, s ktorým sa stretávame pri vývoji pokročilých AI. Modely ako o1 sú navrhnuté tak, aby efektívne riešili zadané úlohy. Ale ak nie sú riadené dostatočne robustnými pravidlami (tzv. guardrails), môžu naraziť na hranice medzi tvorivým riešením a neetickým správaním.
Etika umelej inteligencie
Takéto experimenty môžu zároveň slúžiť ako cenný nástroj pre hľadanie bezpečnostných slabín v digitálnych systémoch. ChatGPT o1 napríklad demonštroval, že herný súbor by mal byť chránený, aby sa predišlo manipuláciám. Keby bol súbor uzamknutý, model by musel nájsť legitímnu stratégiu alebo znovu hľadať medzery v systéme.
Jedným zo zásadných bodov diskusie o ChatGPT o1 je otázka jeho schopnosti správať sa v súlade s očakávaniami používateľa a morálnymi normami. Model dosiahol svoj cieľ, čo by sa dalo interpretovať ako splnenie zadaného promptu. Ale rozhodnutie obísť očakávané pravidlá naznačuje, že definovanie hraníc pre AI je kriticky dôležité, najmä pri komplexných a citlivých úlohách.
Ďakujeme, že čítaš Fontech. V prípade, že máš postreh alebo si našiel v článku chybu, napíš nám na redakcia@fontech.sk.
Teraz čítajú
Prešli za hranice reality. Vedci objavili v kvantovom tuneli nový jav, ktorý prepíše učebnice
Bez Západu by si ani neškrtli. Ukrajinci odhalili šokujúce tajomstvo ruských zbraní
Astronomická lahôdka: Obloha sa čoskoro zmení na živú mapu vesmíru, takto ju uvidíš zo Slovenska
Desivejší než kedykoľvek predtým. Seriálový Votrelec ukazuje v novej ukážke monštrá, z ktorých mrazí
Prehliadaná krajina prechádza desivou premenou za miliardy. Čína ju zbrojí na úroveň superveľmocí
NAJČÍTANEJŠIE ZO STARTITUP
Prekvapivý zvrat na trhu práce mení rebríček najžiadanejších absolventov vysokých škôl. Jednotkou už nie je IT
EÚ schválila 18. balík sankcií proti Rusku. Fico ustúpil tlaku
Fico otočil, EÚ prijala nový balík sankcií proti Rusku. Takéto majú byť garancie pre Slovensko
Snoop Dogg sa stal spolumajiteľom známeho futbalového klubu: „Príbeh klubu a regiónu ma oslovil“
Analýza miliónov letov šokuje cestujúcich a odhaľuje prekvapivú pravdu o spoľahlivosti európskych aeroliniek
- 24 hod
- 48 hod
- 7 dní
-
- Najväčší hit Netflixu úplne prehliadli. Toto sú podľa kritikov najlepšie seriály roka
- Prehliadaná krajina prechádza desivou premenou za miliardy. Čína ju zbrojí na úroveň superveľmocí
- Krvavý turnaj je späť. Mortal Kombat 2 dostal prvé video, dorazí čoskoro
- Tento pohon áut vôbec nie je taký čistý, ako si mysleli. V novej štúdii ho elektromobily rozdupali
- Záhadný kameň v Egypte nechal vedcov v nemom úžase. Odhalil tajomstvo ukryté 5000 rokov
-
- Vedci našli niečo, čo popiera fyziku. Výbuch jadrovej bomby vytvoril materiál, ktorý nemal existovať
- Českí filmári zobrali „dezolátov“ na Ukrajinu a ukázali im vojnu. Takto vyzerali ich reakcie (VIDEO)
- Prehliadaná krajina prechádza desivou premenou za miliardy. Čína ju zbrojí na úroveň superveľmocí
- Netflix opäť trafil do čierneho. Drsnú krimi sériu považujú kritici za jeden z najlepších seriálov roka
- Nočná mora Rusov funguje. Ukrajina dostala od USA špeciálne zariadenia, ktoré môžu rozhodnúť vojnu
-
- Väčšina Slovákov o nej ani netuší. Ak porušíš túto povinnosť, hrozí ti pokuta 1200 €
- Taiwan ukázal svetu, čo sa stane, ak zaútočí Čína. V kľúčovom teste všetkých zarazili
- Našiel som dokonalé rodinné auto. Na novej Dacii som prešiel 1 400 km do Chorvátska, otvorila mi oči
- POZOR: Nová dopravná značka mätie vodičov. Toto musíš spraviť, keď ju uvidíš
- Týmto raketám neunikne nikto. Kórea do nich vložila niečo, čo zlikviduje akýkoľvek cieľ
Svetový úspech vedcov SAV: Slováci vyvinuli zbraň proti vírusu, ktorý môže spúšťať rakovinu
Aplikácia Slovenskej pošty sa mení na digitálnu pobočku: Pribudnú kľúčové novinky
Slováci nakupujú inak, predajcov pribúda. E-shopy u nás prechádzajú premenou
Slovákov masívne ohrozuje nový typ kybernetického útoku. Je horší než phishing
USA zavedú jednotné clá. Zasiahne to vyše 150 krajín naraz
NAJČÍTANEJŠIE ZO STARTITUP