Chatboti s umelou inteligenciou sa stali bežnou súčasťou našich životov. Čoraz viac sa na nich spoliehame, hoci nie sú dokonalí a majú sklony k halucináciám. Nová štúdia však upozorňuje, že by sme im nemali úplne dôverovať – populárne jazykové modely totiž často výrazne skresľujú vedecké závery. Na tému upozornil portál Phys.org.

Nepresné výsledky chatbotov

Hoci sa mnohí tvorcovia AI modelov chvália, aké sú nové modely presné aj vo vede, ukazuje sa, že realita je iná. Vedci v štúdii analyzovali 4 900 automaticky vygenerovaných súhrnov, ktoré boli odvodené z abstraktov aj celých článkov publikovaných v prestížnych vedeckých a medicínskych časopisoch, ako sú Nature, Science a The Lancet. Zistili, že až v 73 % prípadov skresľovali vedecké závery. Poskytovali menej presné odpovede alebo dospeli k príliš zovšeobecneným záverom oproti pôvodným vedeckým textom.

Pexels

Vedci testovali desať popredných jazykových modelov vrátane ChatGPT, DeepSeek, Claude či LLaMA. Výsledky ukázali, že šesť z nich systematicky poskytuje nepresné výsledky výskumov. Hoci je forma skreslenia nenápadná, v štúdiách to môže mať veľký dopad. Chatboti zmenili napríklad formuláciu „liečba bola v tejto štúdii účinná“ a zovšeobecnili tvrdenie na „liečba je účinná“, čo môže viesť k mylnému dojmu, že výsledky štúdie sú univerzálne platné.

Keď zadávame chatbotom požiadavku, napríklad aby sa vyhli nepresnostiam, očakávame, že ju aj splnia. Vedci zistili, že po zadaní mali dvakrát vyššiu pravdepodobnosť, že vygenerujú všeobecné závery než keď im bol zadaný len jednoduchý prompt.

„Tento efekt je znepokojujúci. Študenti, výskumníci či tvorcovia politík môžu predpokladať, že ak ChatGPT požiadajú o presnosť, dostanú spoľahlivejší súhrn. Naše zistenia dokazujú opak,“ povedal Uwe Peters, spoluautor štúdie.

Riešenie je jednoduché

Výskumníci sa pozreli aj na to, ako sú na tom ľudia v porovnaní s AI. Ukázalo sa, že zhrnutia tých istých článkov vytvorené ľuďmi boli päťkrát menej náchylné k zovšeobecňovaniu. Čo je však zaujímavé, novšie modely ako ChatGPT-4o a DeepSeek, ktoré by mali byť kvalitnejšie a menej chybné, si viedli horšie než staršie modely.

Vedci ponúkajú aj riešenie. Ukázalo sa, že medzi najspoľahlivejšie modely patrí podľa vedcov Claude, ktorý mal najnižší sklon k zovšeobecňovaniu. Dôležité je tiež písanie kvalitných promptov s požiadavkou, aby boli výsledky formulované v minulom čase a nepriamou rečou. Pokročilí používatelia môžu v API modelu znížiť hodnotu parametra „teplota“, aby sa znížila jeho kreativita a zvýšila presnosť odpovedí.

Rôzne výskumy upozorňujú na riziká používania AI. Modely umelej inteligencie majú sklon k halucinovaniu, dokonca sú schopné klamať, aby zvíťazili v hre.

Čítajte viac z kategórie: Novinky