OpenAI, popredná spoločnosť vo vývoji umelej inteligencie, zverejnila nové zistenia o spoľahlivosti svojich najnovších modelov, ktoré prinášajú prekvapujúce výsledky. V rámci vlastného testovania, najnovší model o1-preview, vydaný minulý mesiac, dosiahol len 42,7 % úspešnosť v správnych odpovediach.

Tieto čísla sú znepokojujúce, najmä preto, že umelá inteligencia sa čoraz viac integruje do našich každodenných životov a služieb. O tejto téme informoval portál Futurism.

OpenAI testovalo svoj najnovší model v rámci benchmarku SimpleQA a dosiahlo alarmujúco nízky počet správnych odpovedí. Konkurenti OpenAI, ako napríklad modely od spoločnosti Anthropic, na tom nie sú lepšie. Ich nový model Claude-3.5-sonnet dosiahol v tomto teste len 28,9 %, pričom častejšie odmietal odpovedať na otázky, keď si nebol istý správnou odpoveďou.

Tento opatrný prístup je možno rozumnejší, pretože podľa zistení výskumníkov OpenAI sú modely často príliš sebavedomé v odpovediach, aj keď sú nesprávne. To vedie k riziku šírenia nesprávnych informácií s presvedčivým tónom.

Halucinácie AI – vážny problém

Jedným z najvážnejších problémov, s ktorým sa vývojári stretávajú, je tzv. halucinovanie modelov. Tento termín v oblasti AI znamená sklon modelov generovať odpovede, ktoré nemajú oporu v realite. Hoci riziko nepresných alebo dokonca úplne vymyslených odpovedí je v prípade týchto modelov vysoké. Technológie založené na veľkých jazykových modeloch (LLM) sú dnes populárne v mnohých oblastiach. Od študentov píšucich domáce úlohy až po programátorov v popredných technologických firmách.

Nedávno bol napríklad model OpenAI použitý na prepis rozhovorov s pacientmi v nemocnici, kde sa ukázalo, že časté halucinácie v odpovediach vedú k riziku nepresného zápisu zdravotných údajov. Podobne je možné, že zavedenie AI do činnosti polície v USA môže zvyšovať.

Pexels

Narážka na kvalitu dát

Výskum od spoločnosti OpenAI upozorňuje na dôležitý fakt. Odpovede jazykových modelov umelej inteligencie si stále vyžadujú veľkú opatrnosť a pozorné hodnotenie. Aj keď sa tieto technológie rýchlo rozvíjajú, otázky ohľadom spoľahlivosti odpovedí zostávajú aktuálne. Čoraz väčší počet ľudí sa totiž pri hľadaní informácií spolieha na AI modely, a tak je dôležité zvážiť ich presnosť a dôveryhodnosť.

Podľa nových zistení od OpenAI sa ukazuje, že problém presnosti a spoľahlivosti AI môže byť spojený s kvalitou dát, ktoré modely spracovávajú počas tréningu. Aj keď rozšírenie množstva týchto dát môže zlepšiť výkon a rozmanitosť odpovedí, zatiaľ nie je jasné, či tento krok úplne vyrieši riziko nepresností.