Nedávno predstavené modely umelej inteligencie od OpenAI – o3 a o4-mini – prinášajú špičkový výkon v oblastiach ako kódovanie či matematika, no zároveň čelia starej známej výzve, ktorá sužuje aj najlepšie AI systémy súčasnosti: halucináciám. Navyše, nové modely si podľa interných testov vymýšľajú ešte viac než ich predchodcovia, čo je znepokojujúci trend, ktorý vývojári zatiaľ nevedia úplne vysvetliť.

Halucinácie, teda situácie, keď si AI systém vymyslí nepravdivé alebo neoverené informácie, zostávajú jednou z najväčších a najťažších prekážok v oblasti umelej inteligencie. Doteraz sa s každou novou verziou modelu očakávalo, že bude v tejto oblasti lepšia – teda bude si vymýšľať menej. Pri modeloch o3 a o4-mini sa však tento trend otočil. O téme informoval portál TechCrunch.

Starý problém v novom prevedení

Podľa technickej správy od OpenAI oba nové modely halucinujú častejšie ako staršie reasoning modely ako o1, o1-mini či o3-mini, ale aj ako tradičné „ne-reasoning“ modely ako GPT-4o. Model o3 napríklad halucinoval až pri 33 % otázok na PersonQA – internej OpenAI databáze na testovanie faktickej presnosti o ľuďoch. Pre porovnanie, o1 halucinoval len v 16 % a o3-mini v 14,8 % prípadov. Ešte horšie dopadol o4-mini, ktorý vykazoval halucinácie v 48 % otázok.

OpenAI priznáva, že dôvody zhoršenia nie sú zatiaľ jasné a „je potrebný ďalší výskum“, aby sa zistilo, prečo škálovanie reasoning modelov vedie k vyššiemu výskytu halucinácií. Jedným z vysvetlení môže byť samotná povaha týchto modelov – vďaka ich schopnosti robiť viac záverov a tvrdení, častejšie vytvárajú presné, ale aj nepresné odpovede.

Flickr

Nejasné dôvody a hypotézy výskumníkov

Organizácia Transluce, neziskové výskumné laboratórium pre AI, našla ďalší dôkaz o halucináciách modelu o3. V jednom prípade tvrdil, že spustil kód na MacBooku Pro mimo prostredia ChatGPT a následne skopíroval výsledky – čo technicky nie je možné. Podľa výskumníka Neila Chowdhuryho z Transluce môže byť za problémom typ reinforcement learningu použitý pri o-serii modeloch, ktorý môže zhoršiť niektoré nedostatky, ktoré bývajú zvyčajne zmiernené tradičným post-tréningovým spracovaním.

Napriek problémom s halucináciami niektorí odborníci nové modely už testujú v praxi. Kian Katanforoosh, profesor zo Stanfordu a CEO startupu Workera, uviedol, že model o3 používajú v kódovacích pracovných tokoch a považujú ho za výkonný nástroj. Avšak upozornil, že model má tendenciu vymýšľať nefunkčné odkazy na webové stránky, čo znižuje jeho spoľahlivosť.