OpenAI tvrdi da je pronašao uzrok AI „halucinacija“ i nudi rešenje

OpenAI tvrdi da je identifikovao glavni uzrok „halucinacija“ u velikim jezičkim modelima, tendenciji AI sistema da izmišljaju odgovore koji nisu tačni. Ovaj problem već dugo muči industriju i podseća na ograničenja tehnologije, a istraživači sada sugerišu da greška leži u samom načinu treniranja i ocenjivanja modela.

Prema studiji objavljenoj prošle nedelje, jezički modeli su podstaknuti da pogađaju čak i kada nisu sigurni, jer im to tokom obuke povećava šanse za tačan odgovor. U klasičnom sistemu evaluacije AI dobija nagradu za tačan odgovor i kaznu za netačan, dok „ne znam“ ili iskazivanje nesigurnosti uvek biva ocenjeno negativno. To dovodi do prirodnog pritiska da modeli daju neki odgovor, makar i pogrešan, umesto da priznaju neizvesnost.

„Halucinacije opstaju zbog načina na koji se većina evaluacija boduje, modeli su optimizovani da budu dobri ‘učenici’, a pogađanje u uslovima nesigurnosti poboljšava rezultate testova,“ navode istraživači.

OpenAI smatra da rešenje leži u jednostavnom preokretu logike: kazniti samouverene netačne odgovore više nego izraze nesigurnosti, i dodeliti delimične poene za „ne znam“. Time bi se, kako tvrde, modeli usmerili da budu oprezniji i realniji u svojim tvrdnjama.

Bernard Marr

U praksi, to znači da bi evaluacije morale da prestanu da nagrađuju „srećna nagađanja“. Ako se ovakva promena sprovede, modeli bi mogli da razviju „bogatiju pragmatičku kompetenciju“ i time smanje učestalost halucinacija.

Ipak, ostaje da se vidi koliko će ovo imati efekta van laboratorije. Iako OpenAI tvrdi da njihov najnoviji GPT-5 halucinira manje, mnogi korisnici nisu primetili značajniji napredak. Problem je i dalje ključan za industriju koja ulaže desetine milijardi dolara i suočava se sa ogromnim ekološkim troškovima.

„Halucinacije ostaju fundamentalni izazov za sve velike jezičke modele, ali radimo naporno na njihovom daljem smanjenju,“ poručili su iz OpenAI-ja, prenosi Futurism.