Veštačka inteligencija ocenjuje akademske pismene ispite u Teksasu

Ispit za procenu akademske spremnosti države Teksas (STAAR), odnosno njegov pismeni deo u istoimenoj državi pregleda i ocenjuje veštačka inteligencija, što je sistem koji je uveden kako bi pojednostavio proces bodovanja. Takođe, ovaj sistem ocenjivanja trebalo bi potencijalno državi da uštedi milione dolara godišnje.

Revidirani ispit uveden 2023. godine, naglašava otvorena pitanja u odnosu na pitanja sa više ponuđenih izbora, rezultirajući značajno većim brojem konstruisanih odgovora. Prelazak na ocenjivanje uz pomoć veštačke inteligencije motivisan je merama štednje, pri čemu Teksaška obrazovna agencija (TEA) procenjuje potencijalne uštede do 20 miliona dolara godišnje u poređenju sa angažovanjem ljudskih ocenjivača iz nezavisnih izvora.

Iako mašine ne zamenjuju potpuno ljudske ocenjivače, broj privremenih ocenjivača drastično se smanjio, sa oko šest na manje od dve hiljade zaposlenih. AI mašina za bodovanje koristi obradu prirodnog jezika za evaluaciju odgovora, a obučena je na skupu podataka od prethodno tri hiljade ocenjenih odgovora. Međutim, deo odgovora (oko četvrtina) i dalje će biti ponovno ocenjeni od strane ljudskih ocenjivača, posebno oni koje AI smatra izazovnim, kao što su odgovori na jeziku koji nije engleski ili oni koji sadrže žargonske izraze.

Shutterstock

Kris Rozunik, direktor odeljenja za razvoj ocenjivanja u TEA, istakao je da AI sistem nema autonomne sposobnosti i ne „uči“ iz svakog odgovora. Umesto toga, oslanja se na svoje početno obučavanje kako bi pružio dosledno ocenjivanje slično ljudima, piše Übergizmo. Uprkos integraciji veštačke inteligencije, iz agencije ističu da prethodni rigorozni procesi kontrole kvaliteta navodno ostaju na snazi kako bi se osigurala tačnost i pravičnost u ocenjivanju.

Međutim, samim tim što su od nedavno otvoreni odgovori na pismenom delu ispita u većem obimu, ovo može da predstavlja ozbiljan problem, jer pregledanje ne ide po takozvanom „ključu“ – samo određenim ponuđenim tačnim odgovorima. Do sada smo videli da veštačka inteligencija može svašta, pri čemu je jedna od najupečatljivijih stvari to da može da uči, a sada vidimo da ona može i da ocenjuje.

Prelazak na AI ocenjivanje predstavlja značajnu promenu u načinu sprovođenja različitih procena nečije sposobnosti, i iako ističe prednosti tehnologije i olakšava ljudski posao, potencijalno može i da dovede problema ako sistem skroz bude radio bez ljudske kontrole.