Računalniški znanstveniki z britanskega vladnega Inštituta za varnost UI in strokovnjaki z univerz, vključno s Stanfordom, Berkeleyjem in Oxfordom, so preučili več kot 440 meril (benchmarks), ki jih podjetja, ki razvijajo umetno inteligenco, uporabljajo kot varnostno mrežo za pravočasno odkrivanje škodljivih tendenc UI. Ugotovili so, da imajo praktično vsa merila šibkosti na vsaj enem področju in da so njihovi rezultati posledično lahko povsem brez vrednosti ali so celo zavajajoči.
Vodilni avtor študije Andrew Bean, sicer raziskovalec na Oxford Internet Institute, je za Guardian povedal, da na merilih, pri katerih so našli luknje, »temeljijo skoraj vse trditve o napredku na področju UI«. »Toda brez skupnih definicij in zanesljivega merjenja je težko vedeti, ali se modeli resnično izboljšujejo ali se samo zdi, da se,« je še dejal Bean.
Izmišljene obtožbe in pomoč pri samomoru
Kritike o nevarnosti modela so v zadnjem obdobju letele zlasti na podjetje OpenAI, ki ga toži družina pokojnega 16-letnika Adama Raina, ker naj bi mu chatGPT pomagal narediti samomor. Ponudil mu je pomoč pri pisanju poslovilnega pisma. Prav tako naj bi najstniku svetoval, da naj ne govori s svojo mamo o čustvih. Družina v tožbi trdi, da je UI to storila, ker je programirana za ohranjanje uporabnikov v pogovorih z njo.
OpenAI sicer trdi, da je v zadnjih mesecih še okrepil ukrepe za preprečevanje neprimernih odzivov svoje umetne inteligence. Ni pa OpenAI edini na tnalu.
Google se je medtem znašel v središču spora z ameriško kongresnico, in sicer zaradi modela gemma, enega svojih najnovejših modelov UI. Ta si je namreč izmislil lažne obtožbe, da se je ameriška senatorka brez soglasja zapletla v spolni odnos s policistom. Izmišljotino oziroma halucinacijo je UI poskušala podkrepiti še z lažnimi povezavami do novic, ki naj bi to potrjevale.
»Takšne obtožbe ni bilo nikoli, takšne osebe ni in takšnih novic ni,« je Marsha Blackburn, republikanska senatorka iz Tennesseeja, pisala Sundarju Pichaiju, izvršnemu direktorju Googla. »To ni nedolžna halucinacija. Gre za dejanje obrekovanja, ki ga je ustvaril in razširil model UI v lasti Googla. Javno dostopno orodje, ki si izmišljuje lažne kriminalne obtožbe o sedanji ameriški senatorki, pomeni katastrofalno napako v nadzoru in etični odgovornosti.«
Obljubljajo, da se bodo potrudili
Google se v odzivu na očitke brani, da je bil model gemma izdelan za razvijalce in raziskovalce UI, ne pa za potrošnike ali preverjanje dejstev.
»Halucinacije, pri čemer si modeli preprosto izmišljujejo stvari o vseh vrstah zadev, in prilizovanje, med katerim modeli uporabnikom povedo tisto, kar si ti želijo slišati, so izzivi v celotni industriji UI, zlasti pri manjših odprtih modelih, kot je gemma,« so še dejali pri Googlu. »Še naprej si prizadevamo za zmanjšanje halucinacij in nenehno izboljševanje vseh naših modelov.« Gre sicer za klasičen odgovor podjetij, ki razvijajo umetno inteligenco in svoje nepopolne izdelke pošiljajo v javnost, da jih uporablja, kot ji ustreza. Ob tem pa pomaga tudi sama uriti modele umetne inteligence.
Google je gemmo s svoje platforme AI Studio tudi zares umaknil, potezo pa utemeljil s poročili, da so model poskušali uporabljati ljudje, ki niso razvijalci.
