Računalniški znanstveniki z britanskega vladnega Inštituta za varnost UI in strokovnjaki z univerz, vključno s Stanfordom, Berkeleyjem in Oxfordom, so proučili več kot 440 meril (benchmarks), ki jih podjetja uporabljajo kot varnostno mrežo za pravočasno odkrivanje škodljivih tendenc UI. Ugotovili so, da imajo praktično vsa merila šibkosti na vsaj enem področju in da so njihovi rezultati posledično lahko povsem »brez vrednosti ali celo zavajajoči«.
Vodilni avtor študije Andrew Bean, sicer raziskovalec na Oxford Internet Institute, je za Guardian povedal, da »merila podpirajo skoraj vse trditve o napredku na področju UI«. »Toda brez skupnih definicij in zanesljivega merjenja je težko vedeti, ali se modeli resnično izboljšujejo ali se samo zdi, da se,« je še dejal Bean.
Izmišljene obtožbe in pomoč pri samomoru
Kritik o nevarnosti modela je bilo v zadnjem obdobju deležno zlasti podjetje OpenAI, ki ga toži družina pokojnega 16-letnika, ker naj bi mu chatGPT pomagal izvesti samomor. Ni pa OpenAI edini na tnalu.
Google se je znašel v središču spora z ameriško kongresnico, in sicer zaradi modela gemma, sicer enega od svojih najnovejših modelov UI. Ta si je namreč izmislil lažne obtožbe, da se je ameriška senatorka brez soglasja zapletla v spolni odnos s policistom. Izmišljotino oziroma halucinacijo je UI poskušala podkrepiti še z lažnimi povezavami do novic, ki naj bi to potrjevale.
»Takšne obtožbe ni bilo nikoli, takšne osebe ni in takšnih novic ni,« je Marsha Blackburn, republikanska senatorka iz Tennesseeja, pisala Sundarju Pichaiju, izvršnemu direktorju Googla. »To ni nedolžna halucinacija. Gre za dejanje obrekovanja, ki ga je ustvaril in razširil model UI v lasti Googla. Javno dostopno orodje, ki si izmišljuje lažne kriminalne obtožbe o sedanji ameriški senatorki, pomeni katastrofalno napako v nadzoru in etični odgovornosti.«
Obljubljajo, da se bodo potrudili
Google se v odzivu na očitke brani, da je bil model gemma izdelan za razvijalce in raziskovalce UI, ne pa za potrošnike ali preverjanje faktičnih dejstev.
»Halucinacije – kjer si modeli preprosto izmišljujejo stvari o vseh vrstah zadev – in prilizovanje – kjer modeli uporabnikom povedo tisto, kar le-ti želijo slišati – so izzivi v celotni industriji UI, zlasti pri manjših odprtih modelih, kot je gemma,« so še dejali pri Googlu. »Še naprej si prizadevamo za zmanjšanje halucinacij in nenehno izboljševanje vseh naših modelov.« Gre sicer za klasičen odgovor podjetij, ki razvijajo umetno inteligenco in svoje nepopolne izdelke lansirajo v javnost, da jih uporablja, kakor ji ustreza. Ob tem pa pomaga tudi sama uriti modele umetne inteligence.
Google je gemmo s svoje platforme AI Studio konec tedna tudi zares umaknil, potezo pa utemeljil s poročili, da so model poskušali uporabljati ljudje, ki niso razvijalci.
