Po dokumentih, ki jih je pridobil tehnološki medij 404 Media, Microsoft pri izboljševanju copilota uporablja več sto človeških ocenjevalcev. Ti pri delu vidijo izvirni poziv uporabnika, naloženo fotografijo ter dve različici slike, ki ju je ustvaril copilot. Med drugim je njihova naloga tudi izbiranje boljše različice slike glede na to, ali je umetna inteligenca upoštevala navodilo, ohranila dele slike, ki jih uporabnik ni želel spreminjati, se izognila vizualnim napakam ter ustvarila kakovostnejši končni rezultat.
Notranja navodila ocenjevalce spodbujajo k temu, da se pri primerjavi zanesejo tudi na človeško intuicijo. »Ko ste v dvomu, sledite prvemu vtisu,« naj bi pisalo v navodilih. V praksi pa se ocenjevalci pri svojem delu srečujejo z zelo nenavadnimi vsebinami. Med primeri, ki jih je opisal 404 Media, so zahteve po krajših krilih na fotografijah, večjih prsih in spolno sugestivnih položajih žensk pa tudi seksualiziranih podobah risanih likov. Včasih še kaj hujšega.
Tudi fotografije uporabnikov
Eden od anonimnih ocenjevalcev je za 404 Media povedal, da so obrazi na pregledanih fotografijah praviloma vidni in da je veliko pozivov spolne narave. Prav tako je dvomljivo, ali so osebe, ki se pojavljajo na fotografijah, privolile v njihovo predelavo. Eden od ocenjevalcev je na internem forumu opozoril na fotografije, posnete pod krilom, drugi pa na vsebino, povezano z živalskim žrtvovanjem.
Po navedbah 404 Media ocenjevalci teh vsebin ne pregledujejo zato, da bi jih označili z opozorili ali preprečili njihovo ustvarjanje. Njihovo delo je namenjeno izboljševanju kakovosti copilotovih odgovorov, zato morajo tudi pri takšnih primerih presojati, ali je umetna inteligenca pravilno izvedla zahtevano spremembo slike. Eden od ocenjevalcev je v internem pogovoru izrazil začudenje, da se mora pri svojem delu ukvarjati s presojo, ali je umetna inteligenca ustvarila ustrezno velikost prsi ali pravilen seksualiziran položaj.
Podobno tudi pri drugih sistemih
Microsoft je za 404 Media navedel, da s podatki uporabnikov ravna, kot je določeno v pogojih uporabe, med drugim za izboljševanje izdelkov.
Primer po navedbah 404 Media kaže na širši trend v industriji umetne inteligence, saj tudi druga podjetja za izboljševanje modelov najemajo zunanje izvajalce, ki pregledujejo uporabniške pozive in drugo vsebino.
