Raziskovalno podjetje Epoch je objavilo raziskavo, ki sicer še ni bila pregledana za uradno znanstveno objavo, v kateri trdijo, da bi razvijalcem velikih jezikovnih modelov umetne inteligence, kot je chatGPT, lahko že kmalu zmanjkalo uporabnih besedil za učenje in piljenje umetne inteligence. Pri Epochu trdijo, da bi se to lahko zgodilo že leta 2026 oziroma do leta 2035.
Veliki jezikovni modeli potrebujejo ogromne količine besedil, na podlagi katerih preučujejo običajne odnose med besedami znotraj različnih kontekstov. Kasneje s pomočjo verjetnostnega računa sestavljajo lastne besedne zveze, povedi in odstavke. Zato so pogovorni boti, kot je chatGPT, primarno stroji za urejanje besedil v skladu z določenim slogom. Odlično se izkažejo s predvidljivimi nalogami, kot je sestava uradnega pisma ali obrazca, solidno se izkažejo tudi pri pisanju fiktivnih vsebin. Slabše jim gre, ko morajo odgovoriti na zapletena vprašanja. Prepogosto si začnejo izmišljati stvari, saj nad pomanjkljivim poznavanjem vsebine prevlada nagnjenost k pisanju besedil, ki so tipična za določen slog. Namesto vsebini (da ne vedo) dajo prednost formi (da so napisali nekaj, kar je podobno obliki odgovora na dano vprašanje).
Ena od rešitev za odpravljanje takšnih napak je povečanje modela umetne inteligence, kar pa zahteva vse več besedil za učenje. Ker modeli postajajo vse večji, so tudi potrebe po novih učnih gradivih vse večje. Ker stara krilatica o umetni inteligenci pravi, da žanješ, kar seješ, oziroma po ameriško »smeti notri, smeti ven«, je pomembno tudi, da se za učenje umetne inteligence uporabljajo kvalitetne vsebine. Med slednje običajno štejejo besedila, ki so jih ustvarili profesionalni pisci, ki imajo bolj prefinjen in izdelan slog, ter strokovnjaki za posamezna področja. Med manj kvalitetna besedila štejejo objave na spletnih forumih in družbenih omrežjih. Ta besedila so praviloma veliko bolj dostopna kot bolj kvalitetna besedila. Obstaja pa nevarnost, da bi umetna inteligenca, ki bi jo učili z njimi, delala vse mogoče slovnične in slogovne napake, ki so tipične za ekonomično in zatipkov polno neformalno spletno komunikacijo. Vsa imena bi kar naenkrat pisala z malimi začetnicami, »jaz« bi se spremenil v »jz« ali »jst« in podobno. Še hujše stvari bi se dogajale na vsebinski ravni. Znani so primeri pogovornih botov, ki so jih razvijalci spustili v divjino twitterja in nato začudeno ugotovili, da so že čez kratek čas začeli pisati objave v slogu neonacistov.
Boj za »surovino prihodnosti«
Nekateri raziskovalci sicer verjamejo, da bi s pravilnim pristopom lahko odpravili težave s pomanjkanjem kvalitetnih vsebin. Nadomestili bi jih s »kvalitetnejšimi« vsebinami iz manj kvalitetnih virov. Pojavljajo se celo ideje, da bi ista besedila uporabili večkrat. Obstajajo pa tudi bolj kritični glasovi, ki svarijo, da vse večji modeli niso odgovor. Prepričani so, da bi morali razvijalci umetne inteligence stremeti k bolj učinkovitim modelom, ki pa zahtevajo še bolj kvalitetne vsebine za učenje, a na koncu za delovanje porabijo manj energije. Mogoče jih je poganjati tudi na manj zmogljivi strojni opremi.
OpenAI in številna druga podjetja so bila v preteklosti deležna kritik, da so brez dovoljenja črpala gradivo za svojo umetno inteligenco. Nedavno se je o tem razgovoril tudi šef Microsoftovega oddelka za umetno inteligenco Mustafa Suleyman. Močno je razburil s stališčem, da je vsaka vsebina, ki je objavljena na spletu, legitimno brezplačno na voljo podjetjem za učenje umetne inteligence. Kot sivo cono, ki da jo bodo razjasnila sodišča, pa je označil primere, ko so posamezne spletne strani ali mediji izrecno zahtevali, naj se njihovih vsebin ne uporablja za te namene. Med mediji, ki tožijo Microsoft in OpenAI prav zaradi te prakse, je tudi New York Times.
OpenAI je nedavno sklenil partnerstvo z medijsko hišo Time, ki bo razvijalcu umetne inteligence omogočila dostop do aktualnih člankov in zgodovinskega arhiva te revije. Kvalitetne človeško ustvarjene vsebine, ki jim mnogi javno že štejejo dneve, se vse bolj kažejo kot ključna surovina za udejanjenje prihodnosti z umetno inteligenco.
