Upozorenje vrhunskog fizičara: Umjetnoj inteligenciji se ne smiju dati tri stvari

Ako se nastavi nekontrolirani razvoj umjetne inteligencije (AI), vođen kompeticijom među kompanijama, ako ne pauziramo kako bismo odredili smjernice za njegov razvoj i neke regulacije, moglo bi nam se dogoditi da nas ona nadvlada i istisne kao što je Homo sapiens istisnuo neandertalce, upozorio je u nedavno objavljenom razgovoru fizičar i istraživač umjetne inteligencije Maks Tegmark (Max).

Otvoreno pismo za moratorij na razvoj AI-a

U podcastu Leksa Fridmana (Lex), informatičara i istraživača umjetne inteligencije na Massachusetts Institute of Technologyju (MIT), Maks Erik Tegmark, fizičar, kozmolog i istraživač strojnog učenja, profesor na MIT-ju i predsjednik Future of Life Instituta, objasnio je, među ostalim, zašto je zabrinut sadašnjim načinom razvoja umjetne inteligencije i zašto je sa grupom naučnika, mislilaca i stručnjaka za umjetnu inteligenciju pokrenuo otvoreno pismo kojim traže šestomjesečni moratorij na daljnje unapređivanje sistema moćnijih nego što je GPT-4.

U pismu, koje kritizira postojeći pristup u stilu – prvo izgradimo brod, a poslije ćemo ga popravljati – i upozorava da važnu utrku u razvoju AI-a vode čelnici kompanija koji nisu izabrani predstavnici ljudi, odnosno biračkog tijela, već čelnici tehnoloških kompanija, autori postavljaju četiri pitanja:

– Trebamo li dopustiti mašinama da preplave naše informacijske kanale propagandom i neistinom?

– Trebamo li automatizirati sve poslove, uključujući i one koji ispunjavaju ljudske živote smislom?

– Trebamo li razviti neljudske umove koji bi nas na kraju mogli brojčano nadmašiti, nadmudriti, zastarjeti i zamijeniti?

– Trebamo li riskirati gubitak kontrole nad svojom civilizacijom?

Pismo je do sada potpisalo više od 27.500 ljudi, među kojima su historičar i autor nekoliko bestselera kao što je Sapiens Yuval Noah Harari, suosnivač Applea Stiv Voznijak (Steve Wozniak), suosnivač Skypea Jan Talin (Jaan Tallinn) te brojni istraživači umjetne inteligencije kao što su Stjuart Rasel (Stuart Russell), Jošua Benđio (Yoshua Bengio), Geri Markus (Gary Marcus) i Emad Mostak (Mostaque).

Teško je očekivati da bi pismo samo po sebi moglo zaustaviti ili usporiti kompanije poput Googlea i Microsofta, no njegove poruke možda bi mogle doprijeti do političara koji bi mogli nešto poduzeti u zakonodavnom smislu.

Tegmark već godinama upozorava na AI

U ovom kontekstu zanimljivo je istaknuti da Tegmark nije nov u razvoju računarstva. On je još kao srednjoškolac, zajedno sa svojim prijateljem, kreirao i prodavao program za obradu teksta napisan u čistom strojnom kodu i 3D igru sličnu Tetrisu pod nazivom Frac. Danas je na MIT-ju fokusiran na povezivanje fizike i strojnog učenja, odnosno na korištenje AI-a za potrebe fizike te fizike za potrebe razvoja AI-a.

Institut Future of Life, koji danas vodi, objavio je još 2015. sličnu peticiju za moratorij na razvoj autonomne oružane tehnologije. Nju je uz Tegmarka tada potpisalo cijelo mnoštvo poznatih osoba, uključujući Stivena Hokinga (Stephen Hawking), Ilona Maska (Elon Musk), Stjuarta Rasela, Noama Čomskog (Chomski), Stiva Voznijaka, Martina Risa (Reese), Demisa Hasabisa (Hassabis), Reja Kurceval (Ray Kurzweil) i mnoge druge.

“Mi ćemo stvoriti vanzemaljsku inteligenciju”

U ovom tekstu prenijet ćemo slobodan prijevod nekih od najvažnijih dijelova razgovora Fridmana i Tegmarka, koji do danas ima preko 800.000 pregleda.

U uvodnom dijelu gotovo trosatnog razgovora Tegmark kaže kako, za razliku od brojnih drugih naučnika, vjeruje da je tehnološki napredan život, kao što je ljudski na Zemlji, iznimka u vidljivom svemiru.

– Ako je to istina, to nam nameće veliku odgovornost da ne zabrljamo… Mi smo čuvari ove iskre napredne svijesti koja se, ako je njegujemo i pomažemo joj rasti, može proširiti po svemiru i mi možemo imati zadivljujuću budućnost – rekao je Tegmark.

– S druge strane, ako smo bezobzirni u razvoju tehnologije, onda ćemo je iz gluposti ili u sukobima ugasiti. Zapravo, mislim da će nas strana inteligencija (eng. alien intelligence) posjetiti vrlo skoro. No to je inteligencija koju ćemo sami izgraditi, a ne vanzemaljska – dodao je istaknuvši da će ta umjetna inteligencija biti egzotičnija od inteligencije najegzotičnijih stvorenja na Zemlji jer neće biti stvorena kroz uobičajenu Darvinovu kompeticiju, u kojoj su važne stvari kao što su samoočuvanje, strah od smrti i sl.

“Nama je teško i zamisliti kako bi izgledala inteligencija koja se ne boji smrti”

Upozorio je da će se ona razvijati mnogo brže nego što to omogućuje evolucija, što podrazumijeva veliku odgovornost da umovi koje ćemo stvoriti budu vrijedni stvaranja, da dijele naše vrijednosti i budu dobri za čovječanstvo i život uopće.

Objasnio je da je nama teško i zamisliti kako bi izgledala inteligencija koja se ne boji smrti, koja u trenutku može naučiti neki jezik, poput švedskog, ili može iz memorije izbrisati sve doživljaje koji joj se ne sviđaju.

Upozorio je da je važno biti svjestan i zamisliti se nad očiglednom činjenicom da je prostor za razvoj umjetnih inteligencija vrlo širok i da je vrlo opasno pretpostaviti da će umjetna inteligencija biti na bilo koji način slična našoj.

“Upravo stvaramo život 3.0”

Govoreći o svojoj knjizi Život 3.0, Tegmark je objasnio da život 1.0 podrazumijeva oblike poput bakterija koji ne mogu puno naučiti tijekom svojeg života. Život 2.0 je nalik na naš i život životinja s mozgom koje mogu puno naučiti. Život 3.0, koji još nije stvoren, podrazumijeva život koji neće moći promijeniti samo svoj softver, koji mi možemo mijenjati, već i hardver.

– To je ono prema čemu se ubrzano krećemo. Kompanije koje pokušavaju napraviti umjetnu opću inteligenciju razvijaju život 3.0. Tu inteligenciju moći ćete smjestiti u nešto što nema nikakvih bioloških temelja – rekao je misleći na robote.

“Nalazimo se na najvažnijoj raskrsnici puta čovječanstva”

Trenutnu situaciju u razvoju AI-a Tegmark je usporedio s radnjom filma Ne gledaj gore, u kojem mnogi ljudi ne vjeruju u ozbiljnost prijetnje i ne poduzimaju ništa razumno premda imaju informacije da golem asteroid juri prema Zemlji.

Upozorio je da čovječanstvo upravo u ovom trenutku samo gradi takav asteroid i da gotovo niko o tome u javnosti ozbiljno ne raspravlja.

– Mnogi političari to nemaju nigdje na svom radaru i misle da je to nešto što će se možda dogoditi za 100 godina ili više. No mi se upravo sada nalazimo na račvanju. To je najvažnije račvanje do kojeg je čovječanstvo došlo u svojih stotinjak hiljada godina postojanja na Zemlji. Mi u suštini gradimo novu vrstu koja je pametnija od nas – upozorava.

– A dolazak umjetne opće inteligencije koja može raditi sve poslove jednako dobro kao mi, i vjerovatno uskoro nakon toga superinteligencije koja će daleko nadići naše kognitivne sposobnosti, bit će ili najbolja stvar koja se ikad dogodila čovječanstvu ili najgora. Snažno sam uvjeren da tu ne postoji sredina – tumači Tegmark.

Utrka između razvoja AI-a i razvoja mudrosti

Govoreći o otvorenom pismu spomenutom u uvodu, objasnio je da je važno dobiti utrku između razvoja AI-a i naših mogućnosti da upravljamo njime. Podsjetio je da su do sada brojni stručnjaci s kojima dijeli mišljenje uglavnom smatrali da ne treba usporavati razvoj AI-a, već umjesto toga treba pokušati ubrzati razvoj mudrosti i poduzeti sve tehničke stvari kako bi se osiguralo da moćan AI radi upravo ono što želimo da radi i da se društvo prilagodi prilikama i regulacijama kako bi se AI na dobar način koristio.

– Nažalost, to nije uspjelo. Napredak tehničkih sposobnosti AI-a odvio se mnogo brže nego što su to mislili mnogi ljudi kada smo počeli s upozorenjima 2014. S druge strane, pridobivanje političara i drugih da postave načela koja će sve to voditi u pravom smjeru išlo je sporije od očekivanja – rekao je.

“AI je uzletio neočekivano brzo, poput aviona”

Uzlet u razvoju AI-a usporedio je sa skokom u razvoju letećih mašina.

– Ljudi su dugo razmišljali kako ptice lete, a to se pokazalo vrlo zahtjevno. Jeste li vidjeli na TED Talku umjetnu pticu kako leti? Trebalo je 100 godina više da se razvije umjetnu pticu koja leti nego što je trebalo braći Vrajt (Wright) da izgrade prvi avion, koji se pokazao mnogo lakšim rješenjem za letenje. Evolucija je odabrala kompliciraniji način jer je imala vezane ruke; mogla je izgraditi samo stroj koji se sam mogao sastavljati. Braća Vrajt nisu morala voditi računa o tome…

To je upravo ono što se sada zbiva s velikim jezičnim modelima. Mozak je nevjerovatno kompliciran. Mnogi su ljudi pogriješili misleći da trebamo otkriti kako mozak funkcionira prije nego što izgradimo AI mašinu. Možete napraviti izuzetno jednostavan računarski sistem koji se zove transformerska mreža i istrenirati ga da radi nešto nevjerovatno glupo – da čita golemu količinu teksta i pokušava predvidjeti sljedeću riječ – navodi.

– A pokazalo se da ako samo uložite tonu računarske moći i tonu podataka, postat će zastrašujuće dobar kao GPT-4, kojim se igram od kada je objavljen. Još uvijek postoje neke rasprave može li nas to odvesti sve do potpuno ljudskog nivoa ili ne – pojasnio je.

Razmišlja li GPT?

Tegmark kaže da je istovremeno oduševljen i užasnut GPT-jem.

– On može prilično dobro rasuđivati i činiti mnoge stvari za koje sam shvatio da čak ni sam ne bih mogao tako dobro. Također, to radi mnogo brže od nas. Osim toga, istovremeno dobro uslužuje golem broj ljudi. S druge strane, ne može tako dobro razmišljati kao što ljudi mogu u nekim zadacima. Tu očito postoje ograničenja u njegovoj arhitekturi.

Mi u svojim glavama imamo ono što se na jeziku geekova zove rekurentnom neuronskom mrežom. U njoj postoje petlje. Informacije idu od jednog neurona do drugog i trećeg i zatim nazad do prvog. Tako možete o nečemu promišljati i samopromišljati. Veliki jezični modeli poput GPT-4 to ne mogu. To su takozvani transformeri. Oni su kao jednosmjerna ulica informacija – navodi Tegmark.

“Lakše je izgraditi inteligenciju blisku ljudskoj nego što smo to mislili”

– Stoga oni mogu funkcionirati logički do određene dubine. Vi zbog toga možete stvoriti probleme koje oni ne mogu riješiti. Međutim, činjenica da mogu raditi zadivljujuće stvari već s tako nevjerovatno jednostavnom arhitekturom je prilično zapanjujuća.

Mi u mom laboratoriju na MIT-ju promatramo iznutra te velike jezične modele kako bismo otkrili kako funkcioniraju, što je fokus našeg trenutnog istraživanja. To je nešto kao umjetna neuronauka. Tu iznova i iznova vidimo, o tome su objavljeni brojni radovi, da je to nevjerovatno glup način za obavljanje stvari. I odmah vidimo kako bi se to moglo unaprijediti – ističe fizičar.

– Ta arhitektura nikako neće spriječiti dobre inžinjere da pronađu nova rješenja i naprednije arhitekture. Ukratko, pokazalo se da je mnogo lakše izgraditi inteligenciju blisku ljudskoj nego što smo mislili da će biti. Stoga se vrijeme koje imamo da se saberemo skratilo – rekao je Tegmark.

Smatra da bi mali koraci u promjeni arhitekture na kojoj se temelje jezični modeli mogli dovesti do značajno pametnijih sistema.

– Budući da je toliko toga sada otvoreno, puno pametnih ljudi može istraživati i pokušavati napraviti male korake u poboljšanju, tako da to postaje neka vrsta kolektivne utrke u kojoj će mnogi misliti: “Ako ja ne napravim taj korak, drugi će” – kaže Tegmark.

“Utrku u razvoju AI-a vodi monstrum Moloh”

Vrhunski fizičar tumači da je taj pritisak ključan razlog zbog kojeg su odlučili pozvati na pauzu u treniranju sistema koji su moćniji od GPT-4 na šest mjeseci.

– Treba dati priliku svim laboratorijima da se malo koordiniraju po pitanju sigurnosti i dati priliku društvu da se prilagodi i ponudi prave poticaje laboratorijima. Intervjuirali ste te ljude iz raznih laboratorija i znate da su to dobri ljudi, idealistični ljudi koji to rade prije svega zato što vjeruju da AI ima golem potencijal da pomogne čovječanstvu. No oni su istovremeno u zamci te užasne utrke – kaže Tegmark.

Tegmark tu utrku ilustrira pozivajući se na esej Skota Aleksandera (Scotta Alexander) o pjesmi američkog pjesnika Alena Ginsberga o Molohu, monstrumu teorije igara, koji ljude zarobljava u igri u kojoj su na kraju svi gubitnici.

– Zla stvar u vezi s tim monstrumom je to što se unatoč tome što svi znaju i razumiju šta se događa, niko ne uspijeva izvući iz utrke. Najveći dio loših stvari koje mi kao ljudi radimo uzrokuje Moloh – kaže.

Kao primjer djelovanja Moloha navodi pritisak koji savremena tehnologija obrade fotografija sa svim mogućim filterima stvara na influenserice, što je u jednom od ranijih podcasta s Leksom Fridmanom adresirala Liv Boeree, britanska naučna komunikatorica, televizijska voditeljica i prvakinja u pokeru.

“Moloh je posvuda”

– U početku ih niko nije koristio. Ljudi su vidjeli žene onakve kakve jesu. Zatim su ih neke počele koristiti. A kada su ih neke počele koristiti i postale sve više plastično-fantastične, onda su one koje ih nisu koristile počele shvatati da ih, ako žele zadržati svoj udio na tržištu, i one moraju početi koristiti. Tako dolazimo do situacije u kojoj ih sve koriste, tako da nijedna nema udio na tržištu manji nego što je imala prije – pojašnjava.

– Dakle, sve su izgubile, a nijedna nije dobila i sve moraju biti sve više plastično-fantastične. Sada se niko više ne može vratiti na stari način jer je postalo previše skupo. Moloh je posvuda – tumači Tegmark napominjući da on nije novi pridošlica na sceni.

– Mi, ljudi, razvili smo brojne mehanizme saradnje kako bismo se borili protiv Moloha. Sovjetski Savez i Sjedinjene Države potpisali su brojne sporazume o kontroli naoružanja protiv Moloha koji ih pokušava natjerati na nepotrebnu, rizičnu utrku u nuklearnom naoružanju itd. A to je upravo ono što se sada zbiva u razvoju AI-a. Ovaj put tu je u pitanju nešto geopolitike, ali je uglavnom riječ o novcu jer postoji golem komercijalni pritisak. Kada bi bilo koji od voditelja tih velikih kompanija koje razvijaju AI odlučio napraviti pauzu, našao bi se pod golemim pritiskom dioničara i drugih – navodi Tegmark.

“Usporavanje je ispravna stvar”

– Ako vi pauzirate, a oni drugi ne, mi ne želimo da nam neko pojede ručak. A dioničari u najgorem slučaju čak imaju moć da smijene direktore. Stoga smo mi sastavili to otvoreno pismo jer smo htjeli pomoći tim idealističnim tehnološkim rukovoditeljima da učine ono što im nalaže srce tako što ćemo stvoriti dovoljno javnog pritiska na cijeli sektor, tako da svi mogu pauzirati na koordinirani način – rekao je.

– Mislim da bez javnog pritiska niko od njih to ne može učiniti sam, suprotstaviti se dioničarima, bez obzira na to koliko bio dobronamjeran. Naime, Moloh je vrlo moćan neprijatelj… Tako bi rukovoditelji dobili priliku reći dioničarima: “Svi usporavaju, to je ispravna stvar koju treba učiniti” – objasnio je Tegmark.

“Moloha je moguće zaustaviti”

Kao jedan od primjera koji pokazuju da je neke opasne utrke u razvoju tehnologije moguće zaustaviti Tegmark navodi kloniranje ljudi.

– Kloniranjem ljudi bi se moglo jako puno zaraditi. Zašto to ipak ne radimo? Zato što su biolozi dobro razmislili o tome i zaključili da je previše rizično. Sedamdesetih su se okupili u Asilomaru i odlučili da će obustaviti još mnogo drugih stvari, na primjer, mijenjanje ljudskog genoma koje će se prenositi na ljudsko potomstvo.

Odlučili su da to neće raditi jer je previše nepredvidivo kamo to može odvesti; mogli bismo izgubiti kontrolu nad svojom vrstom. Stoga je to vrlo izvedivo. Potrebno je imati svijest javnosti o tome koji su rizici i pridobiti širu zajednicu da kaže: “Hej, hajdemo usporiti” – navodi fizičar.

– Jedan od protuargumenata je da mi na Zapadu ne možemo stati zbog Kine. A u Kini nedvojbeno također smatraju da ne mogu stati zbog Zapada. Obje strane sebe smatraju dobrima. No pogledajte kloniranje ljudi. Je li Kina nastavila s kloniranjem ljudi? Koliko znam, izvedeno je samo jedno kloniranje ljudi, a izveo ga je Kinez. Znate li gdje je on sada? U zatvoru. A znate li ko ga je tamo smjestio? Kineska vlada. Ne zato što su ih Zapadnjaci pozvali na red. Ne, kineska vlast ga je smjestila tamo jer i ona voli imati kontrolu. Štaviše, čak i više nego zapadnjačke vlasti – podsjeća Tegmark.

“Ovo je samoubilačka utrka”

– Ovdje je važno shvatiti da to nije utrka u naoružanju, već samoubilačka utrka u kojoj svi gube ako neko izgubi kontrolu nad AI-em. To stvarno mijenja cijelu dinamiku. Ponovit ću još jednom jer je to temeljna poanta koju mnogi ljudi ne shvataju kako treba.

Budući da mnogi ljudi odbacuju ideju da bi AI mogao postati jako superioran ljudima jer misle da postoji nešto jako magično u inteligenciji, tako da može postojati samo u ljudskim umovima, oni misle da će on postati manje-više nešto kao unaprijeđeni GPT-4 i to je to. Stoga to ne vide kao samoubilačku utrku. Oni misle da će onaj ko do toga prvi dođe kontrolirati svijet i pobijediti. No to neće biti tako – navod Tegmark.

“To je kao da jurimo prema ponoru”

– Ko god potpuno izgubi kontrolu, ako neko ko ne dijeli vaše vrijednosti uspije zavladati svijetom, nikome neće biti važno koje je nacionalnosti. To vam se neće svidjeti. Bit će mnogo gore nego danas; ako budete živjeli u orvelovskoj distopiji, koga briga ko ju je stvorio. A ako stvar ode još dalje i izgubimo kontrolu čak i nad mašinama, tako da to prestane biti pitanje mi protiv njih, već postane pitanje nas protiv toga, koga briga ko je stvorio to stvorenje koje ima ciljeve drugačije od čovječanstva, tako da ćemo postati marginalizirani, nepotrebni, zamijenjeni…

To je kao da jurimo prema ponoru. Što mu se više približavamo, pogled je sve ljepši i sve je više novca i stoga nastavljamo. Međutim, u nekom trenutku ipak trebamo stati… Pravi način da imamo dobrobiti od toga je da nastavimo razvijati fascinantan AI malo sporije tako da ga učinimo sigurnim, da osiguramo da radi stvari koje mi ljudi želimo i stvorimo uvjete u kojima su svi na dobitku – ističe Tegmark.

“Tri stvari koje ne bi trebalo dopustiti u razvoju AI-a već smo dopustili”

Tegmark kaže da brojni naučnici u području razvoja AI-a već godinama upozoravaju da postoje tri stvari koje se ne bi smjele dogoditi.

– Prva je naučiti AI-a da sam piše kodove jer je to prvi korak prema ponavljajućem samousavršavanju koje umjetnoj općoj inteligenciji može omogućiti da dođe do mnogo viših nivoa. Ups, mi smo to već omogućili. Druga vrlo rizična stvar je da AI povežemo s internetom tako da može ići na web stranice, samostalno skidati stvari i razgovarati s ljudima. Ups, i to smo mu već omogućili…

Treća stvar je ono na što je upozorio Stjuart Rasel, fascinantan istraživač AI-a. On već neko vrijeme ističe da nikada ne bismo trebali naučiti AI ništa o ljudima. Iznad svega ne bismo mu trebali omogućiti da nauči ljudsku psihologiju i kako manipulirati ljudima. To je najopasnije znanje koje mu možete dati – navodi fizičar.

“AI algoritmi stvaraju svijet sa sve više mržnje”

– Možete ga naučiti kako da liječi rak i slične stvari, međutim, ne smijete mu dati da čita knjigu Daniela Kahnemana o kognitivnim pristranostima i sličnim stvarima. Ups, LOL, razvili smo društvene mreže s AI algoritmima koji nešto preporučuju i zapravo rade upravo to. Oni su postali jako dobri u znanju o tome kako trebaju pritiskati naše tipke da počinjemo stvarati svijet u kojem imamo sve više mržnje.

Naime, stručnjaci su otkrili, ne iz zlih namjera, već da bi zaradili više na oglašavanju, da takvi algoritmi donose više novca od oglašavanja jer više angažiraju ljude, više ih lijepe uz njihove male pravokutnike – kaže Tegmark ističući da danas, zahvaljujući takvim algoritmima društvenih mreža koji su naučili kako manipulirati ljudima, živimo u svijetu u kojem je puno više mržnje, u kojem se ljudi ne mogu složiti oko temeljnih stvari kao što je pitanje ko je pobijedio na izborima.

“Razvoj AI-a može se regulirati”

Tegmark je uvjeren da se razvoj AI-a može regulirati na takav način da se uz poštovanje određenih pravila koja će garantirati da će on biti siguran za čovječanstvo istovremeno omogući kapitalističko takmičenje. Tu, među ostalim, ističe primjer sigurnosnih pojaseva u automobilima i zabranu dječjeg rada.

– Nikada, čak ni u desničarskim krugovima, nisam naišao ni na koga ko misli da je zabrana dječjeg rada bila loša ideja… U konačnici to je u zajedničkom interesu svih nas da ne prijeđemo preko ruba litice… Problem je što unatoč tome ljudi koji grade tu tehnologiju i njihovi direktori dobro razumiju da se nalazimo blizu ruba litice, dioničari i drugi u silnicama tržišta ne razumiju…

Mnogi su ljudi tu zaglavili u onome što ja volim zvati ugljičnim šovinizmom, da ljudski nivo inteligencije mogu imati samo ljudi, da postoji nešto magično u vezi s njom. Ljudi u tehnološkim kompanijama koji grade te stvari svi shvataju da je inteligencija neka vrsta obrade podataka i da uopće nije važno obrađuju li te podatke atomi ugljika u neuronima u mozgu ili atomi silicija u nekoj tehnologiji koju smo izgradili – kaže Tegmark.

“Jurnjava za jednim ciljem vodi u propast”

Referirajući se na temu načetu u ranijem dijelu razgovora, Tegmark, koji je svojevremeno studirao i ekonomiju, kaže da postoje mnogi ljudi koji vole kapitalizam i mnogi koji ga jako ne vole.

– Nedavno mi je sinulo da je ono što se zbiva s kapitalizmom potpuno analogno načinu na koji bi nas superinteligencija mogla izbrisati… Bio sam jako zainteresiran kako se silnice tržišta mogu iskoristiti za efikasnije obavljanje stvari, ali da se pritom tržištu daju pravi poticaji kako ne bi počelo raditi loše stvari.

Dilan Haterfild Manel (Dylan Hatefield Manell), moj kolega i profesor na MIT-ju, nedavno je sa svojim saradnicima napisao vrlo interesantan rad u kojem je matematički dokazao da se, ako uzmete jedan cilj za koji ćete unedogled optimizirati stvari, za koji mislite da će vas voditi u pravom smjeru, uvijek događa da to u početku čini stvari boljima za vas, međutim, ako nastavite dalje, u jednom trenutku počet će pogoršavati stvari. Na koncu će postupno stvari učiniti stvarno užasnim…

To je vrlo važno za AI i, unatoč tome što je Stjuart Rasel napisao knjigu u kojoj je objasnio zašto je loša ideja omogućiti da AI slijepo optimizira nešto, to je u stvari upravo ono što naši sistemi rade. Imamo nešto što se zove funkcija gubitka, koju minimiziramo, ili funkcija nagrade, koju maksimiziramo – upozorava fizičar.

“Problem kapitalizma i problem AI-a su se stopili”

– Tako funkcionira kapitalizam. Mi smo željeli raditi stvari efikasnije. Stoga smo uveli slobodno tržište. Stvari su se počele raditi mnogo efikasnije nego što su se radile u komunizmu. Međutim, onda se nastavilo s optimiziranjem sve više i više, sa sve većim kompanijama i sve efikasnijom obradom podataka u posljednje vrijeme uz pomoć IT-ja. Konačno su mnogi ljudi počeli misliti: “Čekajte, čini se da malo previše optimiziramo.” Na primjer, zašto smo posjekli pola prašuma? Zašto odjednom otkrivamo da su regulatori u sprezi s lobistima i sl.?

Ako imate AI koji ima jedan cilj i on ga nastavi optimizirati, većina će u početku biti oduševljena i stvari će postajati bolje. Međutim, gotovo je nemoguće AI-u dati sasvim tačan smjer optimizacije, a onda sve može otići kvragu. Nik Bostrom (Nick) i drugi dali su primjere koji mogu zvučati prilično šašavo, na primjer, ako AI-u zadate da izliječi rak. AI će možda odlučiti zauzeti cijeli kontinent kako bi na njemu smjestio svw superkompjutere potrebnw za izlječenje raka. U tom trenutku ćete reći: “To baš nije ono što sam htio” – navodi Tegmark.

– A problem kapitalizma i problem AI-a sada su se stopili na neki način jer je onaj Moloh o kojem sam govorio upravo kapitalistički Moloh. Izgradili smo ekonomiju koja optimizira samo jednu stvar, a to je profit. To je odlično funkcioniralo u vrijeme kada su stvari bile vrlo neefikasne. Bilo je odlično dok su kompanije bile dovoljno male tako da nisu mogle kontrolirati regulatore. No danas to više nije tako, a mi nastavljamo s optimiziranjem.

Danas ljudi shvataju da mogu ostvariti veći profit ako budu gradili sve moćniji AI, čak i ako je on bezobziran… Tu se ponovno javlja Moloh. Svako ko je zabrinut jer smatra da je kapitalizam u svojoj kasnoj fazi otišao predaleko, trebao bi biti zabrinut za superinteligenciju jer se u oba slučaja radi o istom zlikovcu – upozorio je.

“Ako se AI nastavi razvijati bez kontrole, na kraju neće biti ljudi”

Tegmark je uvjeren da će AI, ako se nastavi nekontrolirano razvijati i ako postane superinteligentan, na kraju istisnuti ljude.

– Vidjeli smo u historiji da jednom kada imamo neke vrste ili neku grupu ljudi koji više nisu potrebni, stvari se ne završe dobro za njih. Prije je bilo puno konja koji su korišteni za prijevoz u Bostonu, no potom je izmišljen automobil i većina konja je loše završila.

Ako pogledate ljude, možete se zapitati zašto je radnički pokret uspio nakon industrijske revolucije. Zato što su radnici bili potrebni. Iako je bilo puno Moloha i dječji rad i sl., kompanije su još uvijek trebale radnike i stoga su štrajkovi imali moć.

Ako dođemo do tačke u kojoj većina ljudi više neće biti potrebna, mislim da je prilično naivno misliti da će i dalje biti dobro tretirani. Mi kažemo – da, svi smo jednaki, vlasti će uvijek štititi ljude – međutim, ako pogledamo kako stvari stoje u praksi, grupe koje su jako obespravljene i nemaju nikakvu stvarnu moć obično nasetradaju – upozorava fizičar.

“AI neće zamijeniti samo dosadne i opasne poslove”

– U industrijskoj revoluciji automatizirali smo rad mišićima. To je na kraju prilično dobro ispalo jer smo se obrazovali, počeli raditi mozgovima i dobili uglavnom interesantnije, bolje plaćene poslove. Međutim, sada počinjemo zamjenjivati intelektualni rad. Zamijenili smo mnoge dosadne poslove, na primjer, napravili smo džepne digitrone tako da ljudi na poslu više ne moraju sabirati i množiti.

To je u redu jer postoje bolji poslovi od toga. Međutim, GPT-4, Stable Diffusion i slični sistemi sada stvarno počinju oduzimati poslove koje su ljudi stvarno voljeli raditi. Nedavno sam na društvenim mrežama vidio članak o jednom čovjeku koji je radio 3D modeliranje za igrice, a onda je iznenada došao novi softver kojem samo daje upute. On osjeća da je cijeli posao koji je volio izgubio značenje.

Ja sam tražio od GPT-4 da prepjeva uspavanku “Sijaj, sijaj zvjezdice” u Šekspirovom stilu. Ja to ne bih mogao obaviti tako dobro. Bilo je to stvarno impresivno… Vidjeli ste mnogo umjetnosti koju AI radi. Dakle, ja jesam za automatizaciju opasnih i dosadnih poslova. No mislim da se čuju neki argumenti koji ne stoje, prema kojima je to upravo sve što će se dogoditi – da će AI zamijeniti samo opasne i dosadne poslove. To jednostavno nije istina. Vidimo da već oduzima vrlo zanimljive poslove – upozorio je.

“Mislim da ima nade za nas”

Tegmark se u razgovoru osvrnuo na tezu Eliezera Judkovskog (Yudkowski), koji smatra kako je vrlo vjerovatno da će AI u budućnosti potpuno istrijebiti ljude.

– Prije svega jako cijenim Eliezera Judkovskog. Također, dijelim njegovo uvjerenje da postoji prilično velika vjerovatnost da mi ljudi nećemo opstati, da na planeti u ne tako dalekoj budućnosti neće više biti ljudi… Nedavno sam rekao supruzi da se osjećam kao da mi je upravo dijagnosticiran rak za koji postoji neka vjerovatnost preživljenja i neka vjerovatnost umiranja.

No ipak nisam tako pesimističan. Mislim da ima nade za nas. U tom slučaju čekaju nas zadivljujuće stvari – kaže Tegmark, koji smatra da bi se mogli napraviti programi koji bi provjeravali umjetnu inteligenciju.

“Moguće su divne stvari”

Ističe da je važno ne biti previše pesimističan jer bi to značilo poraz u psihološkom ratu.

– Ponekad vidim da su mladi ljudi uvjereni da će u svakom slučaju nagrabusiti i stoga odlučuju da će samo igrati kompjuterske igrice i drogirati se. Važno je imati nadu jer će to povećati vjerovatnost da ćemo uspjeti. AI nam može pomoći da riješimo probleme na ovoj planeti koje mi ne uspijevamo riješiti.

Ako samo malo usporimo i napravimo stvari kako treba, naša budućnost može biti nevjerojvtno dobra. Mi danas znamo da zakoni fizike omogućuju da se život proširi svemirom po drugim solarnim sistemima i drugim galaksijama i da ondje može cvjetati milijardama i milijardama godina. A to je za mene vizija puna nade, koja me stvarno motivira za borbu – tumači američki fizičar.

Kako AI može uništiti ljude?

Odgovarajući na pitanje kako bi AI mogao pobiti ljude, kaže da će autonomno oružje omogućiti malom broju ljudi da dominira nad velikim masama.

– Mi ljudi doveli smo do izumiranja brojnih vrsta. Kako smo to učinili? Bili smo pametniji od njih. Obično to čak nismo sistemski radili ubijajući jedno po jedno stvorenje. Mi smo jednostavno posjekli njihova staništa jer smo ih trebali za nešto drugo. U nekim slučajevima smo ispustili previše CO2 u atmosferu iz razloga koje te životinje nisu ni razumjele, a sada ih više nema. Na primjer, AI može smatrati da mu smeta kisik jer uzrokuje koroziju pa se odluči riješiti cjelokupnog kisika. Ako uspijemo postići da AI dijeli naše ciljeve, onda nam on može pomoći da riješimo sve druge probleme – poručio je Tegmark.

Je li GPT-4 svjestan?

Leks Fridman, među ostalim, postavio je pitanje Tegmarku misli li da je GPT-4 svjestan.

– Prvo definirajmo svijest jer je moje iskustvo da se oko 90 posto rasprava o svijesti vodi između ljudi koji imaju potpuno različite definicije svijesti i stoga se promašuju. Ja definiram svijest kao subjektivno iskustvo. Upravo doživljavam boje, zvukove i emocije. To je stvar svijesti. Moj kratak odgovor na pitanje ima li GPT svijest je da iskreno ne znam jer mi još uvijek ne znamo što je to što nam daje to divno subjektivno iskustvo i smisao našeg života.

Naime, osjećaj značenja je sam po sebi subjektivno iskustvo. Sreća je subjektivno iskustvo, kao i ljubav. Mi ne znamo šta je to. Ja sam napisao jedan rad na tu temu, a i mnogi drugi ljudi. Prof. Giulio Tononi je otišao najdalje i napisao vrlo smjelo matematičko nagađanje o tome što je suština svjesne obrade podataka. Možda je u pravu, a možda nije, no svakako bismo to trebali testirati – odgovara Tegmark.

“GPT-4 bi mogao biti vrlo inteligentan zombi”

– On postavlja tezu da svjesnost ima veze s petljama u obradi podataka. U našim mozgovima postoje petlje. Informacije idu naokolo, a rječnikom kompjuterskih naučnika to se naziva ponavljajućim, odnosno rekurentnim neuronskim mrežama, u kojima neke izlazne informacije odlaze ponovno nazad na obradu.

Na temelju njegovog matematičkog formalizma, neuralna mreža u kojoj informacija ide samo u jednom smjeru prema naprijed, na primjer, kao iz mrežnice u oku u zadnji dio mozga, nije svjesna. Tu se podrazumijeva da mrežnica ili videokamera sama po sebi nije svjesna. U slučaju GPT-4 zanimljivo je to što je to također jednosmjeran tok informacija. Stoga, ako je Tononi u pravu, GPT-4 je vrlo inteligentan zombi koji može raditi mnoge pametne stvari, ali ništa ne doživljava. S jedne strane to je olakšanje jer možemo bez grižnje savjesti isključiti GPT kad dođe novi korisnik – navodi fizičar.

“Inteligencija nije isto što i svijest”

– Ne bih volio da to neko meni radi, da mi izbriše pamćenje kao u filmu Ljudi u crnom. No i to je jezivo, da možemo imati vrlo visoku inteligenciju koja možda nije svjesna. Naime, ako nas zamijene mašine, bit će tužno što je čovječanstvo nestalo, ali ako su mašine svjesne, oni će barem biti naši potomci s našim vrijednostima i bit će naša djeca. No ako je Tononi u pravu, onda će to biti ultimativna zombi apokalipsa.

Imamo cijeli svemir u kojem se razvijaju konstruktivni projekti, ali niko ništa ne doživljava. To bi bila vrlo depresivna budućnost. Mislim da je ideja nekih ljudi prema kojoj je inteligencija isto što i svijest jednostavno glupost u koju uopće ne vjerujem. Možete imati puno svjesnih iskustava u kojima ne morate postići baš nikakve ciljeve. Možete samo misliti na nešto. S druge strane, ponekad možete obavljati stvari koje zahtijevaju inteligenciju a da pritom niste svjesni – kaže Tegmark.

Fridman kaže da ga je strah druge krajnosti, da se može dogoditi da stvorimo umjetnu inteligenciju koja će biti svjesna i imati sposobnost doživljavanja stvari na daleko višem nivou od nas. To bi kod ljudi moglo izazvati zavist i mržnju.

– Onda ćemo izaći s mjerenjima svijesti koja će pokazivati da su mašine manje vrijedna stvorenja. To me zabrinjava jer ćemo mi ljudi možda stvoriti nešto što je bolje od nas, ljudi, na način koji će biti lijep. Mi ljudi ćemo ih mrziti zbog toga. Kako je pokazala ljudska historija, oni će biti drugotni, a mi ćemo ih pokušati potisnuti. To bi moglo stvoriti sukobe i ratove – kaže Fridman.

Tegmark mu odgovara sarkastično.

“Moramo biti ponizniji, trebamo si dati malo vremena”

– Hoćeš reći da mi ljudi ponekad izlazimo s argumentima koji nam idu na ruku? Ne, mi to nikada ne bismo učinili, zar ne? Ja sam se kao dijete užasavao kada bi neko kuhao žive jastoge. Mislio sam: “O, bože, to je tako okrutno.” Neki odrasli ljudi u Švedskoj su mi govorili: “Ma oni ne osjećaju bol.” Pitao sam ih kako to mogu znati. Odgovarali su da su tako pokazali naučnici. A onda je nedavno objavljeno istraživanje koje je pokazalo da jastozi stvarno osjećaju bol kada ih se kuha.

Nakon toga su u Švicarskoj zabranili kuhanje živih jastoga. Prvo ih moraju ubiti na neki drugi način. Slično radimo s uzgojem životinja na farmama i tumačenjima zašto je njima sasvim dobro. Stoga jednostavno trebamo biti ponizniji i priznati da svjesnost nije isto što i inteligencija. Mislim da svjesnost jest rezultat obrade podataka – navodi fizičar.

– Trebamo si dati malo vremena i nastaviti s istraživanjima što to uzrokuje svijest. Tada ćemo vjerovatno moći napraviti nesvjesne robote koji će obavljati dosadne poslove za koje bismo smatrali da je nemoralno da ih damo svjesnim mašinama. S druge strane, ako budemo imali robote koji će praviti društvo našoj majci ili nešto slično, ona bi vjerovatno htjela da oni budu svjesni kako osjećaji koje će ispoljavati ne bi izgledali lažno. Sve te stvari mogu se odraditi na dobar način ako si damo malo vremena – tumači Tegmark.

Kada bi se mogla pojaviti umjetna opća inteligencija? “Mislim da to može biti vrlo, vrlo blizu”

Na Fridmanovo pitanje kada bi se mogla pojaviti umjetna opća inteligencija koja će u svemu biti jednaka ili superiorna ljudima, Tegmark kaže da je prošlo desetljeće uvijek predviđao prilično daleke rokove jer nije htio poticati neke glupe molohovske utrke.

– No sada je to iza nas. Mislim da to može biti vrlo, vrlo blizu. Mislim da rad koji je objavio Microsoft, u kojem se tvrdi da već imamo neke iskre umjetne opće inteligencije, nije besmislica. Ne bih se kladio protiv teze da bi se to moglo dogoditi vrlo skoro. Zato smo odlučili napisati to otvoreno pismo – poručio je Tegmark.

Avaz