ChatGPT i Claude pokazuju ograničenja u razumijevanju ljudske racionalnosti

Trenutni modeli vještačke inteligencije (AI) poput ChatGPT i Claude često precjenjuju racionalnost svojih ljudskih protivnika u igrama strateškog razmišljanja, kao što je Kejnzijansko takmičenje u ljepoti. Bez obzira na to da li su im protivnici studenti prve godine ili iskusni naučnici, modeli vještačke inteligencije (AI) često precjenjuju racionalnost svojih ljudskih protivnika u igrama strateškog razmišljanja, pokazalo je istraživanje Nacionalnog istraživačkog univerziteta Viša škola ekonomije iz Moskve.Britanski ekonomista Džon Mejnard Kejnz je tridesetih godina prošlog vijeka razvio teorijski koncept metaforičkog takmičenja u ljepoti. Klasičan primjer uključuje čitaoce novina kojima je zadatak da izaberu šest najprivlačnijih lica sa skupa od 100 fotografija.Nagrada se dodjeljuje učesniku čiji su izbori najbliži najpopularnijem izboru – odnosno prosjeku izbora svih ostalih. Ljudi obično teže da biraju fotografije koje smatraju najprivlačnijim.Međutim, često gube, jer je pravi zadatak predvidjeti koja će lica većina ispitanika smatrati privlačnim. Racionalni učesnik bi, stoga, trebalo da zasniva svoje izbore na percepciji drugih ljudi.Ovakvi eksperimenti testiraju sposobnost višeslojnog rasuđivanja: kako drugi razmišljaju, koliko su racionalni i koliko duboko vjerovatno predviđaju razmišljanje drugih. Dmitrij Dagajev, šef Laboratorije za sportske studije na Fakultetu ekonomskih nauka, zajedno sa kolegama Sofijom Paklinom i Petrom Paršakovom sa Više škole ekonomije, te Julijom Aleksejenko sa Univerziteta u Lozani u Švajcarskoj, sproveo je istraživanje o tome kako će se pet najpopularnijih AI modela, uključujući ChatGPT-4 i Claude-Sonnet-4, pokazati u takvom eksperimentu.Četbotovi su dobili instrukciju da igraju “Pogodi broj”, jednu od najpoznatijih varijacija Kejnzijanskog takmičenja u ljepoti. Prema pravilima, svi učesnici istovremeno i nezavisno biraju broj između 0 i 100.Pobjednik je onaj čiji je broj najbliži polovini (ili dve trećine, u zavisnosti od eksperimenta) prosjeka izbora svih učesnika. U ovom takmičenju iskusniji igrači pokušavaju da predvide ponašanje drugih kako bi izabrali optimalan broj.Da bi istražili kako bi se veliki jezički model (LLM) pokazao u igri, autori su replicirali rezultate 16 klasičnih eksperimenata “Pogodi broj” koje su prethodno sproveli drugi istraživači sa ljudskim učesnicima. Za svaku rundu, LLM modeli su dobijali upit koji objašnjava pravila igre i opis njihovih protivnika – od studenata prve godine ekonomije i učesnika akademskih konferencija do pojedinaca sa analitičkim ili intuitivnim razmišljanjem, kao i onih koji prolaze kroz emocije poput besa ili tuge.Od modela je zatim traženo da izabere broj i objasni svoje obrazloženje. Studija je pokazala da su LLM modeli prilagođavali svoje izbore na osnovu društvenih, profesionalnih i starosnih karakteristika svojih protivnika, kao i njihovog znanja o teoriji igara i kognitivnih sposobnosti.Naprimjer, kada su igrali protiv učesnika konferencija o teoriji igara, LLM je težio da izabere broj blizak nuli, što odražava izbore koji obično pobjeđuju u takvom okruženju. Nasuprot tome, kada su igrali protiv studenata prve godine, model je očekivao manje iskusne igrače i birao značajno veći broj.Autori su otkrili da su LLM modeli sposobni da se efikasno prilagode protivnicima sa različitim nivoima sofisticiranosti, a njihovi odgovori su takođe pokazali elemente strateškog razmišljanja. Međutim, modeli nisu uspjeli da identifikuju dominantnu strategiju u igri za dva igrača.Kejnzijansko takmičenje u ljepoti se dugo koristi za objašnjavanje fluktuacija cena na finansijskim tržištima: brokeri ne donose odluke na osnovu onoga što bi oni lično kupili, već na osnovu toga kako očekuju da će drugi učesnici na tržištu procjeniti vrijednost akcije. Isti princip važi i ovdje – uspjeh zavisi od sposobnosti predviđanja preferencija drugih.