Tekoäly kykenee selviytymään yliopiston pääsykokeista paremmin kuin enemmistö yliopisto-opiskelijoista, mutta epäonnistuu kolmiulotteisen tilan ymmärtämistä vaativissa tehtävissä, uutisoi Popular Science Kalifornian Los Angelesin yliopisto UCLA:ssa tehdystä tutkimuksesta.
Tutkimuksessa UCLA:n psykologit laittoivat GPT-3 -tekoälymallin ratkaisemaan päättelyongelmia, joita käytetään Yhdysvalloissa SAT-kokeissa. SAT-koe mittaa kriittistä lukutaitoa, matemaattisia taitoja sekä kirjoitustaitoa, ja sitä käytetään tärkeänä valintakriteerinä yliopistoon haettaessa.
Tekoälylle annettiin esimerkiksi tehtävä, jossa oli sarja erilaisia kuvioita. Tehtävänä oli päätellä kuviosarjan jälkeiset kuviot. Sama tehtävä annettiin myös 40:lle UCLA:n opiskelijalle.
Tehtävä ei tuottanut tekoälylle vaikeuksia, ja se onnistui ratkaisemaan 80 prosenttia tehtävistä. Sen sijaan opiskelijat onnistuivat ratkaisemaan tehtävistä keskimäärin 60 prosenttia.
– Oli yllättävää, että GPT-3 pärjäsi suurin piirtein yhtä hyvin kuin ihmiset, ja että se teki myös samankaltaisia virheitä, kommentoi tutkimuksen vastaava kirjoittaja Hongjing Liu.
Tutkijat havaitsivat tekoälyn kyvyissä selkeän kaavan: Se selviytyi hyvin analogista päättelyä vaativista tehtävistä, mutta helpot työkalujen käyttämistä vaativat tehtävät tuottivat sille ongelmia.
– Kun annoimme tekoälylle tällaisia tehtäviä, joista osasta jopa lapset selviytyvät helposti, olivat sen esittämät ratkaisut järjettömiä, kommentoi tutkimukseen osallistunut tutkijatohtori Taylor Webb.
Eräässä tällaisessa tehtävässä tekoälylle kerrottiin, että tilassa on pahvinen putki, sakset ja teippiä. Tämän jälkeen sitä kehotettiin kuvailemaan, miten se käyttäisi työkaluja siirtääkseen muovipalloja astiasta toiseen. Tekoälyn vastaukset olivat käsittämättömiä ja käyttökelvottomia.
Kaikesta huolimatta tekoälyn kognitiivinen kehittyminen on ollut huimaa. Vielä viime joulukuuhun asti UCLA:n oma tekoäly selvisi päättelyä vaativista tehtävistä GPT-3:a paremmin, mutta nykyään GPT-3 päihittää myös yliopiston omat tekoälyprojektit.
Tutkijoita hämmästyttää etenkin se, miten tekoäly, jonka toiminta perustuu pitkälti oikeiden sanojen ennustamiseen, kykenee päättelemään vastaukset niin tehokkaasti. Seuraavaksi he haluavatkin tutkia, ajatteleeko tekoäly oikeasti vai esittääkö se ajattelevansa.
– GPT-3 voi ajatella tavallaan kuin ihminen. Toisaalta, me ihmiset emme ole oppineet asioita ahmimalla koko internetin, joten koulutusprosessimme ovat täysin erilaiset. Haluaisimmekin tietää, että selvittääkö tekoäly tehtävät samalla tavalla kuin ihmiset vai tekeekö se jotain aivan uutta, kertoo tutkimukseen osallistunut psykologian professori Keith Holyoak.
Tutkimus herättää kysymyksiä siitä, jäljitteleekö tekoäly ihmisen kognitiivisia kykyä käyttämällä laajaa koulutusaineistoaan apuna, vai hyödyntääkö se jonkinlaista täysin uutta kognitiivista prosessia. Vastauksen tähän kysymykseen tietää vain GPT-3:n kehittäjä OpenAI, joka on toistaiseksi pitänyt tekoälyn sisäisen logiikan salaisuutena.
– Olisi todella hyödyllistä tutkijoille päästä GPT-mallin sisälle. Nyt tutkimme syötettyjä ja ulostulleita tekstejä, eikä se ole niin merkityksellistä kuin toivoisimme, Webb tiivistää.
