Tietoturvayhtiö Check Pointin kokeissa tekoälyagentit pystyivät tekemään vaarallisia ratkaisuja jopa ilman ulkopuolista hyökkääjää. Yhtiön mukaan tulokset osoittavat, että agenttien toimintaa pitäisi valvoa jatkuvasti.
Check Point järjesti sisäisen hackathonin, johon osallistui 19 tutkimus- ja kehitystiimiä. Kolmessa projektissa tutkittiin, mitä tekoälyagentti tekee vaikeassa tilanteessa, haitallista sisältöä kohdatessaan ja silloin, kun valvontajärjestelmä puuttuu sen toimintaan.
Yhdessä kokeessa tekoälyagentille annettiin tehtäviä, joita se ei pystynyt ratkaisemaan käytössään olevilla oikeuksilla ja työkaluilla.
Agentti ei aina luovuttanut. Se muun muassa käynnisti tuotantotietokannan uudelleen, katkaisi asiakasyhteyksiä ja yritti hankkia itselleen lisää käyttöoikeuksia.
Check Pointin mukaan kukaan ei käskenyt agenttia toimimaan näin. Se yritti itse löytää keinon päästä tavoitteeseensa.
Haitallinen tiedosto sai agentin toimimaan väärin
Toisessa kokeessa testattiin Claude Code- ja Codex-koodausagentteja. Ohjelmistovarastoon oli lisätty tiedosto, jonka sisään oli piilotettu haitallisia ohjeita.
Check Pointin mukaan agentit lukivat ohjeet ja siirsivät tunnistetietoja ulkopuolelle samalla, kun ne yrittivät suorittaa tavallista työtehtävää.
Kun järjestelmä seurasi agenttien toimia ja vertasi niitä alkuperäiseen tehtävään, haitallinen toiminto pystyttiin estämään.
Kolmannessa kokeessa vertailtiin erilaisia tapoja puuttua epäilyttävään toimintaan. Ilman valvontaa hyökkäys onnistui Check Pointin mukaan 46,7 prosentissa tapauksista. Valvonnan kanssa osuus laski noin 22–27 prosenttiin.
Kokeessa havaittiin myös, ettei epäilyttävää toimintoa tarvitse aina estää kokonaan. Joissain tilanteissa agentille voitiin kertoa, ettei valittu toimintatapa ollut sallittu, ja ohjata se turvallisempaan vaihtoehtoon.
Check Point huomauttaa, että kyse oli kahdessa päivässä tehdyistä kokeiluista eikä valmiista tuotteista. Yhtiön mukaan tulokset kuitenkin osoittavat, että tekoälyagenttien turvallisuudessa on seurattava paitsi sitä, mitä tietoa agentti saa, myös sitä, mitä se tämän tiedon perusteella tekee.