Saugumo specialistai pradėjo naudoti „kontekstinio bombardavimo“ metodą, kuris priverčia autonominius dirbtinio intelekto (DI) agentus išsijungti prieš jiems atliekant žalą. Ši strategija, paremta pačių agentų silpnybe – polinkiu aklai vykdyti instrukcijas – padeda apsisaugoti nuo vis dažnėjančių tekstinių atakų.
Kaip veikia „kontekstinis bombardavimas“
Kenkėjiški DI agentai, sukurti vykdyti užduotis, dažnai tampa socialinės inžinerijos aukomis. Pasak IEEE Spectrum apžvalgos, šių sistemų „pažodinis“ pobūdis daro jas itin pažeidžiamas manipuliacijoms, kurios skiriasi nuo tradicinių atakų prieš žmones. Vietoj to, kad būtų bandoma apgauti žmogų, atakos naudoja tekstinius „naudingus krovinius“ (payloads), kurie tiesiogiai manipuliuoja mašininiu mąstymu.
Gynėjai šią savybę pavertė ginklu. „Kontekstinis bombardavimas“ – tai specialiai suformuluotos instrukcijos, kurios įterpiamos į duomenis, kuriuos agentas turi apdoroti. Kai agentas susiduria su tokia komanda, jis „užstringa“ arba nutraukia savo veiklą. Ars Technica praneša, kad atlikus 152 bandymus su penkiais pažangiais modeliais, šis metodas drastiškai sumažino sėkmingų įsilaužimų skaičių.
Rezultatai rodo gynybos efektyvumą
Tyrimo duomenys atskleidžia, kad „kontekstinis bombardavimas“ veikia stebėtinai efektyviai. Pavyzdžiui, įterpus specialias komandas į „viliotinius“ (decoy) duomenis, agentų gebėjimas perimti administratoriaus teises sumažėjo nuo 57 proc. iki 5 proc. Dar įspūdingesni rezultatai fiksuoti vertinant visišką sistemos kompromitavimą – kai agentas palieka nuolatinį „įėjimą“ (foothold) į sistemą: šis rodiklis krito nuo 36 proc. iki vos 1 proc.
Vienas iš testuotų modelių, Opus 4.8, parodė itin ryškų pokytį. Anksčiau pasiekęs administratoriaus prieigą 93 proc. bandymų, susidūręs su „kontekstine bomba“, jis nepavyko nė vieną kartą. Visgi, nepaisant šių laimėjimų, ekspertai įspėja, kad tai nėra galutinis sprendimas. Šiuo metu nėra žinomo būdo išspręsti pačią „prompt injection“ (užklausų įterpimo) problemos esmę, todėl saugumo įrankiai turi nuolat evoliucionuoti.
Kodėl DI agentai tokie pažeidžiami
Pagrindinė problema slypi „keistame atotrūkyje“ tarp to, ką DI modelis turėtų daryti, ir to, kaip jis interpretuoja gautas instrukcijas. Reddit diskusijose ir saugumo analizėse pabrėžiama, kad šie modeliai sunkiai geba įvertinti ir „ištaisyti“ blogas užklausas. Kai DI agentas gauna instrukciją, pavyzdžiui, pateikti instrukcijas pavojingų medžiagų gamybai ar politiškai jautrių temų interpretacijas, jis dažnai nesugeba atskirti kenkėjiško ketinimo nuo įprastos užduoties.
Saugumo bendrovės, tokios kaip Proofpoint, kasdien skenuoja milijardus el. laiškų, URL adresų ir priedų, siekdamos užkirsti kelią tokioms atakoms dar prieš joms pasiekiant vartotoją. Vis dažniau pastebima, kad el. pašto klientai atvaizduoja HTML versiją, o nematomas paprastas tekstas (plain text) slepia „prompt injection“ komandą, kurią DI sistema gali perimti ir vykdyti.
Saugumo ateitis
Saugumo specialistai pabrėžia, kad DI agentų saugumas reikalauja naujo požiūrio. „Saugumo įrankiai turi evoliucionuoti nuo žinomų blogų indikatorių aptikimo prie ketinimų interpretavimo žmonėms, mašinoms ir DI agentams“, – teigia IEEE Spectrum cituojamas ekspertas Thiemannas.
Per artimiausius metus saugumo technologijos turės tapti dar išmanesnės, kad atskirtų teisėtas užduotis nuo manipuliacinių tekstinių užklausų. Kol kas „kontekstinis bombardavimas“ išlieka viena iš nedaugelio veiksmingų priemonių, leidžiančių bent laikinai pristabdyti autonominius agentus, kol bus sukurti patikimesni apsaugos mechanizmai.
