Naujas Anthropic vadovo Dario Amodei ese „Interpretuojamumo skubos“ nustato ambicingą tikslą: iki 2027 metų sukurti patikimus metodus, leidžiančius aptikti daugumą dirbtinio intelekto modelių veikimo problemų. Ši data nėra atsitiktinė – rinkoje jau pasirodė mąstymo modeliai, kurie geriau atlieka sudėtingas užduotis, bet haliucinuoja dažniau, o jų kūrėjai negali paaiškinti, kodėl.

Kodėl juodoji dėžė tampa rizika

Dabar, kai generatyvus AI sistemos priima sprendimus – nuo finansinių dokumentų suvestinių iki kodo rašymo – tyrėjai neturi būdo tiksliai nustatyti, kodėl modelis pasirinko būtent tuos žodžius ar padarė klaidą. „Mes visiškai neįmanome, kokiu tikslumu ar precizumu, suprasti, kodėl sistema priima tas ar kitas sprendimus“, – rašo Amodei. Jo vertinimu, šios sistemos taps „visiškai centrine ekonomikos, technologijų ir nacionalinio saugumo dalimi“, o jų autonomija bus tokia didelė, kad žmonijai būtų „tiesiog nepriimtina visiškai nesuprasti, kaip jos veikia“.

Ribos lieka.

Smegenų skenavimas – ne metafora

Mechaninis interpretuojamumas (angl. mechanistic interpretability) keičia požiūrį: neuroniniai tinklai nebe traktuojami kaip neperprantamos juodosios dėžės, o atvirkštiniu būdu inžinerijuojami – išskaidomi į prasmingas dalis, vadinamas grandinėmis (angl. circuits), neuronais ir informacijos keliais. Anthropic komanda, vadovaujama bendriniu įkūrėju Chrisu Olahu, kuriame tikra, kad AI modeliai yra „užauginami, o ne sukonstruojami“, statė įrankius, lyginamus su magnetiniu rezonansu (MRT) smegenims.

Eksperimentai rodo konkretus rezultatus. Analizuojant geografinį mąstymą, modelis pirmiausia aktyvuoja „Dalasas yra Teksase“ požymį, tada susieja jį su „Teksaso sostinė – Ostinas“ koncepcija. Dirbtinai pakeitus „Teksas“ į „Kaliforniją“, išvestis pasikeičia į „Sakramentas“. Taip pat nustatyta, kad modelis planuoja rimumus viena žodį anksčiau, o ne generuoja juos sėkmingai vienu po kito.

Milijonai grandinių, vienas mikroskopas

Anthropic vertina, kad viename modelyje gali veikti milijonai tokių grandinių. Kol kas identifikuota tik jų dalis. Metodas turi rimtų apribojimų: ne visi modelio požymiai yra interpretuojami, todėl analizė veikia tik tam tikrų tipų užklausoms. Pavyzdžiui, pridėjimo operacijoje modelis naudoja dvi lygiagrečias kelias – apytikslį artinimą ir tikslų paskutinio skaičiaus skaičiavimą –, bet kaip tiksliai tai sinchronizuojama, vis dar ne visai aišku.

Haliucinacijų šaknies radimas. Kai modelis atpažįsta vardą (pvz., „Michaelas Batkinas“), bet neturi apie jį žinių, „žinomo atsakymo“ požymis gali išlydyti ir sugeneruoti išgalvotą biografiją. Chain-of-thought (mąstymo grandinė) atsakymuose taip pat aptinkama neįsitikinamumas: modelis gali pateikti logiškai atrodančius, bet faktiškai sugalvotus žingsnius.

Reguliavimas be precedento

Amodei neapsiriboja techniniais tikslais. Jis kreipiasi į vyriausybes su prašymu įvesti „lengvą reguliavimą“: reikalaujamą saugumo ir privatumo praktikų atskleidimą, kad visą industriją skubintų investuoti į interpretuojamumą. Be to, siūlo JAV eksporto kontrolės mikroschemoms į Kiniją, siekiant apriboti „nekontroluojamą globalią AI lenktynės“.

Anthropic jau atliko pirmąją investiciją į išorinį interpretuojamumo startuolį ir palaikė Kalifornijos SB 1047 saugumo įstatymą, tuo tarpu kitos didžiosios bendrovės jo prieštaravo. Pirmieji metai parodys, ar šis „lengvas“ reguliavimas taps standartu ar lieka vienos bendrovės iniciatyva.

Šaltiniai

  1. [1] [Thesequence.substack.com | Tue, 02 Se] The Sequence Knowledge #712: Mechanistic Interpretability and Diving Into the Mind of Claude
  2. [2] [Anthropic.com | Thu, 27 Ma] Tracing the thoughts of a large language model