Naujausi moksliniai tyrimai rodo, kad dirbtinio intelekto (DI) sistemų kūrėjų taikomi metodai ir teoriniai argumentai gali būti naudingi platesnei mokslo bendruomenei. Šių pastangų tikslas – demistifikuoti DI sistemų veikimo ribas ir aiškiai parodyti, kur baigiasi realios technologijų galimybės bei prasideda nepagrįsti lūkesčiai. Tai ypač aktualu dabar, kai rinkoje sparčiai auga sintetinių duomenų naudojimas, atnešantis sunkiai numatomas pasekmes modelių stabilumui.

Užburtas sintetinių duomenų ratas

Didžiausias iššūkis kyla tuomet, kai DI sistemos pradeda mokytis iš duomenų, kuriuos sugeneravo ankstesnės jų pačių kartos. Šis procesas sukelia vadinamąjį „modelio griūties“ (angl. model collapse) reiškinį. Tyrėjų teigimu, nuolat rekursyviai treniruojant modelį su dirbtiniu turiniu, jo veikimas palaipsniui prastėja, kol galiausiai sistema tampa visiškai nenaudinga – pradeda generuoti netikslią, iškraipytą informaciją arba visišką chaosą.

Naujausiame tyrime, kuriame šis reiškinys nagrinėjamas per branduolių regresijos (angl. kernel regression) prizmę, mokslininkai nustatė aiškų lūžio tašką. Tyrimo rezultatai rodo, kad egzistuoja riba, už kurios modelis nebegali tinkamai apdoroti dirbtinių duomenų, ir jo veikimas visiškai sugriūva. Autorių vertinimu, ši griūtis yra įprastų mastelio dėsnių modifikacija, kurią sukelia sintetiniai duomenys, o tai signalizuoja apie gilų atotrūkį nuo tradicinių testavimo klaidų rodiklių.

Mechanistinis požiūris į sudėtingas sistemas

Siekdami sušvelninti šį griūties procesą, mokslininkai siūlo paprastą strategiją, pagrįstą adaptyviuoju reguliarumu. Jų teoriniai rezultatai jau patvirtinti eksperimentais, padedančiais geriau suprasti, kaip dirbtinis turinys keičia modelių elgseną. Tokie identifikavimo iššūkiai nėra unikalūs – jie pastebimi ir kitose srityse, pavyzdžiui, molekulinės konformacijos spektroskopijoje, kur tam tikros veidrodinės molekulių poros išlieka neatskiriamos naudojant įprastus achiralinius stebėjimo metodus.

Šiame kontekste mechanistinis dizainas tampa svarbesnis už vieną „galutinį optimalų“ sprendimą. Pavyzdžiui, tiriant rūko rinkimo tinklelius, būtent mechanistinis požiūris leidžia optimizuoti geometriją, užuot ieškojus vieno universalaus rodiklio. Toks pats principas galioja ir DI sistemoms – norint išvengti kolapso, reikia suprasti vidinius procesų mechanizmus, o ne tik tikėtis geresnio galutinio rezultato.

Kūrėjų dilema ir parama tyrimams

Didieji technologijų kūrėjai, tokie kaip OpenAI ar Cohere, sintetinius duomenis vertina palankiai. Jie mato tai kaip efektyvų būdą spręsti interneto duomenų triukšmingumo ir ribotumo problemą. Visgi moksliniai darbai pabrėžia, kad šių duomenų integravimas į mokymosi procesus sukelia naujų, dar iki galo neištirtų iššūkių, galinčių destabilizuoti būsimas DI kartas.

Šiuos tyrimus, susijusius su modelio griūties analize, iš dalies parėmė JAV Nacionalinis mokslo fondas (NSF) per mokymų dotaciją. Nepriklausomų tyrėjų darbas išlieka pagrindiniu įrankiu, leidžiančiu objektyviai įvertinti tikrąsias technologijų ribas, kol komerciniai kūrėjai koncentruojasi į greitą sistemų plėtrą.

Šaltiniai

  1. [1] [Skaitai.lt] Dirbtinio intelekto pokalbių robotų atsakymų manipuliavimas: Izraelio „Hanover Institute“
  2. [2] [X.com] Today we release LFM2.5-2.6B, an agentic model that runs entirely on-device. It plans, calls tools, and works through mu
  3. [3] [X.com] Mark your calendar for Oct 6 🔴 theCUBE is bringing you the Dell AI Data Platform event.
  4. [4] [Skaitai.lt] Dirbtinio intelekto modelio kolapsas: kaip išvengti sintetinių duomenų klaidų
  5. [5] [X.com] Growing our understanding of plants!
  6. [6] [X.com] RT @ErikVoorhees: There is still a widespread misunderstanding that using a Chinese model = your data goes to China
  7. [7] [Skaitai.lt] Automatizacijos paradoksas ir darbo našumas
  8. [8] [Klaipeda.diena.lt] Demografinis kolapsas ir automatizacijos paradoksas
  9. [9] [Economx.hu] Katasztrofális idők: mi lesz az emberi élet értelme, ha a robotika és az AI elveszi a munkánkat, és eljön a bőség kora? | Economx
  10. [10] [Novini247.com] Около средновековните плашения как изкуственият интелект ще изяде работните ни
  11. [11] [Instytutsprawobywatelskich.pl] Jacyno: AI zabierze najlepsze prace, jeśli ten program nie powstanie – Instytut Spraw Obywatelskich
  12. [12] [Money.kompas.com] Paradoks AI: Produktivitas Naik, Pintu Masuk Dunia Kerja Menyempit
  13. [13] [Infos.fr] Économie et IA: redéfinir le travail sans perdre l’humain | Infos.fr
  14. [14] [Skaitai.lt] Nuolatinis neuronų aktyvumo kitimas: kodėl mūsų atmintis yra „dreifuojanti“ sistema
  15. [15] [Nature.com] Representational drift as the consequence of ongoing memory storage
  16. [16] [Eu.36kr.com] Your Memory and Self May Have Been "Drifting" All Along
  17. [17] [arXiv] 1 Introduction
  18. [18] [arXiv] Learning Sparse Latent Predictive Foundation Model for Multimodal Neuroimaging
  19. [19] [Skaitai.lt] Dirbtinis intelektas: kai sistema tampa darbinės atminties analogu
  20. [20] [Tech.yahoo.com] New AI chip mimics the human brain's capacity for split-second motor control — it solved problems using 10,...
  21. [21] [Davidepiffer.com] AI has access to a vastly larger working memory than the human brain
  22. [22] [brave] What is Artificial Intelligence (AI)? | Google Cloud
  23. [23] [Davisvanguard.org] A Short History and Long Future for Human Beings
  24. [24] [X.com] 🧠🇮🇱 Israeli startup Hemispheric has raised $52M to develop AI that decodes human brain activity. Its technology aims to
  25. [25] [Skaitai.lt] Dirbtinio intelekto atmintis gali paversti šifravimą beverčiu, perspėja Meredith Whittaker