Didelių kalbos modelių (LLM) atmintis vis dažniau tampa ne tik teksto saugykla, bet ir aktyviai valdoma duomenų struktūra. Eksperimentinis požiūris, pavadintas Lemmalog, rodo, kad modelių gebėjimas atlikti sudėtingas užduotis, pavyzdžiui, pažeidžiamumų paiešką, gali būti tikslesnis, jei vietoj tradicinio „konteksto didinimo“ naudojama programų analizės logika.

Loginis nuoseklumas vietoj „konteksto lango“

Tradiciniai metodai, skirti pagerinti didelių kalbos modelių atmintį, dažniausiai remiasi informacijos saugojimu ir jos paieška pagal panašumą. Tačiau tiriant sudėtingus kodo rinkinius, modelis gali „pasiklysti“ savo paties išvadose. Autoriaus teigimu, modelis gali pasiūlyti jau atmestą metodą, pamiršti, kad prielaida pasirodė klaidinga, arba pasitikėdamas tęsti samprotavimus remdamasis stebėjimu, kuris jau nebėra galiojantis.

Šis pastebėjimas paskatino suprasti, kad po terminu „atmintis“ slepiasi dvi skirtingos problemos. Lemmalog veikia kaip tarpinė reprezentacija ir analizės variklis. Jo kūrėjas nurodo, kad jei tam tikra išvada egzistuoja Lemmalog sistemoje, galima atsekti, iš kur ji atsirado.

Automatizuotas išvadų valdymas

Sistemos veikimo principas remiasi prielaida, kad jei nėra įrodymų, palaikančių tam tikrą teiginį, jis nėra laikomas sistemos būsenos dalimi. Pavyzdžiui, jei vienas stebėjimas vėliau pasirodo esąs neteisingas, sistema žino, kad nuo jo priklausanti išvada gali būti nebegaliojanti, ir gali automatiškai pašalinti paveiktas išvadas.

Tai leidžia asociuoti faktus su galiojimo intervalais, todėl prieštaringi faktai gali egzistuoti kartu neklaidindami modelio. Autoriaus vertinimu, tai yra patogiau nei visą seną informaciją talpinti į užklausos lauką (prompt) ir tikėtis, kad modelis pastebės tuos pačius dėsningumus.

Ribos ir techniniai iššūkiai

Nors rezultatai rodo, kad idėja nėra visiškai beprasmė, autorius pabrėžia, jog Datalog vertintuvas savaime netapo „protingesnis“. Atliekant bandymus, vienu metu LongMemEval rezultatas staiga nukrito iki 0,371 F1 rodiklio.

Autorius pripažįsta, kad jis nenorėjo suteikti modeliui „geresnės atminties“ įprasta prasme, o veikiau siekė sukurti sistemą, kuri išlaikytų tai, kas jau yra nustatyta. Informacijos išgavimas vyksta naudojant Claude Sonnet 4.6 modelį, o visa kita po išgavimo naudoja standartizuotus vertintojus.

Šis požiūris padeda spręsti vieną iš dažniau pasitaikančių LLM pagrįstų tyrimų nesėkmių, kai modelis pamažu praranda tai, kas iš tikrųjų buvo nustatyta. Kita vertus, autorius pabrėžia, kad Datalog nėra galutinis LLM atminties problemos sprendimas. Tai tik būdas parodyti, kad programų analizės metodų taikymas modelių atminties valdymui yra vertas dėmesio.

Šaltiniai

  1. [1] [Pwning.systems | 2026-08-28] I accidentally turned LLM memory into program analysis
  2. [2] [X.com | 2026-08-30] NVIDIA AVO continuously inspects, plans, implements, and evaluates, using memory, tools, and execution feedback to build on what it learns along the way. This allows the system to sustain progress acr
  3. [3] [X.com | 2026-08-30] Agents are scaling. So are the token costs. CIOs are shifting to AI PCs as strategic nodes. Ryzen AI Max 400 series changes the equation with 192GB of memory for local LLMs and agent swarms. You ov
  4. [4] [X.com] The rowhammer effect may start in memory, but we’re leveraging years of research and investment to help organizations tr
  5. [5] [X.com] Looking for a smart summer read? This selection of recent economics books from our F&D magazine offers valuable insi
  6. [6] [X.com] This week's @POLITICOMag cover story: The massive moviemaking exodus from Hollywood.