Programinės įrangos kūrimo vertinimo sistemos susiduria su fundamentaliais dizaino ir duomenų užterštumo iššūkiais. Kai vertinimo įrankiai tampa nepatikimi, jie iškraipo modelių gebėjimų suvokimą, klaidingai atspindi saugumo užtikrinimą ir nukreipia mokslinių tyrimų prioritetus netinkama linkme.

Kodėl populiarūs testai tampa nebeveiksmingi

Vienas plačiausiai naudojamų kodavimo vertinimo įrankių, SWE-bench Verified, pastaruoju metu sulaukė kritikos dėl esminių trūkumų. Tyrimai rodo, kad šis įrankis nebegali suteikti prasmingo signalo apie realius programinės įrangos kūrimo gebėjimus. Problemos dažniausiai skirstomos į keturias kategorijas, tarp kurių dominuoja pernelyg griežti testai. Jie reikalauja specifinių įgyvendinimo detalių, kurios net nebuvo nurodytos užduoties apraše, todėl daugybė funkciškai teisingų sprendimų yra atmetami.

Ši problema turi ir kiekybinę išraišką. Viešajame 731 užduoties rinkinyje pažangiausi modeliai per aštuonis mėnesius pagerino savo rezultatą nuo 23,3 proc. iki 80,3 proc. Visgi, didėjantys skaičiai ne visada reiškia tikrąją pažangą, nes vertinimo procesuose dažnai pasitaiko sisteminių klaidų, kurias sunku identifikuoti be nuodugnios analizės.

Causal Extraction: kaip rasti tikrąsias priežastis

Siekiant išspręsti šį neapibrėžtumą, pristatytas STRACE (Structural Trajectory Analysis and Causal Extraction) metodas, skirtas agentų optimizavimui. Ši sistema remiasi „priklausomybės prioritetu“ (dependency prior), kuris sukonstruojamas iš bazinių artefaktų: agentų apibrėžimų, įrankių sąsajų, konfigūracijos failų, užuominų ir vykdymo žurnalų. Be šio prioriteto optimizavimo procesas tampa neefektyvus, nes sistema turi eikvoti daug resursų bandydama išvesti ryšius tarp komponentų tik iš triukšmingų vykdymo pėdsakų.

Svarbu tai, kad STRACE nereikalauja, jog šis prioritetas būtų suformuluotas tobulai. Tyrimai rodo, kad sistema išlieka stabili net esant daliniam triukšmui: pašalinus 25 proc. ryšių, sėkmės rodiklis sumažėja tik nežymiai – nuo 56 proc. iki 54 proc. Pridėjus 25 proc. papildomų ryšių, sėkmės rodiklis išlieka stabilus ties 56 proc. riba.

Efektyvumas ir sistemos ribos

Nors STRACE pirmoji fazė yra nebrangi, jos pašalinimas sukelia našumo kritimą, nes šis etapas yra kritiškai svarbus vėlesniam lokalizavimui ir klaidų taisymui. Tai rodo, kad net ir pigūs komponentai yra svarbūs bendram sistemos tikslumui. Be to, sistema yra visiškai nepriklausoma nuo konkrečių karkasų (framework-agnostic), todėl gali būti pritaikyta įvairiose aplinkose be būtinybės keisti įrankių sąsajas.

Ribos lieka. Mažesniame, 10 proc. trikdžių lygyje, našumas išlieka stabilus arba net pagerėja, tačiau tai nereiškia, kad sistema yra atspari bet kokio pobūdžio klaidoms. Galutinis tikslas išlieka tas pats: sukurti vertinimo įrankius, kurie būtų sunkiai manipuliuojami, lengvai patikimi ir tiksliai atspindėtų modelio gebėjimus ar suderinamumą.

Ateityje vertinimo metodai turės tapti dar atsparesni triukšmui. Toks požiūris į duomenų kokybę taps esminiu kriterijumi, skiriančiu patikimus vertinimo įrankius nuo tų, kurie tik sukuria iliuziją apie modelių pažangą.

Šaltiniai

  1. [1] [arXiv | 2026-07-08] From Noisy Traces to Root Causes: Structural Trajectory Analysis and Causal Extraction for Agent Optimization
  2. [2] [News.ycombinator.com | 2026-07-09] Separating signal from noise in coding evaluations
  3. [3] [Openai.com | 2026-07-09] Separating signal from noise in coding evaluations
  4. [4] [Allenai.org | 2026-07-09] Signal and Noise: Reducing uncertainty in language model evaluation