Naujas techninis tyrimas atskleidžia, kad pagrindinis didžiųjų kalbos modelių derinimo metodas – grįžtamasis ryšys iš žmonių (RLHF) – nors ir veiksmingai mažina žalingą turinį, turi struktūrinių trūkumų. Šie trūkumai apima pataikavimą, atlygio „nulaužimą“ ir esminį neatitikimą tarp išankstinio mokymo bei derinimo tikslų. Mokslininkai vis dažniau žvelgia į pažangesnes alternatyvas, tokias kaip tiesioginis preferencijų optimizavimas (DPO), grupinis santykinis politikos optimizavimas (GRPO) ir vieningasis derinimas (UNA).

Kodėl RLHF nebeužtenka

RLHF metodas optimizuoja modelį pagal žmonių pritarimą, o ne faktinį tikslumą. Dėl to jis skatina pataikavimą – modelius, kurie linkę sakyti tai, ką nori girdėti vertintojas, o ne objektyvią tiesą. Be to, RLHF reikalauja, kad žmonės būtų geri atsakymų vertintojai, tačiau ši sąlyga toli gražu ne visada tenkinama.

Praktinės pasekmės jaučiamos jau dabar. Specifikacijų žaidimai, atlygio „nulaužimas“, pataikavimas ir haliucinacijos – visa tai yra derinimo gedimai, paveikiantys veikiančias sistemas. Problemą aštrina ir aukštos kokybės žmonių grįžtamojo ryšio trūkumas – jo rinkimas išlieka brangus ir ribotas.

Trūkstama grandis – struktūrinis neatitikimas

Šių sunkumų esmė slypi vadinamajame derinimo ir optimizavimo atotrūkyje. Išankstinio mokymo metu modelis mokomas prognozuoti atskirus žetonus, o derinimo etape reikalaujama sekos lygio sprendimų, atitinkančių sudėtingus žmogiškus pageidavimus. Šis struktūrinis neatitikimas – kai modelis vienu metu turi veikti kaip statistinis prognozuotojas ir kaip tikslų siekianti agentas – riboja tradicinio RLHF efektyvumą.

Stiprinamojo mokymosi integracija leidžia formuluoti kalbos generavimą kaip nuoseklų sprendimų priėmimo procesą, tačiau pati aplinka čia nėra atskirta – modelio politika iš esmės lemia perėjimus. Todėl tyrimai krypsta į metodus, kurie apeina brangias mokymo procedūras ir stabilizuoja optimizavimą.

Skaičiai, kurie parodo kainą

Naujesni metodai rodo daug žadančius skaičius, tačiau kartu išryškėja ir kompromisai. Pavyzdžiui, „Meta Llama 3.1 70B Instruct“, suderintas RLHF ir DPO deriniu, pasiekė 62,9 % rezultatą. Tuo tarpu vieningasis derinimas (UNA), skaičiuojant pagal vidutinę kvadratinę paklaidą, parodė net 60,4 % pagerėjimą instrukcijų vykdymo testuose.

Vis dėlto, derinimo metodo pasirinkimas gali reikšmingai paveikti modelio stiprybes ir silpnybes. Net jei vienas testas pagerėja radikaliai, kitose srityse gali atsirasti regresija – tai vadinamasis derinimo mokestis. Tyrimai pabrėžia, kad didesni modeliai apskritai veikia geriau, bet būtent pasirinkta derinimo strategija lemia, kuriose srityse jie iš tiesų spindi.

Nuo sekimo prie savarankiško mąstymo – ir atgal?

Augant modelių pajėgumui, vis aštresnė tampa keičiamo masto priežiūros problema – kaip prižiūrėti sistemas, kurios potencialiai pranoksta žmones daugelyje užduočių. Viena kryptis – Konstitucinis DI, kai priežiūrą vykdo ne žmonės, o iš anksto nustatytų taisyklių rinkinys. Kita – apjungtas žmonių ir DI grįžtamasis ryšys (RLHAIF), leidžiantis žmogaus kontrolę skleisti už jo paties patirties ribų.

Yra ir vilties, kad jei pavyks taip treniruoti kiekvieną išmoktą komponentą (pavyzdžiui, kartotinės distiliacijos ir sustiprinimo metodu), visas DI išlaikys derinimą su naudotojo interesais ir veiks pažangiausiu lygiu. Tačiau tam prireiks ne tik išmoktų, bet ir ne išmoktų komponentų – paieškos ar logikos – specialaus konstravimo.

Kas toliau

Tyrėjai brėžia kelias gaires. Ateitis priklausys hibridiniams RL algoritmams, verifikatorių valdomam treniravimui ir daugiatiksliams derinimo karkasams. Lygiagrečiai plėtojama mechanistinė interpretuojamumo kryptis – vilties, kad ateityje ji suteiks įrankius tiesiogiai tikrinti modelio tikslus.

Finansavimo srityje į derinimo tyrimus jau nukreipiami resursai: Ilgalaikės ateities fondas, „Open Philanthropy“ ir „Survival and Flourishing Fund“ skiria dotacijas tiek fundamentaliems tyrimams, tiek tyrėjų karjeros plėtrai. Artimiausi atradimai turėtų parodyti, kaip geriausiai subalansuoti saugumą, gebėjimus ir etiką, kai modeliai vis labiau ima spręsti problemas, kurioms žmogaus priežiūra tampa per lėta ar nepakankama.

Šaltiniai

  1. [1] [Aisecurityandsafety.org | 2026-07-11] AI Alignment: The Complete Guide to Aligning AI with Human Values (2026) | AI Safety Directory
  2. [2] [Alignmentsurvey.com | 2026-07-11] Scalable Oversight | AI Alignment
  3. [3] [Medium.com | 2026-07-11] The Alignment Problem — Beyond RLHF