Amerikos medikų asociacijos (AMA) 2026 metų tyrimas rodo, kad net 81 % JAV gydytojų dabar naudoja dirbtinį intelektą savo profesinėje veikloje, nors dar 2023 metais šis rodiklis siekė vos 38 %. Nepaisant šio staigaus technologijos pritaikymo šuolio, naujausi moksliniai vertinimai atskleidžia rimtą problemą: puikūs dirbtinio intelekto rezultatai standartizuotuose testuose neatspindi tikrojo sistemų pasirengimo dirbti realiose ligoninėse.
Moksliniame leidinyje Science paskelbtoje analizėje tyrėjai, tarp kurių yra Ediriweera Desapriya ir Peter Tiu iš BC vaikų ligoninės (Kanada), nagrinėjo didžiųjų kalbos modelių gebėjimą spręsti gydytojo mąstymo reikalaujančias užduotis. Nors pirminiai duomenys, paskelbti dar 2024 metų gruodį, skelbė apie „antžmogiškus“ modelio rezultatus sprendžiant atrinktus klinikinius atvejus, realybė yra kur kas labiau niuansuota. Pasirodo, kad teorinių egzaminų išlaikymas nėra tolygus gydytojo darbui.
Egzaminas prieš realią kliniką
Sistemos sėkmingai įveikia teorinius testus, tačiau tai nereiškia, kad jos gali saugiai veikti triukšmingoje, daugiafunkcėje ir laiko atžvilgiu jautrioje šiuolaikinių ligoninių aplinkoje. Gydytojo kasdienybė reikalauja ne tik vadovėlinių žinių pritaikymo, bet ir gebėjimo valdyti chaotišką, fragmentišką informacijos srautą.
Atotrūkis akivaizdus. Kai vertinimo sistemoje dominuoja paprastas taškų kaupimo principas už paminėtus raktinius žodžius, modeliai dirbtinai pakelia savo balus. Pačių tyrimų autoriai pripažįsta, kad esami testai gali stipriai pervertinti dirbtinio intelekto galimybes, nes juose nenaudojami „nešvarūs“ ir chaotiški duomenys, su kuriais kasdien susiduria medikai.
Vertinimo metodikos spragos
Atidžiau pažvelgus į testavimo metodus, išryškėja vertinimo schemų problemos. Pavyzdžiui, analizuojant o1-preview modelio testavimo planus, pastebėta, kad sistema vienam klinikiniam atvejui sugeneravo daugiau nei 30 tyrimų rekomendacijų aštuoniose skirtingose kategorijose, įskaitant kaulų čiulpų biopsiją. Toks perteklinis atsakymų pateikimas standartizuotame teste leidžia lengvai surinkti taškus pagal formalius vertinimo kriterijus.
Tačiau realiame gyvenime tai reikštų nepagrįstą pacientų varginimą ir brangių medicinos išteklių švaistymą. Kai mokymo duomenyse dominuoja idealizuoti scenarijai, o testavimas vyksta steriliomis sąlygomis, tikrasis algoritmo naudingumas išlieka abejotinas.
Kūrybiškumo ir logikos iššūkiai
Mokslinio mąstymo ir idėjų generavimo ribas tyrė ir kita mokslininkų grupė, pristačiusi LiveIdeaBench vertinimo metodiką leidinyje Nature. Šis tyrimas parodė, kad net ir modeliai su identiška baze, besiskiriantys tik mąstymo pastangomis (pavyzdžiui, o3-mini versijos), demonstruoja labai skirtingus rezultatus, kai susiduria su nestandartinėmis užduotimis.
Siekdami įvertinti tikrąjį technologijų kūrybiškumo slenkstį ir gebėjimą generuoti idėjas mažai žinomose srityse, tyrėjai pasirinko vertinti modelių veiklos žemutinę ribą, o ne išskirtinius sėkmės atvejus. Paaiškėjo, kad loginis pajėgumas negarantuoja mokslinio kūrybiškumo. Pavyzdžiui, qwq-32b-preview modeliui dėl jo specifinės architektūros netgi prireikė modifikuoto protokolo su specialiais atsakymų skyrikliais, kad būtų galima teisingai išanalizuoti jo pateikiamas idėjas.
Kai vertinimo metodai remiasi supaprastintais scenarijais, o realus darbas reikalauja lankstumo, atotrūkis tarp laboratorinių rezultatų ir praktinio pritaikymo išlieka didelis. Ateities tyrimai, orientuoti į modelių testavimą dinamiškesnėmis ir mažiau struktūruotomis sąlygomis, turėtų parodyti, ar šios sistemos taps patikimais gydytojų partneriais, ar liks tik pažangiais teorinių žinių žinynais.
Ši informacija nepakeičia gydytojo konsultacijos.
