Neuromorfūs čipai mažina AI energijos sąnaudas, bet programinės įrangos ekosistema vėluoja
Nauja artimo atminties skaičiavimo architektūra (near-memory-compute) leidžia AI modeliams veikti efektyviau naudojant dvigubus atminties takus. Sprendimas kritiškai svarbus energijos taupymui, tačiau jo diegimas reikalauja visiškai naujų algoritmų.
Dvigubas takas ir mažiau parametrų
Pagrindinė šios architektūros idėja yra duomenų srautų optimizavimas per heterogeninius takus – vienas skirtas retiems impulsams (sparse-spike), kitas – tankiai atminties struktūrai (dense-memory). Tokia konstrukcija leidžia išlaikyti kompaktišką bendrą būseną ir sumažinti duomenų judėjimą tarp procesoriaus ir išorinės atminties. Efektas juntamas. Remiantis duomenimis, tokia dviguba atminties architektūra pasiekia konkurencingą tikslumą ilgų sekencių testuose, tačiau jai reikia 40–60 % mažiau parametrų nei standartiniams šiuolaikiniams impulsinėms neuronų tinklams (SNN – spiking neural networks).
Konkretaus DMP-SNN modelio testai rodo 90,3 % tikslumą. Svarbu, kad explicitinė (aiški) atmintis stabilizuoja mokymosi procesą ir išlaiko įvykiais valdomą retumą. Palyginus su paprastais tiesioginio ryšio SNN, kur atminties šaltiniu yra tik membraninė laiko konstanta, gradientai sparčiai dingsta ir našumas griūva. Tuo tarpu lėtos atminties variantas leidžia tęsti atgalinį propagavimą laiko tėkme, kas yra būtina sudėtingesnių užduočių atlikimui.
Kodėl skaitmeninė architektūra nebeveikia?
Šiuo metu AI energetinė trajektorija tampa neatlaikoma. Tarptautinė energijos agentūra (IEA – International Energy Agency) prognuozuoja, kad iki 2030 metų duomenų centrai gali suvartoti 3 % visos pasaulio elektros energijos, o pagrindinė priežastis yra neuroninių tinklų simuliavimo poreikis. Tradiciniai procesoriai kenčia nuo didžiulio energijos sluoksnio, kuris iššvaistomas tiesiog perkeliant duomenis tarp atminties ir skaičiavimo vienetų.
Dėl to neuromorfiniai sprendimai dabar laikomi „trečiu srautu“ puslaidžių vystymo, šalia skaitmeninių ir kvantinių technologijų. Jie imitoja žmogaus smegenų veikimą, kur skaičiavimas ir atmintis vyksta toje pačioje vietoje. Dronams ar autonominiams transporto priemonėms tai suteikia galimybę priimti sprendimus realiu laiku su minimaliomis energijos sąnaudomis, nepasikliaunant nuolatiniu ryšiu su debesiais.
Sistemos skiriasi. Kol skaitmeninė architektūra remiasi griežta taktine struktūra, neuromorfūs čipai veikia impulsais, reaguodami tik į duomenų pokyčius.
Kas kuria šią technologiją?
Rinkoje dominuoja keli pagrindiniai žaidėjai ir architektūros. Intel Loihi ir IBM TrueNorth yra žinomi pavyzdžiai, tačiau naujausiu žingsniais yra SpiNNaker2 architektūra, skirta tiek debesų sistemoms (SpiNNcloud), tiek krašto įrenginiams. Konkurencija vyksta ne tik tarp bendrovių, bet ir regionų: Kinijoje SynSense ir Huawei stumią neuromorfinių sprendimų diegimą „išmaniuose miestuose“ ir IoT (Internet of Things – daiktų internetas) įrenginiuose, o Europoje procesus skatina JK multidisciplinarinis neuromorfinių skaičiavimų centras.
Fizinis pagrindas šių sistemų dažnai remiasi memristoriais (komponentais, gebančiais „prisiminti“ elektros srovės intensyvumą). Be to, analizuojamos ir kitos nevolatile (nenuolydinės) atminties technologijos:
- Fazinių pokyčių atmintis (Phase-Change Memory);
- Rezistyvinė RAM (Resistive RAM);
- Magnetorezistyvinė RAM (Magnetoresistive RAM);
- Ferroelektrinė RAM (Ferroelectric RAM).
Šios medžiagos leidžia kurti analoginius arba mišrinį signalą naudojančius procesorius, kurie yra kur kas efektyvesni už tradicinius tranzistorius.
Programinės įrangos trūkumas
Koduoti sunku. Nors aparatūrinė dalis žengia didelius žingsnius, programinės įrangos ekosistema yra stipriai nepaveldėta lyginant su tradiciniu skaičiavimu. Neuromorfiniam aparatūrai optimizuotų algoritmų kūrimas reikalauja fundamentikament naujų metodų, nes senieji programavimo principai čia tiesiog neveikia.
Ribos lieka. Kūrėjai negali tiesiog perkelti savo modelių iš PyTorch ar TensorFlow į neuromorfų čipus be didelių nuostolių. Reikia iš naujo sukurti duomenų srautų politikas, kurios atskirtų atnaujinimo ir vartojimo procesus, kad būtų išvengta papildomo duomenų trafficking'o už čipo ribų.
Artimiausi metai parodys, ar programinės įrangos plėtra paspes pakankamai, kad neuromorfūs čipai iš laboratorijų galutinis perkeltų į masinius komercinius produktus.
Technologija verta dėmesio tada, kai sutaupo laiką, o ne prašo aplodismentų.
