Revoliucinė NPU technologija: 60% greitesnė AI su 44% mažiau energijos!

Revoliucinė NPU technologija: 60% greitesnė AI su 44% mažiau energijos!

Tokio, Japan - Kas yra dirbtinio intelekto pasaulyje? Į jaudinančiame technologijos posūkyje yra Korėjos pažengusiųjų mokslo ir technologijos instituto (Kaist) tyrėjai. Jie sukūrė naują, energiją taupančią NPU technologiją, kuri padidina generatyvinių AI modelių našumą įspūdingais 60%, o energijos suvartojimas sumažėja 44%. [„CloudComputing-News.net“] Ataskaitos apie pažangą, kuri buvo pasiekta kaip šio tyrimo dalis, kuriai vadovavo profesorius Jongseok parkas, bendradarbiaujant su „Hyperaccel Inc.“.

Dabartiniai dideli AI modeliai, tokie kaip „Openais ChatGPT-4“ ir „Google Gemini 2.5“, yra tikri aritmetiniai monstrai, kuriems reikalingas didelis saugojimo talpa ir pralaidumas. Nenuostabu, kad tokios įmonės kaip „Microsoft“ ir „Google“ perka šimtus tūkstančių iš „Nvidia GPU“, kad atitiktų šiuos reikalavimus. Bet tai gali pasikeisti, nes naujoji NPU technologija siekia išspręsti esamas AI infrastruktūros kliūčių ir išlaikyti energijos suvartojimą šachmatais.

Pažanga per specializuotą aparatūrą

Šios naujovės esmė, saugojimo valdymo optimizavimas yra naudojamas specializuota aparatinės įrangos architektūra. Minsu Kim ir dr. Seongmin Hong iš „Hyperaccel Inc.“ kartu dirbo tyrimais, kurių rezultatai buvo pateikti Tokijuje apie tarptautinį kompiuterinės architektūros simpoziumą (ISCA 2025). Tyrimo darbai vadinasi „Oaken: Greita ir efektyvi LLM, aptarnaujama su internetine neprisijungus prie hibridinės KV talpyklos kiekybinio nustatymo“ ir daugiausia dėmesio skiria KV-CACHE kvantizavimui, kuris sudaro didžiulę atminties sunaudojimo dalį generalinėse AI sistemose. Naudojant šią technologiją, tą patį našumą galima pasiekti naudojant mažiau NPU įrenginių, kurie ne tik sumažina išlaidas, bet ir apsaugo aplinką.

Įdiegę trijų dalių kvantavimo algoritmą, inžinieriai gali minimaliai išlaikyti tikslumo praradimą išvados metu. Tai apima kovines strategijas, tokias kaip slenkstis pagrįstas internetinis hibridinio kiekio neprisijungus, grupių keitimo kvantizavimas ir sujungtas tankis bei nedidelis kodavimas. Šie metodai yra skirti optimaliai spręsti ribotą dabartinių sistemų diapazoną ir talpą ir tokiu būdu skatinti AI infrastruktūros ilgaamžiškumą.

žingsnis į tvarią ateitį

energijos vartojimo efektyvumas AI negali būti atliekamas naudojant vieną sprendimą. Apskritai tyrimai yra didelė tvarios AI infrastruktūros pažanga, kurios padariniai yra teisingai sukurti tik atliekant mastelio keitimą ir įgyvendinimą komercinėje aplinkoje. „AI-Cloud“ paslaugų CO2 pėdsakas galėtų žymiai sumažinti naujus pokyčius. Dabartiniai kitų metodų tyrimai taip pat vaidina svarbų vaidmenį, kurio tikslas - sumažinti energijos suvartojimą, pavyzdžiui, modelio apipjaustymą, kiekybiškai ar efektyvią architektūrą. Mokslininkai ir įmonės privalo suderinti šiuos tikslus į harmoniją su didėjančiais rezultatais reikalavimais.

Bet koks yra AI energijos efektyvumo ateities raktas? Anot [Focalx.ai], reikalingi ne tik novatoriška aparatinė įranga ir specializuoti algoritmai, bet ir padidėjęs technikų ir įmonių bendradarbiavimas siekiant sukurti tvarius sprendimus. Iššūkiai yra įvairūs: nuo našumo ir efektyvumo pusiausvyros iki galimų aparatūros apribojimų.

Apskritai, mes susiduriame su jaudinančia vystymuisi, kuri galėtų mums parodyti, kokia galinga, energiją efektyvi infrastruktūra gali būti įgyvendinta AI. Belieka išsiaiškinti, kurie impulsai imsis šios naujos NPU technologijos pramonėje ir kaip ji gali padėti sumažinti įmonių ekologinius pėdsakus.

Mes atsimename pokyčius - ateitis skamba perspektyviai!