Revolucionarna tehnologija NPU: 60% hitrejši AI s 44% manj energije!

Revolucionarna tehnologija NPU: 60% hitrejši AI s 44% manj energije!

Tokio, Japan - Kaj je v svetu umetne inteligence? Na vznemirljivi točki tehnološkega preobrata so raziskovalci na Koreji Advanced Institute of Science and Technology (Kaist). Razvili so novo, energetsko učinkovito tehnologijo NPU, ki poveča delovanje generativnih modelov AI za impresivnih 60%, medtem ko se poraba energije zmanjša za 44%. [CloudComputing-News.net] Poročila o napredku, ki je bil dosežen v okviru te raziskave, ki jo je vodil profesor Jongseok Park, v sodelovanju s Hyperaccel Inc ..

Trenutni veliki modeli AI, kot sta OpenAis Chatgpt-4 in Google Gemini 2.5, so resnične aritmetične pošasti, ki zahtevajo visoko zmogljivost za shranjevanje in pasovno širino. Ni čudno, da podjetja, kot sta Microsoft in Google, kupijo sto tisoč od Nvidia GPU -jev, da izpolnjujejo te zahteve. Toda to bi se lahko spremenilo, ker želi nova tehnologija NPU rešiti obstoječa ozka grla v infrastrukturi AI in ohraniti porabo energije v šahu.

Napredek prek specializirane strojne opreme

V središču te inovacije je optimizacija upravljanja shranjevanja z uporabo specializirane strojne arhitekture. Minsu Kim in dr. Seongmin Hong iz Hyperaccel Inc. sta sodelovala pri raziskavah, katerih rezultati so bili predstavljeni v Tokiu na mednarodnem simpoziju o računalniški arhitekturi (ISCA 2025). Raziskovalno delo je z naslovom "Oaken: Hitro in učinkovito LLM, ki služi s spletno kvantizacijo hibridne hibridne KV predpomnilnike" in se močno osredotoča na kvantizacijo KV-Cache, ki predstavlja ogromen del porabe pomnilnika v generativnih AI sistemih. S to tehnologijo lahko dosežemo enako zmogljivost z manj napravami NPU, ki ne le znižujejo stroške, ampak tudi ščiti okolje.

Z uvedbo algoritma kvantizacije s tremi tremi lahko inženirji lahko med sklepom minimalno ohranijo izgubo natančnosti. To vključuje borbene strategije, kot so spletna spletna hibridna kvantizacija na spletu brez povezave, kvantizacija skupine in združena gostota in redko kodiranje. Ti pristopi so zasnovani tako, da optimalno obravnavajo omejeno območje in zmogljivost trenutnih sistemov in s tem spodbujajo dolgo življenjsko dobo infrastrukture AI.

korak v trajnostno prihodnost

energetske učinkovitosti v AI ni mogoče storiti z eno samo rešitev. Na splošno raziskave predstavljajo pomemben napredek v smeri trajnostne AI infrastrukture, katere učinki so pravilno razviti le z skaliranjem in izvajanjem v komercialnih okoljih. Odtis CO2 storitev AI-Cloud bi lahko znatno zmanjšal nov razvoj. Trenutne raziskave drugih tehnik igrajo tudi vlogo, katere cilj je zmanjšati porabo energije, kot so obrezovanje modela, kvantizacija ali učinkovite arhitekture. Znanstveniki in podjetja morajo te cilje uskladiti z naraščajočimi zahtevami po uspešnosti.

Kaj pa je ključno za prihodnost energetske učinkovitosti AI? Glede na [foculx.ai] niso potrebne samo inovativne strojne opreme in specializiranih algoritmov, ampak tudi povečano sodelovanje med tehniki in podjetji, da bi ustvarili trajnostne rešitve. Izzivi so raznoliki: od ravnotežja med zmogljivostjo in učinkovitostjo do možnih omejitev strojne opreme.

Na splošno se soočamo z vznemirljivim razvojem, ki bi nam lahko pokazal, kako močne, energijsko učinkovite infrastrukture lahko izvajamo v AI. Še naprej je treba videti, katera impulze bo ta nova tehnologija NPU postavila v industriji in kako lahko pomaga zmanjšati ekološke odtise podjetij.

Ne pozabimo na razvoj - prihodnost zveni obetavno!