Revolucionarna NPU tehnologija: 60% brži AI sa 44% manje energije!

Revolucionarna NPU tehnologija: 60% brži AI sa 44% manje energije!

Tokio, Japan - Što je u svijetu umjetne inteligencije? Na uzbudljivoj točki tehnološkog preokreta su istraživači Korejskog naprednog instituta za znanost i tehnologiju (KAIST). Razvili su novu energetski učinkovitu NPU tehnologiju koja povećava performanse generativnih AI modela za impresivnih 60%, dok se potrošnja energije smanjuje za 44%. [CloudComputing-news.net] Izvješća o napretku koji je postignut u sklopu ovog istraživanja koji je vodio profesor Jongseok Park, u suradnji s Hyperaccel Inc ..

trenutni veliki AI modeli kao što su Openais Chatgpt-4 i Google GEMINI 2.5 istinski su aritmetička čudovišta koja zahtijevaju visoki kapacitet za pohranu i propusnost. Nije čudo da tvrtke poput Microsofta i Googlea kupuju stotine tisuća od NVIDIA GPU -a kako bi ispunile ove zahtjeve. Ali to bi se moglo promijeniti, jer nova NPU tehnologija ima za cilj riješiti postojeća uska grla u AI infrastrukturi i zadržava potrošnju energije u šahu.

Napredak kroz specijalizirani hardver

U srži ove inovacije optimizacija upravljanja pohranom je korištenjem specijalizirane hardverske arhitekture. Minsu Kim i dr. Seongmin Hong iz Hyperaccel Inc. zajedno su radili na istraživanju, čiji su rezultati predstavljeni u Tokiju na Međunarodnom simpoziju o računalnoj arhitekturi (ISCA 2025). Istraživački rad je naslovljen "Oaken: Brzi i učinkoviti LLM koji služi s internetskom kvantizacijom hibridnog KV predmemorije" i u velikoj mjeri se usredotočuje na kvantizaciju KV-cache-a, što predstavlja ogroman dio potrošnje memorije u generativnim AI sustavima. Ovom tehnologijom iste performanse mogu se postići s manje NPU uređaja, što ne samo da smanjuje troškove, već i štiti okoliš.

Implementirajući algoritam za kvantizaciju od tri trake, inženjeri mogu minimalno zadržati gubitak točnosti tijekom zaključivanja. To uključuje borbene strategije kao što su internetska hibridna hibridna kvantizacija na bazi praga, kvantizaciju mijenjanja grupa i spojenu gustoću i rijetko kodiranje. Ovi su pristupi dizajnirani tako da se optimalno bave ograničenim rasponom i kapacitetom trenutnih sustava i na taj način promoviraju dugovječnost AI infrastrukture.

Korak u održivu budućnost

Energetska učinkovitost u AI ne može se učiniti s jednim rješenjem. Općenito, istraživanje predstavlja značajan napredak u smjeru održive AI infrastrukture, čiji su učinci samo pravilno razvijeni s skaliranjem i primjenom u komercijalnim okruženjima. Otisak CO2 AI-Cloud usluga mogao bi značajno smanjiti novi razvoj. Trenutno istraživanje drugih tehnika također igra ulogu koja ima za cilj smanjiti potrošnju energije, poput obrezivanja modela, kvantizacije ili učinkovite arhitekture. Znanstvenici i kompanije dužni su ove ciljeve unijeti u skladu s sve većim zahtjevima za učinkom.

Ali što je ključ budućnosti AI energetske učinkovitosti? Prema [focalx.ai], nisu potrebni ne samo inovativni hardver i specijalizirani algoritmi, već i povećana suradnja između tehničara i tvrtki kako bi se stvorila održiva rješenja. Izazovi su raznoliki: od ravnoteže između performansi i učinkovitosti do mogućih ograničenja hardvera.

Sveukupno, suočeni smo s uzbudljivim razvojem koji bi nam mogao pokazati kako se moćna energetski učinkovita infrastruktura može provesti u AI. Ostaje za vidjeti koje će impulse ove nove NPU tehnologije postaviti u industriji i kako može pomoći u smanjenju ekoloških tragova tvrtki.

Imamo na umu razvoj događaja - budućnost zvuči obećavajuće!