Revolusjonerende NPU -teknologi: 60% raskere AI med 44% mindre energi!

Revolusjonerende NPU -teknologi: 60% raskere AI med 44% mindre energi!

Tokio, Japan - Hva er i en verden av kunstig intelligens? På et spennende punkt i teknologien snuoperasjonen er forskerne ved Korea Advanced Institute of Science and Technology (KAIST). De har utviklet en ny, energieffektiv NPU-teknologi som øker ytelsen til generative AI-modeller med imponerende 60%, mens energiforbruket reduseres med 44%. [CloudComputing-News.net] rapporterer om fremdriften som ble oppnådd som en del av denne forskningen ledet av professor Jongseok Park, i samarbeid med Hyperaccel Inc ..

Gjeldende store AI-modeller som Openais ChatGPT-4 og Google Gemini 2.5 er sanne aritmetiske monstre som krever høy lagringskapasitet og båndbredde. Det er ikke rart at selskaper som Microsoft og Google kjøper hundretusener fra NVIDIA GPUer for å oppfylle disse kravene. Men det kan endre seg, fordi den nye NPU -teknologien tar sikte på å løse eksisterende flaskehalser i AI -infrastrukturen og holder energiforbruket i sjakk.

Fremgang gjennom spesialisert maskinvare

I kjernen av denne innovasjonen er optimaliseringen av lagringsadministrasjon gjennom bruk av en spesialisert maskinvarearkitektur. Minsu Kim og Dr. Seongmin Hong fra Hyperaccel Inc. jobbet sammen om forskning, hvis resultater ble presentert i Tokyo om International Symposium on Computer Architecture (ISCA 2025). Forskningsarbeidet har tittelen "Oaken: Rask og effektiv LLM som serverer med online offline hybrid KV-cache-kvantisering" og fokuserer sterkt på KV-cache-kvantiseringen, som utgjør en enorm del av minneforbruket i generative AI-systemer. Med denne teknologien kan den samme ytelsen oppnås med færre NPU -enheter, noe som ikke bare senker kostnadene, men også beskytter miljøet.

Ved å implementere en kvantiseringsalgoritme med tre spor, kan ingeniører minimalt holde tapet av nøyaktighet under slutningen. Dette inkluderer bekjempende strategier som terskelbasert online frakoblet hybridkvantisering, gruppeskifting kvantisering og en sammenslått tetthet og sparsom koding. Disse tilnærmingene er designet for å optimalt håndtere det begrensede området og kapasiteten til de nåværende systemene og dermed for å fremme levetiden til AI -infrastrukturen.

et skritt inn i den bærekraftige fremtiden

energieffektivitet i AI ikke gjøres med en enkelt løsning. Totalt sett representerer forskning en betydelig fremgang i retning av bærekraftig AI -infrastruktur, hvis effekter bare er korrekt utviklet med skalering og implementering i kommersielle miljøer. CO2-fotavtrykket til AI-Cloud-tjenester kan redusere den nye utviklingen betydelig. Den nåværende forskningen på andre teknikker spiller også en rolle her som tar sikte på å redusere energiforbruket, for eksempel modellomskjæring, kvantisering eller effektive arkitekturer. Forskere og selskaper er pålagt å bringe disse målene i harmoni med økende krav til ytelse.

Men hva er nøkkelen til fremtiden for AI -energieffektivitet? I følge [focalx.ai] er det ikke bare innovativ maskinvare og spesialiserte algoritmer påkrevd, men også økt samarbeid mellom teknikere og selskaper for å skape bærekraftige løsninger. Utfordringene er forskjellige: fra balansen mellom ytelse og effektivitet til mulige maskinvarebegrensninger.

Totalt sett blir vi møtt med en spennende utvikling som kan vise oss hvor kraftig energi -effektive infrastrukturer kan implementeres i AI. Det gjenstår å se hvilke impulser denne nye NPU -teknologien vil sette i bransjen og hvordan den kan bidra til å redusere de økologiske fotavtrykkene til selskapene.

vi husker utviklingen - fremtiden høres lovende ut!