Tecnologia NPU rivoluzionaria: 60% AI più veloce con 44% in meno di energia!

Tecnologia NPU rivoluzionaria: 60% AI più veloce con 44% in meno di energia!

Tokio, Japan - Cosa c'è nel mondo dell'intelligenza artificiale? In un entusiasmante punto di svolta tecnologica ci sono i ricercatori del Corea Advanced Institute of Science and Technology (Kaist). Hanno sviluppato una nuova tecnologia NPU ad alta efficienza energetica che aumenta le prestazioni dei modelli AI generativi del 60%impressionante, mentre il consumo di energia è ridotto del 44%. [CloudComputing-news.net] Rapporti sui progressi che sono stati raggiunti nell'ambito di questa ricerca guidata dal professor Jongseok Park, in collaborazione con Hyperaccel Inc ..

I grandi modelli di AI attuali come OpenAis CHATGPT-4 e Google Gemini 2.5 sono veri mostri aritmetici che richiedono un'alta capacità di archiviazione e larghezza di banda. Non c'è da meravigliarsi che aziende come Microsoft e Google acquistano centinaia di migliaia di GPU NVIDIA per soddisfare questi requisiti. Ma ciò potrebbe cambiare, perché la nuova tecnologia NPU mira a risolvere i colli di bottiglia esistenti nell'infrastruttura AI e mantiene il consumo di energia negli scacchi.

progressi attraverso hardware specializzato

Nel centro di questa innovazione, l'ottimizzazione della gestione dello stoccaggio è attraverso l'uso di un'architettura hardware specializzata. Minsu Kim e Dr. Seongmin Hong di HyperaCcel Inc. hanno lavorato insieme sulla ricerca, i cui risultati sono stati presentati a Tokyo sul Simposio internazionale sull'architettura informatica (ISCA 2025). Il lavoro di ricerca è intitolato "Oaken: LLM rapido ed efficiente che serve con la quantizzazione della cache KV ibrida offline online e si concentra fortemente sulla quantizzazione della cache KV, che costituisce una parte enorme del consumo di memoria nei sistemi AI generativi. Con questa tecnologia, le stesse prestazioni possono essere ottenute con meno dispositivi NPU, che non solo riducono i costi, ma protegge anche l'ambiente.

Implementando un algoritmo di quantizzazione a tre tracce, gli ingegneri possono mantenere minimamente la perdita di accuratezza durante l'inferenza. Ciò include strategie combattive come la quantizzazione ibrida offline online basata sulla soglia, la quantizzazione del cambio di gruppo e una densità unita e una codifica sparsa. Questi approcci sono progettati per gestire in modo ottimale la gamma limitata e la capacità dei sistemi attuali e quindi per promuovere la longevità dell'infrastruttura AI.

un passo nel futuro sostenibile

efficienza energetica nell'intelligenza artificiale non può essere eseguita con un'unica soluzione. Nel complesso, la ricerca rappresenta un progresso significativo nella direzione dell'infrastruttura di intelligenza artificiale sostenibile, i cui effetti sono correttamente sviluppati solo con il ridimensionamento e l'implementazione in ambienti commerciali. L'impronta di CO2 dei servizi Ai-Cloud potrebbe ridurre significativamente i nuovi sviluppi. L'attuale ricerca su altre tecniche svolge anche un ruolo qui che mira a ridurre il consumo di energia, come la circoncisione del modello, la quantizzazione o le architetture efficienti. Gli scienziati e le aziende sono tenuti a portare questi obiettivi in armonia con crescenti richieste di prestazioni.

Ma qual è la chiave per il futuro dell'efficienza energetica dell'IA? Secondo [Focalx.ai], sono necessari solo hardware innovativi e algoritmi specializzati, ma anche una maggiore cooperazione tra tecnici e aziende al fine di creare soluzioni sostenibili. Le sfide sono diverse: dall'equilibrio tra prestazioni ed efficienza a possibili restrizioni hardware.

Nel complesso, ci troviamo di fronte a uno sviluppo entusiasmante che potrebbe mostrarci quanto potenti, le infrastrutture efficienti dal punto di vista energetico possono essere implementate nell'intelligenza artificiale. Resta da vedere che impulsi questa nuova tecnologia NPU imposterà nel settore e come può aiutare a ridurre le impronte ecologiche delle aziende.

Teniamo a mente gli sviluppi: il futuro sembra promettente!