Forradalmi NPU technológia: 60% -kal gyorsabb AI, 44% -kal kevesebb energiával!

Forradalmi NPU technológia: 60% -kal gyorsabb AI, 44% -kal kevesebb energiával!

Tokio, Japan - Mi van a mesterséges intelligencia világában? A technológiai fordulat izgalmas pontján a Korea Advanced Institute of Science and Technology (KAIST) kutatói. Fejlesztettek egy új, energiahatékony NPU technológiát, amely lenyűgöző 60%-kal növeli a generatív AI modellek teljesítményét, míg az energiafogyasztás 44%-kal csökken. [CloudComputing-News.NET] Jelentések a Jongseok Park professzor vezetésével a kutatás részeként elért haladásról, a Hyperaccel Inc-vel együttműködve.

A jelenlegi nagy AI modellek, például az OpenAis Chatgpt-4 és a Google Gemini 2.5 valódi aritmetikai szörnyek, amelyek nagy tárolást és sávszélességet igényelnek. Nem csoda, hogy az olyan vállalatok, mint a Microsoft és a Google, százezreket vásárolnak az NVIDIA GPU -ból, hogy megfeleljenek ezeknek a követelményeknek. De ez megváltozhat, mert az új NPU technológia célja az AI -infrastruktúra meglévő szűk keresztmetszeteinek megoldása és az energiafogyasztás a sakkban.

Progress speciális hardveren keresztül

Ennek az innovációnak a lényegében a tároláskezelés optimalizálása egy speciális hardver architektúra használatával történik. Minsu Kim és Dr. Seongmin Hong, a Hyperaccel Inc. -től együtt dolgoztak a kutatáson, amelynek eredményeit Tokióban mutatták be a számítógépes építészet nemzetközi szimpóziumán (ISCA 2025). A kutatási munka az "Oaken: gyors és hatékony LLM-kiszolgálás az online offline hibrid KV gyorsítótár-kvantálással", és nagymértékben a KV-gyorsítók kvantálásaira összpontosít, ami a memóriafogyasztás hatalmas részét képezi a generációs AI rendszerekben. Ezzel a technológiával ugyanez a teljesítmény érhető el kevesebb NPU -eszközzel, amely nemcsak csökkenti a költségeket, hanem védi a környezetet is.

Egy háromkocsi -kvantálási algoritmus megvalósításával a mérnökök minimálisan megtarthatják a pontosság elvesztését a következtetések során. Ez magában foglalja a kombinatív stratégiákat, például a küszöbérték-alapú online offline hibrid kvantálást, a csoportváltó kvantálást, valamint az egyesített sűrűség és a ritka kódolást. Ezeket a megközelítéseket úgy tervezték, hogy optimálisan kezeljék a jelenlegi rendszerek korlátozott tartományát és kapacitását, és ezáltal elősegítsék az AI infrastruktúra hosszú élettartamát.

Egy lépés a fenntartható jövőbe

energiahatékonysága azonban egyetlen oldattal nem végezhető el. Összességében a kutatások jelentős előrelépést jelentenek a fenntartható AI infrastruktúra irányában, amelynek hatása csak helyesen alakul ki a kereskedelmi környezetben történő méretezéssel és megvalósítással. Az AI-Cloud Services CO2 lábnyoma jelentősen csökkentheti az új fejleményeket. A többi technikával kapcsolatos jelenlegi kutatás itt is szerepet játszik, amelyek célja az energiafogyasztás, például a modell körülmetélés, kvantálódás vagy a hatékony architektúrák csökkentése. A tudósoknak és a vállalatoknak ezeket a célokat összhangban kell tartaniuk a teljesítmény iránti növekvő igényekkel.

De mi a kulcsa az AI energiahatékonyságának jövőjéhez? A [focalx.ai] szerint nemcsak innovatív hardverre és speciális algoritmusokra van szükség, hanem fokozott együttműködést a technikusok és a vállalatok között a fenntartható megoldások létrehozása érdekében. A kihívások sokszínűek: a teljesítmény és a hatékonyság közötti egyensúlytól a lehetséges hardverkorlátozásokig.

Összességében egy izgalmas fejlődéssel kell szembenéznünk, amely megmutathatja nekünk, hogy az AI mennyire erőteljes, energiahatékony infrastruktúrák valósíthatók meg. Még nem látni kell, hogy mely impulzusok vezetik be ezt az új NPU technológiát az iparban, és hogyan segíthet csökkenteni a vállalatok ökológiai lábnyomait.

szem előtt tartjuk a fejleményeket - a jövő ígéretesnek hangzik!