Revoluční technologie NPU: 60% rychlejší AI s 44% méně energie!

Revoluční technologie NPU: 60% rychlejší AI s 44% méně energie!

Tokio, Japan - Co je ve světě umělé inteligence? V vzrušujícím bodě technologického obratu jsou vědci v Korejském pokročilém institutu vědy a technologie (KAIST). Vyvinuli novou energeticky efektivní technologii NPU, která zvyšuje výkon generativních modelů AI o působivých 60%, zatímco spotřeba energie je snížena o 44%. [CloudComputing-News.net] Zprávy o pokroku, kterého bylo dosaženo v rámci tohoto výzkumu vedeného profesorem Jongseok Park, ve spolupráci s Hyperaccel Inc ..

Aktuální velké modely AI, jako jsou OpenAIS Chatgpt-4 a Google Gemini 2.5, jsou skutečná aritmetická monstra, která vyžadují vysokou kapacitu a šířku pásma. Není divu, že společnosti jako Microsoft a Google kupují stovky tisíc z GPU NVIDIA, aby tyto požadavky splnily. To by se však mohlo změnit, protože nová technologie NPU si klade za cíl vyřešit stávající úzká místa v infrastruktuře AI a udržovat spotřebu energie v šachu.

Pokrok prostřednictvím specializovaného hardwaru

V jádru této inovace je optimalizace správy úložiště pomocí specializované hardwarové architektury. Minsu Kim a Dr. Seongmin Hong z Hyperaccel Inc. spolupracovali na výzkumu, jehož výsledky byly prezentovány v Tokiu na mezinárodním sympoziu o počítačové architektuře (ISCA 2025). Výzkumné práce se nazývají „Oaken: Rychlá a efektivní LLM, která slouží s online offline hybridní kvantizací mezipaměti KV“ a silně se zaměřuje na kvantizaci KV-cache, která představuje obrovskou část spotřeby paměti v generativních systémech AI. S touto technologií lze dosáhnout stejného výkonu s menším počtem zařízení NPU, což nejen snižuje náklady, ale také chrání životní prostředí.

Implementací algoritmu kvantizace tří třísů může inženýři minimálně udržovat ztrátu přesnosti během závěru. To zahrnuje bojové strategie, jako je prahová hodnota online offline hybridní kvantizace, kvantizace řazení skupiny a sloučená hustota a řídké kódování. Tyto přístupy jsou navrženy tak, aby optimálně řešily omezený rozsah a kapacitu současných systémů, a tím podporovat dlouhověkost infrastruktury AI.

krok do udržitelné budoucnosti

Ale jaký je klíč k budoucnosti energetické účinnosti AI? Podle [FOCTOLX.AI] jsou vyžadovány nejen inovativní hardware a specializované algoritmy, ale také zvýšená spolupráce mezi techniky a společnostmi za účelem vytvoření udržitelných řešení. Výzvy jsou rozmanité: od rovnováhy mezi výkonem a účinností až po možná hardwarová omezení.

Celkově čelíme vzrušujícímu vývoji, který by nám mohl ukázat, jak silné energeticky účinné infrastruktury lze implementovat v AI. Zbývá zjistit, která impulsy této nové technologie NPU v tomto odvětví, a jak může pomoci snížit ekologické stopy společností.

mějte na paměti vývoj - budoucí znějí slibně!