Revolučná technológia NPU: 60% rýchlejšia AI s o 44% menej energie!

Revolučná technológia NPU: 60% rýchlejšia AI s o 44% menej energie!

Tokio, Japan - Čo je vo svete umelej inteligencie? V vzrušujúcom bode technologického obratu sú vedci v Kórei Advanced Institute of Science and Technology (Kaist). Vyvinuli novú energeticky efektívnu technológiu NPU, ktorá zvyšuje výkonnosť generatívnych modelov AI o pôsobivých 60%, zatiaľ čo spotreba energie sa zníži o 44%. [CloudComputing-news.net] správy o pokroku, ktorý sa dosiahol v rámci tohto výskumu vedeného profesorom Jongseok Park, v spolupráci so spoločnosťou Hyperaccel Inc ..

Aktuálne veľké modely AI, ako sú OpenAis Chatgpt-4 a Google Gemini 2.5, sú skutočné aritmetické príšery, ktoré vyžadujú vysokú úložnú kapacitu a šírku pásma. Niet divu, že spoločnosti ako Microsoft a Google kupujú stovky tisíc z GPU NVIDIA, aby splnili tieto požiadavky. To by sa však mohlo zmeniť, pretože cieľom novej technológie NPU je vyriešiť existujúce prekážky v infraštruktúre AI a udržiavať spotrebu energie v šachu.

Pokrok prostredníctvom špecializovaného hardvéru

V jadre tejto inovácie je optimalizácia správy úložiska pomocou špecializovanej hardvérovej architektúry. Minsu Kim a Dr. Seongmin Hong z Hyperaccel Inc. spolupracovali na výskume, ktorých výsledky boli prezentované v Tokiu na medzinárodnom sympóziu o počítačovej architektúre (ISCA 2025). Výskumná práca je nazvaná „Oakan: Rýchle a efektívne LLM slúžiace s online hybridnou kvantizáciou KV vyrovnávacej pamäte“ a zameriava sa silne na kvantizáciu KV-Cache, ktorá predstavuje obrovskú časť spotreby pamäte v generatívnych systémoch AI. S touto technológiou je možné dosiahnuť rovnaký výkon s menším počtom zariadení NPU, ktoré nielen znižujú náklady, ale tiež chránia životné prostredie.

Implementáciou kvantizačného algoritmu s tromi rackmi môžu inžinieri počas inferencie minimálne udržať stratu presnosti. Zahŕňa to bojové stratégie, ako napríklad online hybridná kvantizácia offline založená na prahoch, kvantizácia posunu skupiny a zlúčenú hustotu a riedke kódovanie. Tieto prístupy sú navrhnuté tak, aby sa optimálne zaoberali obmedzeným rozsahom a kapacitou súčasných systémov, a teda na podporu dlhovekosti infraštruktúry AI.

Krok do udržateľnej budúcnosti

Ale aký je kľúč k budúcnosti energetickej účinnosti AI? Podľa [Focalx.ai] sú potrebné nielen inovatívny hardvér a špecializované algoritmy, ale aj zvýšenú spoluprácu medzi technikmi a spoločnosťami s cieľom vytvoriť udržateľné riešenia. Výzvy sú rôzne: od rovnováhy medzi výkonom a efektívnosťou po možné obmedzenia hardvéru.

Celkovo čelíme vzrušujúcemu vývoju, ktorý by nám mohol ukázať, ako silné a energeticky efektívne infraštruktúry je možné implementovať v AI. Zostáva ešte vidieť, ktoré impulzuje túto novú technológiu NPU v tomto odvetví a ako môže pomôcť znížiť ekologické stopy spoločností.

Nezabúdáme na vývoj - Budúcnosť znie sľubne!