Rewolucyjna technologia NPU: 60% szybciej AI z 44% mniej energii!
Rewolucyjna technologia NPU: 60% szybciej AI z 44% mniej energii!
Tokio, Japan - Co jest w świecie sztucznej inteligencji? W ekscytującym punkcie realizacji technologii są badacze z Korei Advanced Institute of Science and Technology (KAIST). Opracowali nową, energooszczędną technologię NPU, która zwiększa wydajność generatywnych modeli AI o imponujące 60%, podczas gdy zużycie energii jest zmniejszone o 44%. [CloudComputing-News.net] Raporty na temat postępów, które zostały osiągnięte w ramach tych badań prowadzonych przez profesora Jongseok Park, we współpracy z Hyperaccel Inc ..
Obecne duże modele AI, takie jak OpenAis Chatgpt-4 i Google Gemini 2.5, są prawdziwymi potworami arytmetycznymi, które wymagają wysokiej pojemności i przepustowości. Nic dziwnego, że firmy takie jak Microsoft i Google kupują setki tysięcy od Nvidia GPU, aby spełnić te wymagania. Ale to może się zmienić, ponieważ nowa technologia NPU ma na celu rozwiązanie istniejących wąskich gardeł w infrastrukturze AI i utrzymanie zużycia energii w szachach.
Postępu przez specjalistyczne sprzęt
W rdzeniu tej innowacji optymalizacja zarządzania pamięcią dotyczy użycia wyspecjalizowanej architektury sprzętowej. Minsu Kim i dr Seongmin Hong z Hyperaccel Inc. pracowali razem nad badaniami, których wyniki zostały przedstawione w Tokio na Międzynarodowe Sympozjum na temat architektury komputerowej (ISCA 2025). Prace badawcze zatytułowane są „Oaken: Fast and Excenity LLM obsługujący hybrydową kwantyzację pamięci podręcznej KV online” i koncentruje się na kwantyzacji KV-fache, która stanowi ogromną część zużycia pamięci w generatywnych systemach AI. Dzięki tej technologii ta sama wydajność można osiągnąć przy mniejszej liczbie urządzeń NPU, które nie tylko obniża koszty, ale także chroni środowisko.
Wdrażając trzyprzepustowy algorytm kwantyzacji, inżynierowie mogą minimalnie zachować utratę dokładności podczas wnioskowania. Obejmuje to strategie bojowe, takie jak hybrydy online oparte na progu online, kwantyzacja zmiany grupy oraz scalona gęstość i rzadkie kodowanie. Podejścia te mają na celu optymalne radzenie sobie z ograniczonym zakresem i pojemnością obecnych systemów, a tym samym do promowania długowieczności infrastruktury AI.
Krok w zrównoważoną przyszłość
Jednak efektywność energetyczną w AI nie można wykonać za pomocą jednego rozwiązania. Ogólnie rzecz biorąc, badania stanowią znaczący postęp w kierunku zrównoważonej infrastruktury AI, której skutki są prawidłowo rozwijane tylko wraz z skalowaniem i wdrażaniem w środowiskach komercyjnych. Ślad CO2 usług AI-Cloud Services może znacznie zmniejszyć nowe osiągnięcia. Obecne badania innych technik odgrywają również rolę, która ma na celu zmniejszenie zużycia energii, takie jak obrzezanie modelu, kwantyzacja lub wydajne architektury. Naukowcy i firmy są zobowiązani do wprowadzenia tych celów w harmonię wraz ze wzrostem wymagań dotyczących wydajności.Ale jaki jest klucz do przyszłości efektywności energetycznej AI? Według [Focalx.ai] wymagane są nie tylko innowacyjne sprzęt i wyspecjalizowane algorytmy, ale także zwiększoną współpracę między technikami i firmami w celu stworzenia zrównoważonych rozwiązań. Wyzwania są zróżnicowane: od równowagi między wydajnością a wydajnością po możliwe ograniczenia sprzętowe.
Ogólnie rzecz biorąc, mamy do czynienia z ekscytującym rozwojem, który mógłby nam pokazać, w jaki sposób potężna, efektywna energia infrastruktura może być wdrażana w sztucznej inteligencji. Okaże się, który impulsuje tę nową technologię NPU w branży i w jaki sposób może pomóc w zmniejszeniu śladów ekologicznych firm. Więcpamiętamy o rozwoju - przyszłość brzmi obiecująco!
| Details | |
|---|---|
| Ort | Tokio, Japan |
| Quellen | |
Kommentare (0)