Революционна NPU технология: 60% по -бърз AI с 44% по -малко енергия!

Революционна NPU технология: 60% по -бърз AI с 44% по -малко енергия!

Tokio, Japan - Какво има в света на изкуствения интелект? В вълнуващ момент на технологичния обрат са изследователите от Корейския усъвършенстван институт за наука и технологии (KAIST). Те са разработили нова, енергийно ефективна NPU технология, която увеличава работата на генеративните модели на AI с впечатляващи 60%, докато консумацията на енергия е намалена с 44%. [CloudComputing-News.net] Доклади за напредъка, постигнат като част от това изследване, ръководено от професор Jongseok Park, в сътрудничество с Hyperaccel Inc ..

Текущите големи модели на AI като Openais Chatgpt-4 и Google Gemini 2.5 са истински аритметични чудовища, които изискват висок капацитет за съхранение и честотна лента. Не е чудно, че компании като Microsoft и Google купуват стотици хиляди от NVIDIA GPU, за да отговорят на тези изисквания. Но това може да се промени, тъй като новата технология на NPU има за цел да разреши съществуващите затруднения в AI инфраструктурата и да запази потреблението на енергия в шах.

Напредък чрез специализиран хардуер

В основата на тази иновация оптимизирането на управлението на съхранението е чрез използването на специализирана хардуерна архитектура. Minsu Kim и д -р Seongmin Hong от Hyperaccel Inc. работиха заедно по изследвания, резултатите от които бяха представени в Токио на Международния симпозиум по компютърна архитектура (ISCA 2025). Изследователската работа е озаглавена „Oaken: Бърза и ефективна LLM, обслужваща онлайн офлайн хибридна кеш кеш на KV“ и се фокусира силно върху квантоването на KV-кеш, което представлява огромна част от консумацията на памет в генеративните AI системи. С тази технология може да се постигне същата производителност с по -малко NPU устройства, които не само понижават разходите, но и защитават околната среда.

Чрез прилагането на алгоритъм за квантоване с три трака, инженерите могат да запазят минимално загубата на точност по време на извода. Това включва бойни стратегии като базирани на прага онлайн офлайн хибридно квантоване, квантоване на изместване на групата и обединена плътност и рядко кодиране. Тези подходи са предназначени да се справят оптимално с ограничения обхват и капацитет на настоящите системи и по този начин да насърчават дълголетието на ИИ инфраструктурата.

Стъпка в устойчивото бъдеще

енергийната ефективност в AI не може да се направи с едно решение. Като цяло изследванията представляват значителен напредък в посока на устойчивата ИИ инфраструктура, чиито ефекти са разработени само правилно с мащабирането и прилагането в търговската среда. Отпечатъкът на CO2 на AI-Cloud услуги може значително да намали новите разработки. Настоящото изследване на други техники също играе роля тук, които имат за цел да намалят консумацията на енергия, като обрязване на модела, квантоване или ефективни архитектури. Учените и компаниите са длъжни да привличат тези цели в хармония с увеличаване на изискванията към резултатите.

Но какъв е ключът към бъдещето на енергийната ефективност на AI? Според [focalx.ai] са необходими не само иновативни хардуерни и специализирани алгоритми, но и засилено сътрудничество между техници и компании с цел създаване на устойчиви решения. Предизвикателствата са разнообразни: от баланса между производителността и ефективността до възможните хардуерни ограничения.

Като цяло, ние сме изправени пред вълнуващо развитие, което може да ни покаже колко мощни, енергийни ефективни инфраструктури могат да бъдат приложени в AI. Остава да видим кои импулси тази нова NPU технология ще бъде поставена в индустрията и как може да помогне за намаляване на екологичните отпечатъци на компаниите.

Имаме предвид развитието - бъдещето звучи обещаващо!