Tehnologie revoluționară NPU: AI cu 60% mai rapid cu 44% mai puțină energie!

Tehnologie revoluționară NPU: AI cu 60% mai rapid cu 44% mai puțină energie!

Tokio, Japan - Ce este în lumea inteligenței artificiale? Într -un punct interesant al activității tehnologice sunt cercetătorii de la Coreea Advanced Institute of Science and Technology (KAIST). Au dezvoltat o tehnologie NPU nouă, eficientă din punct de vedere energetic, care crește performanța modelelor AI generative cu 60%impresionante, în timp ce consumul de energie este redus cu 44%. [CloudComputing-news.net] Rapoarte despre progresele realizate ca parte a acestei cercetări conduse de profesorul Jongseok Park, în colaborare cu Hyperaccel Inc ..

Modele AI mari actuale, cum ar fi OpenAis ChatGPT-4 și Google Gemini 2.5, sunt adevărați monștri aritmetici care necesită o capacitate ridicată de stocare și lățime de bandă. Nu este de mirare că companii precum Microsoft și Google cumpără sute de mii de la GPU -urile NVIDIA pentru a îndeplini aceste cerințe. Dar acest lucru s -ar putea schimba, deoarece noua tehnologie NPU își propune să rezolve blocajele existente în infrastructura AI și menține consumul de energie în șah.

progres prin hardware specializat

În centrul acestei inovații, optimizarea gestionării stocării este prin utilizarea unei arhitecturi hardware specializate. Minsu Kim și Dr. Seongmin Hong de la Hyperaccel Inc. au lucrat împreună la cercetare, ale căror rezultate au fost prezentate la Tokyo la Simpozionul Internațional privind arhitectura computerului (ISCA 2025). Lucrările de cercetare sunt intitulate „Oaken: Fast și eficient LLM care servește cu cuantificarea online de cache hibridă offline KV” și se concentrează foarte mult pe cuantificarea KV-Cache, care constituie o parte enormă a consumului de memorie în sistemele AI generative. Cu această tehnologie, aceeași performanță poate fi obținută cu mai puține dispozitive NPU, care nu numai că scade costurile, dar protejează și mediul.

prin implementarea unui algoritm de cuantificare cu trei track, inginerii pot menține minim pierderea preciziei în timpul inferenței. Aceasta include strategii combative, cum ar fi cuantificarea hibridă offline online bazată pe prag, cuantificarea schimbării grupului și o densitate fuzionată și o codificare rară. Aceste abordări sunt concepute pentru a trata în mod optim gama limitată și capacitatea sistemelor actuale și, astfel, pentru a promova longevitatea infrastructurii AI.

un pas în viitorul durabil

eficiența energetică în AI nu se poate face cu o singură soluție. În general, cercetările reprezintă un progres semnificativ în direcția infrastructurii AI durabile, ale căror efecte sunt dezvoltate corect doar cu scalarea și implementarea în medii comerciale. Amprenta CO2 a serviciilor AI-Cloud ar putea reduce semnificativ noile evoluții. Cercetările actuale asupra altor tehnici joacă, de asemenea, un rol care urmărește reducerea consumului de energie, cum ar fi circumcizia modelului, cuantificarea sau arhitecturile eficiente. Oamenii de știință și companiile trebuie să aducă aceste obiective în armonie, cu cereri din ce în ce mai mari de performanță.

Dar care este cheia viitorului eficienței energetice AI? Potrivit [Focalx.ai], nu numai că sunt necesare numai hardware inovator și algoritmi specializați, dar, de asemenea, o cooperare sporită între tehnicieni și companii pentru a crea soluții durabile. Provocările sunt diverse: de la echilibrul dintre performanță și eficiență până la posibile restricții hardware.

În general, ne confruntăm cu o dezvoltare interesantă care ne -ar putea arăta cât de puternice, infrastructuri eficiente din punct de vedere energetic pot fi implementate în AI. Rămâne de văzut care impulsuri această nouă tehnologie NPU va stabili în industrie și cum poate ajuta la reducerea amprentelor ecologice ale companiilor.

ținem cont de evoluțiile - viitorul sună promițător!