Revolucionārā NPU tehnoloģija: 60% ātrāka AI ar par 44% mazāk enerģijas!

Revolucionārā NPU tehnoloģija: 60% ātrāka AI ar par 44% mazāk enerģijas!

Tokio, Japan - Kas ir mākslīgā intelekta pasaulē? Aizraujošā tehnoloģiju apgrozījuma vietā ir Korejas Advanced Zinātnes un tehnoloģijas institūta (KAIST) pētnieki. Viņi ir izstrādājuši jaunu, energoefektīvu NPU tehnoloģiju, kas palielina ģeneratīvo AI modeļu veiktspēju par iespaidīgiem 60%, savukārt enerģijas patēriņš tiek samazināts par 44%. [CloudComputing-News.net] ziņojumi par progresu, kas tika panākts kā daļa no šī pētījuma, kuru vadīja profesors Jongseok Park, sadarbībā ar Hyperaccel Inc ..

Pašreizējie lielie AI modeļi, piemēram, Openais ChatGpt-4 un Google Gemini 2.5, ir īsti aritmētikas monstri, kuriem nepieciešama liela atmiņas ietilpība un joslas platums. Nav brīnums, ka tādi uzņēmumi kā Microsoft un Google iegādājas simtiem tūkstošu no Nvidia GPU, lai izpildītu šīs prasības. Bet tas varētu mainīties, jo jaunās NPU tehnoloģijas mērķis ir atrisināt esošās sašaurinājumus AI infrastruktūrā un uztur enerģijas patēriņu šahā.

Progress, izmantojot specializēto aparatūru

Šī inovācijas pamatā glabāšanas pārvaldības optimizācija notiek, izmantojot specializētu aparatūras arhitektūru. Minsu Kims un Dr. Seongmins Hong no Hyperaccel Inc. strādāja kopā ar pētījumiem, kuru rezultāti Tokijā tika prezentēti starptautiskajā datoru arhitektūras simpozijā (ISCA 2025). Pētniecības darbs ir nosaukums "Oaken: ātra un efektīva LLM, kas apkalpo tiešsaistes bezsaistes hibrīda KV kešatmiņas kvantēšanu" un lielā mērā koncentrējas uz KV-kešatmiņas kvantizāciju, kas ģeneratīvās AI sistēmās veido milzīgu atmiņas patēriņa daļu. Izmantojot šo tehnoloģiju, to pašu veiktspēju var sasniegt ar mazāk NPU ierīču, kas ne tikai samazina izmaksas, bet arī aizsargā vidi.

Īstenojot trīs trach kvantēšanas algoritmu, inženieri secinājumu laikā var minimāli saglabāt precizitātes zudumu. Tas ietver tādas cīņas stratēģijas kā tiešsaistes bezsaistes hibrīda kvantitatīva uz slieksni, grupu maiņu kvantēšana un apvienots blīvums un maza kodēšana. Šīs pieejas ir paredzētas, lai optimāli risinātu pašreizējo sistēmu ierobežoto diapazonu un jaudu un tādējādi veicinātu AI infrastruktūras ilgmūžību.

Solis ilgtspējīgā nākotnē

energoefektivitāti AI nevar izdarīt ar vienu risinājumu. Kopumā pētījumi atspoguļo ievērojamu progresu ilgtspējīgas AI infrastruktūras virzienā, kuras ietekme ir pareizi attīstīta tikai ar mērogošanu un ieviešanu komerciālā vidē. Ai-Cloud pakalpojumu CO2 nospiedums varētu ievērojami samazināt jauno attīstību. Pašreizējiem pētījumiem par citām metodēm ir arī nozīme šeit, kuras mērķis ir samazināt enerģijas patēriņu, piemēram, modeļa apgraizīšanu, kvantitatīvu vai efektīvu arhitektūru. Zinātniekiem un uzņēmumiem tiek prasīts panākt, lai šie mērķi nonāktu harmonijā ar pieaugošām prasībām pēc snieguma.

Bet kāda ir AI energoefektivitātes nākotnes atslēga? Saskaņā ar [focalx.ai], ir nepieciešami ne tikai novatoriska aparatūra un specializēti algoritmi, bet arī palielināta sadarbība starp tehniķiem un uzņēmumiem, lai radītu ilgtspējīgus risinājumus. Izaicinājumi ir dažādi: no līdzsvara starp veiktspēju un efektivitāti līdz iespējamiem aparatūras ierobežojumiem.

Kopumā mēs saskaramies ar aizraujošu attīstību, kas mums varētu parādīt, cik spēcīgas, energoefektīvas infrastruktūras var ieviest AI. Atliek redzēt, kurus impulsus šī jaunā NPU tehnoloģija noteiks nozarē, un kā tā var palīdzēt samazināt uzņēmumu ekoloģisko pēdu nospiedumus.

mēs paturam prātā notikumu - nākotne izklausās daudzsološa!