Revolutsiooniline NPU tehnoloogia: 60% kiirem AI 44% vähem energiat!

Revolutsiooniline NPU tehnoloogia: 60% kiirem AI 44% vähem energiat!

Tokio, Japan - Mis on tehisintellekti maailmas? Tehnoloogia pöörde põnevas kohas on Korea Advanced Teadus- ja Tehnoloogiainstituudi (KAIST) teadlased. Nad on välja töötanud uue energiatõhusa NPU tehnoloogia, mis suurendab generatiivsete AI-mudelite jõudlust muljetavaldava 60%võrra, samas kui energiatarbimist väheneb 44%. [CloudComputing-News.net] Aruanded edusammudest, mis saavutati selle uurimistööna, mida juhtis professor Jongseok Park koostöös HyperAccel Inc ..

Praegused suured AI-mudelid nagu OpenAis Chatgpt-4 ja Google Gemini 2.5 on tõelised aritmeetilised koletised, mis nõuavad suurt salvestusmahtu ja ribalaiust. Pole ime, et sellised ettevõtted nagu Microsoft ja Google ostavad nende nõuete täitmiseks sadu tuhandeid Nvidia GPU -lt. Kuid see võib muutuda, sest uue NPU tehnoloogia eesmärk on lahendada olemasolevad kitsaskohad AI infrastruktuuris ja hoiab male energiatarbimist.

areng spetsialiseeritud riistvara kaudu

Selle uuenduse tuumas on salvestushalduse optimeerimine spetsialiseeritud riistvaraarhitektuuri kasutamise kaudu. Minsu Kim ja dr Seongmin Hong HyperAccel Inc. -st töötasid koos teadusuuringute kallal, mille tulemused esitati Tokyos arvuti arhitektuuri rahvusvahelise sümpoosioni kohta (ISCA 2025). Uurimistöö pealkirjaga "Oaken: kiire ja tõhus LLM-i serveerimine veebipõhise hübriidse KV vahemälu kvantifitseerimisega" ja keskendub suuresti KV-vahemälu kvantimisele, mis moodustab generatiivse AI süsteemide mälu tarbimise tohutu osa. Selle tehnoloogia abil saab sama jõudlust saavutada vähem NPU -seadmetega, mis mitte ainult ei vähenda kulusid, vaid kaitseb ka keskkonda.

Kolmekorruselise kvantimise algoritmi rakendades saavad insenerid järelduste ajal täpsuse kaotuse minimaalselt hoida. See hõlmab selliseid võitlusstrateegiaid nagu lävepõhine veebipõhine võrguühenduseta hübriid kvantimine, rühma nihutamine kvantifitseerimine ning ühendatud tihedus ja hõre kodeerimine. Need lähenemisviisid on loodud optimaalseks käsitlemiseks praeguste süsteemide piiratud ulatusega ja võimetega ning seega AI infrastruktuuri pikaealisuse edendamiseks.

samm jätkusuutliku tuleviku juurde

Energiatõhusust AI -s ei saa teha ühe lahendusega. Üldiselt kujutavad uuringud olulist edu säästva AI infrastruktuuri suunas, mille mõjud on õigesti arenenud ainult skaleerimise ja rakendamisega ärikeskkonnas. AI-Cloud teenuste CO2 jalajälg võib uusi arenguid märkimisväärselt vähendada. Siinkohal on ka praegune uurimus muude tehnikate kohta, mille eesmärk on vähendada energiatarbimist, näiteks mudeli ümberlõikamine, kvantimine või tõhusad arhitektuurid. Teadlased ja ettevõtted peavad viima need eesmärgid harmooniasse tulemuslikkuse suurenevate nõudmistega.

Aga mis on AI energiatõhususe tuleviku võti? [Focalx.ai] andmetel pole jätkusuutlike lahenduste loomiseks vaja mitte ainult uuenduslikke riistvara ja spetsialiseeritud algoritme, vaid ka suurenenud koostööd tehnikute ja ettevõtete vahel. Väljakutsed on mitmekesised: jõudluse ja tõhususe tasakaalust võimalike riistvarapiirangute vahel.

Üldiselt seisame silmitsi põneva arenguga, mis võib näidata, kui võimsaid energiatõhusaid infrastruktuure saab AI -s rakendada. Jääb üle vaadata, millised impulsid selle uue NPU -tehnoloogia tööstuses seab ja kuidas see aitab vähendada ettevõtete ökoloogilisi jalajälgi.

Pidame arenguid meeles - tulevik kõlab paljulubavalt!