Vallankumouksellinen NPU -tekniikka: 60% nopeampi AI 44% vähemmän energiaa!
Vallankumouksellinen NPU -tekniikka: 60% nopeampi AI 44% vähemmän energiaa!
Tokio, Japan - Mitä keinotekoisen älykkyyden maailmassa on? Teknologian käännöksen jännittävässä vaiheessa ovat Korean Advanced Institute of Science and Technology (KAIST) tutkijat. He ovat kehittäneet uuden, energiatehokkaan NPU-tekniikan, joka lisää generatiivisten AI-mallien suorituskykyä vaikuttavalla 60%: lla, kun taas energiankulutus vähenee 44%. .
Nykyiset suuret AI-mallit, kuten OpenAis chatgpt-4 ja Google Gemini 2.5, ovat todellisia aritmeettisia hirviöitä, jotka vaativat korkean tallennuskapasiteetin ja kaistanleveyden. Ei ole ihme, että Microsoftin ja Googlen kaltaiset yritykset ostavat satoja tuhansia Nvidia GPU: lta näiden vaatimusten täyttämiseksi. Mutta se voi muuttua, koska uuden NPU -tekniikan tavoitteena on ratkaista olemassa olevat pullonkaulat AI -infrastruktuurissa ja pitää energiankulutuksen shakissa.
Edistyminen erikoistuneen laitteiston kautta
Tämän innovaation ytimessä tallennushallinnan optimointi tapahtuu erikoistuneen laitteistoarkkitehtuurin avulla. Minsu Kim ja tohtori Seonongmin Hong Hyperaccel Inc. -yrityksestä työskentelivät yhdessä tutkimuksen parissa, joiden tulokset esitettiin Tokiossa tietokonearkkitehtuurin kansainvälisessä symposiumissa (ISCA 2025). Tutkimustyö on nimeltään "Oaken: Nopea ja tehokas LLM, joka palvelee online-offline-hybridi-KV-välimuistin kvantisointia" ja keskittyy voimakkaasti KV-välimuistin kvantisoinniin, joka muodostaa valtavan osan muistin kulutuksesta generatiivisissa AI-järjestelmissä. Tämän tekniikan avulla sama suorituskyky voidaan saavuttaa vähemmän NPU -laitteilla, jotka eivät vain alenta kustannuksia, vaan myös suojaa ympäristöä.
Toteuttamalla kolmen kappaleen kvantisointialgoritmi insinöörit voivat minimaalisesti pitää tarkkuuden menetyksen päätelmän aikana. Tähän sisältyy taistelevat strategiat, kuten kynnyspohjainen online-offline-hybridi-kvantisointi, ryhmän muuttaminen kvantisointi ja sulautunut tiheys ja harva koodaus. Nämä lähestymistavat on suunniteltu käsittelemään optimaalisesti nykyisten järjestelmien rajoitettua aluetta ja kapasiteettia ja siten edistämään AI -infrastruktuurin pitkäikäisyyttä.
askel kestävään tulevaisuuteen
AI: n energiatehokkuutta ei kuitenkaan voida tehdä yhdellä liuoksella. Kaiken kaikkiaan tutkimus edustaa merkittävää edistystä kestävän AI -infrastruktuurin suuntaan, jonka vaikutukset on kehitetty oikein vain skaalauksen ja toteuttamisen myötä kaupallisissa ympäristöissä. AI-pilvipalvelujen hiilidioksidijalanjälki voisi vähentää merkittävästi uutta kehitystä. Nykyisellä muilla tekniikoita koskevalla tutkimuksella on tässä rooli, jonka tavoitteena on vähentää energiankulutusta, kuten mallin ympärileikkausta, kvantisointia tai tehokkaita arkkitehtuureja. Tutkijoiden ja yritysten on saatettava nämä tavoitteet harmoniaan kasvavien suorituskyvyn vaatimusten kanssa.Mutta mikä on avain AI -energiatehokkuuden tulevaisuuteen? [Focalx.AI] mukaan tarvitaan vain innovatiivisia laitteisto- ja erikoistuneita algoritmeja, vaan myös lisääntynyttä yhteistyötä teknikkojen ja yritysten välillä kestävien ratkaisujen luomiseksi. Haasteet ovat monipuolisia: suorituskyvyn ja tehokkuuden tasapainosta mahdollisiin laitteistorajoituksiin.
Kaiken kaikkiaan meillä on mielenkiintoinen kehitys, joka voisi osoittaa meille, kuinka tehokkaita energiatehokkaita infrastruktuureja voidaan toteuttaa AI: ssä. On vielä nähtävissä, mitkä impulssit tämä uusi NPU -tekniikka asettaa teollisuudelle ja miten se voi auttaa vähentämään yritysten ekologisia jalanjälkiä.
JotenPidämme mielessä kehitys - tulevaisuuden kuulostaa lupaavilta!
| Details | |
|---|---|
| Ort | Tokio, Japan |
| Quellen | |
Kommentare (0)