Tecnologia revolucionária da NPU: 60% AI mais rápida com 44% menos energia!

Tecnologia revolucionária da NPU: 60% AI mais rápida com 44% menos energia!

Tokio, Japan - O que há no mundo da inteligência artificial? Em um ponto emocionante da recuperação da tecnologia estão os pesquisadores do Instituto Avançado de Ciência e Tecnologia da Coréia (KAIST). Eles desenvolveram uma nova tecnologia NPU com eficiência energética que aumenta o desempenho dos modelos generativos de IA em impressionantes 60%, enquanto o consumo de energia é reduzido em 44%. [CloudComputing-news.net] relata o progresso que foi alcançado como parte desta pesquisa liderada pelo Professor Jongseok Park, em colaboração com a Hyperaccel Inc ..

Modelos atuais de AI grandes, como o OpenAIS ChatGPT-4 e o Google Gemini 2.5, são verdadeiros monstros aritméticos que exigem alta capacidade de armazenamento e largura de banda. Não é de admirar que empresas como a Microsoft e o Google compram centenas de milhares de GPUs da NVIDIA para atender a esses requisitos. Mas isso pode mudar, porque a nova tecnologia da NPU visa resolver gargalos existentes na infraestrutura de IA e mantém o consumo de energia no xadrez.

Progresso através de hardware especializado

No núcleo dessa inovação, a otimização do gerenciamento de armazenamento é através do uso de uma arquitetura de hardware especializada. Minsu Kim e o Dr. Seongmin Hong, da Hyperaccel Inc., trabalharam juntos em pesquisas, cujos resultados foram apresentados em Tóquio no Simpósio Internacional sobre Arquitetura de Computador (ISCA 2025). O trabalho de pesquisa é intitulado "Oaken: LLM rápido e eficiente que serve com quantização on-line de cache híbrido offline on-line" e se concentra fortemente na quantização do cache KV, que constitui uma parte enorme do consumo de memória nos sistemas generativos de IA. Com essa tecnologia, o mesmo desempenho pode ser alcançado com menos dispositivos da NPU, o que não apenas reduz os custos, mas também protege o meio ambiente.

Ao implementar um algoritmo de quantização de três trilhas, os engenheiros podem manter minimamente a perda de precisão durante a inferência. Isso inclui estratégias combativas, como quantização híbrida offline on-line baseada em limiar, quantização de mudança de grupo e uma densidade mesclada e codificação esparsa. Essas abordagens são projetadas para lidar com a faixa e capacidade limitadas dos sistemas atuais e, assim, promover a longevidade da infraestrutura de IA.

Um passo no futuro sustentável

eficiência energética na IA não pode ser feita com uma única solução. No geral, a pesquisa representa um progresso significativo na direção da infraestrutura sustentável de IA, cujos efeitos são desenvolvidos corretamente com a escala e implementação em ambientes comerciais. A pegada de CO2 dos serviços de nuvem de IA pode reduzir significativamente os novos desenvolvimentos. A pesquisa atual sobre outras técnicas também desempenha um papel aqui que visa reduzir o consumo de energia, como circuncisão, quantização ou arquiteturas eficientes. Cientistas e empresas devem colocar esses objetivos em harmonia com as crescentes demandas de desempenho.

Mas qual é a chave para o futuro da eficiência energética da IA? De acordo com [focalx.ai], não apenas hardware inovador e algoritmos especializados são necessários, mas também maior cooperação entre técnicos e empresas para criar soluções sustentáveis. Os desafios são diversos: desde o equilíbrio entre desempenho e eficiência até possíveis restrições de hardware.

No geral, somos confrontados com um desenvolvimento emocionante que pode nos mostrar como as infraestruturas poderosas e eficientes em energia podem ser implementadas na IA. Resta ver o que impulsiona essa nova tecnologia da NPU definida no setor e como ela pode ajudar a reduzir as pegadas ecológicas das empresas.

Lembramos os desenvolvimentos - o futuro parece promissor!