革命性的NPU技术:60%快60%,能源减少44%!

革命性的NPU技术:60%快60%,能源减少44%!

Tokio, Japan - 人工智能世界是什么?在技术周转的令人兴奋的时刻,是韩国高级科学技术研究所(KAIST)的研究人员。他们开发了一种新的,节能的NPU技术,该技术将生成AI模型的性能提高了60%,而能源消耗却降低了44%。 [CloudComputing-news.net]与Jongseok Park教授领导的这项研究取得的进展报告,与HyperAccel Inc.

当前的大型AI模型,例如OpenAIS ChatGpt-4和Google Gemini 2.5是真正的算术怪物,需要高存储容量和带宽。难怪像Microsoft和Google这样的公司从NVIDIA GPU购买了数十万,以满足这些要求。但这可能会改变,因为新的NPU技术旨在解决AI基础设施中的现有瓶颈,并保持国际象棋的能源消耗。

通过专业硬件进行进展

在这项创新的核心中,存储管理的优化是通过使用专门的硬件体系结构。 Hyperaccel Inc.的Minsu Kim和Seongmin Hong博士共同研究了研究的结果,在东京举行了国际计算机建筑研讨会(ISCA 2025)。研究工作的标题为“ Oaken:在线离线混合KV缓存量化的快速有效LLM”,并重点介绍了KV-CACHE量化,这构成了生成AI系统中存储器消耗的巨大部分。有了这项技术,使用更少的NPU设备可以实现相同的性能,这不仅降低了成本,而且可以保护环境。

通过实施三个轨道量化算法,工程师可以在推理过程中最小化准确性的损失。这包括好斗的策略,例如基于阈值的在线离线混合量化,群体转移量化以及合并的密度和稀疏编码。这些方法旨在最佳地处理当前系统的有限范围和容量,从而促进AI基础架构的寿命。

进入可持续未来的一步

但是,AI中的

能源效率无法使用单个溶液来完成。总体而言,研究代表了可持续AI基础架构方向的重大进展,其影响只有在商业环境中的缩放和实施中才能正确发展。 AI-Cloud服务的二氧化碳足迹可以大大减少新的发展。当前对其他技术的研究还起着旨在减少能源消耗的作用,例如模型包皮环切术,量化或有效的体系结构。科学家和公司必须将这些目标与对绩效的需求不断提高。

但是,AI能源效率未来的关键是什么?根据[focalx.ai]的说法,不仅需要创新的硬件和专业算法,而且还增加了技术人员和公司之间的合作,以创建可持续的解决方案。挑战是多种多样的:从性能和效率之间的平衡到可能的硬件限制。

总的来说,我们面临着令人兴奋的发展,可以向我们展示在AI中如何实施强大,能源有效的基础架构。尚待观察,这会影响这种新的NPU技术将在该行业中设定的新技术以及如何帮助减少公司的生态足迹。

所以

我们牢记发展 - 未来听起来很有希望!

Details
OrtTokio, Japan
Quellen

Kommentare (0)