Google 新算法 TurboQuant 能让 AI 内存占用暴减,大模型运行成本要降了

Google 最近搞了个大新闻,发布了一个叫 TurboQuant 的新压缩算法,专门用来缩减大语言模型的内存占用。

简单说,这个算法能把 AI 模型存储的数据”压缩”得更小,但又不怎么影响模型的表现。Google 官方测试发现,用了 TurboQuant 后,内存占用能大幅降低。这意味着什么?意味着以后跑大模型需要的硬件成本会下降,中小企业也能更轻松地部署自己的 AI 系统了。

现在大模型越来越火,但运行成本也高得吓人。很多公司买得起模型,但跑不起——显卡太贵、内存不够。Google 这个算法如果真能大规模应用,对整个 AI 行业来说都是好事。

不过话说回来,压缩归压缩,效果会不会打折扣还得看实际测试。Google 说影响很小,但具体数据还得等更多研究出来。反正技术是在进步,咱们就等着看吧。

原文连接

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
通知图标

欢迎访问AIvision