【谷歌推出TurboQuant压缩算法，可大幅降低AI系统内存占用】 (1) 谷歌近日推出一种名为TurboQuant的压缩算法，旨在降低大语言模型和向量搜索引擎的内存需求。该技术主要针对AI系统中键值缓存的内存瓶颈问...

【谷歌推出TurboQuant压缩算法，可大幅降低AI系统内存占用】 (1) 谷歌近日推出一种名为TurboQuant的压缩算法，旨在降低大语言模型和向量搜索引擎的内存需求。该技术主要针对AI系统中键值缓存的内存瓶颈问题——随着上下文窗口扩大，这些缓存正成为主要的内存占用来源。 (2) TurboQuant可在无需重新训练或微调模型的情况下，将键值缓存压缩至3bit精度，同时基本保持模型准确率。对Gemma、Mistral等开源模型的测试显示，该技术可实现约6倍的内存压缩效果。 (3) 在英伟达H100加速器上的测试结果显示，该算法最高可实现约8倍的性能提升。研究团队表示，该技术不仅适用于AI模型，还可用于支撑大规模搜索引擎的向量检索能力。谷歌计划于4月的国际学习表征会议上正式展示TurboQuant技术。