Google TurboQuant 讓 AI 推理成本崩盤:記憶體省 6 倍、速度快 8 倍
你跟 ChatGPT 或 Gemini 聊天的時候,AI 每回一句話都要做一件很耗資源的事:記住你前面講過的所有東西。 這個「記住」的機制叫做 KV cache(key-value 快取),它是大型語言模型在推理時最大的記憶體瓶頸之一。Google Research 發表了一系列壓縮演算法,統稱為 TurboQuant,把這個瓶頸的記憶體佔用縮小 6 倍以上,注意力運算速度提升最高 8 倍,而且在基準測試中達到零精準度損失。 其中 TurboQuant 將在 ICLR 2026 發表,核心元件 PolarQuant 發表於 AISTATS 2026,另一個元件 QJL 則已發表於 AAAI。以下用白話解釋它們在做什麼。 先搞懂 KV cache 是什麼 想像你在跟一個人開會,你們講到第