新智元報道

編輯：好困 桃子

【新智元導讀】谷歌一篇論文，直接讓存儲巨頭們「集體失眠」，一夜市值蒸發幾百億！最新博客官宣TurboQuant算法，直接將緩存壓到3-bit，內存占用只有1/6。

一篇論文攪動萬億市場，存儲芯片的天塌了...

誰也未曾料到，本周三美股開盤，存儲芯片板塊遭遇「黑色時刻」，巨頭股價全線飄綠——

截至收盤，美光科技下跌4%，西部數據下跌4.4%，希捷下跌5.6%，閃迪更是重挫6.5%。

引發這場拋售地震的導火索，正是谷歌發布的TurboQuant壓縮算法。

眾所周知，大模型跑起來時，KV緩存（KV cache）簡直是內存界的「吞金獸」。

為了不重復計算之前的Token，LLM維持一份「運行記憶」，隨著對話越來越長，這份記憶會像滾雪球一樣迅速膨脹。

谷歌的TurboQuant，給出了一套極其「暴力」的瘦身方案：

首先，把KV緩存里的高維向量做一次「旋轉」，再換一套極坐標系來描述，內存開銷直接歸0。

然后，用僅僅1-bit額外空間，放一個數學「校正器」進去，把壓縮帶來的系統性偏差精確抹平。

TurboQuant論文將于下月舉辦的ICLR 2026上正式發表

結果非常頂：不用任何重訓，TurboQuant把緩存壓縮至喪心病狂的3-bit。

這么一來，KV緩存開銷驟降6倍，關鍵是，推理表現幾乎零損耗。

在H100上，相較于32-bit基線，4-bit的計算注意力速度飆升了8倍。不僅省空間，還跑得更快了。

一時間，全網陷入瘋狂。照這樣說，16GB Mac mini又能用來跑大模型了。

這一幕，現實版「魔笛手」（Pied Piper）真的降臨了！

內存占用暴降6倍，存儲巨頭集體重挫

對于芯片存儲巨頭來說，這無異于一場「底層邏輯大地震」。

美光、西數等巨頭的估值基石，向來建立在「AI服務器單機容量紅利」之上。

一旦單次推理任務的比特（Bit）需求發生結構性驟降，高性能存儲的增長動能將直接面臨「縮水」危機。

直白講，谷歌TurboQuant出世，直接沖擊了芯片存儲巨頭們，備受追捧的AI硬件邏輯。

KV緩存暴降6倍，速度提升8倍，意味著每臺服務器所需的高端內存芯片可能變少。

上下

Cloudflare首席執行官Matthew Prince甚至將其形容為「谷歌的DeepSeek時刻」！

KV緩存，大模型瘋狂吞金

要理解TurboQuant的分量，先得搞清楚它瞄準的靶心——KV緩存到底有多吃內存。

大模型生成每一個Token時，都要「回看」之前所有Token的信息。

為了避免重復計算，模型把每一層注意力機制產出的Key和Value向量全部緩存起來，形成一張高速「速查表」。

問題在于，這張表隨對話長度線性膨脹。

當上下文從4K擴展到128K甚至百萬級別，KV緩存吞掉的顯存往往反超模型參數本身，成為推理階段最大的內存瓶頸。

傳統的解法是向量量化，也就是把16-bit浮點數壓縮成4-bit整數。

但幾乎所有傳統方法都需要為每一小塊數據額外存儲一組全精度的量化常數，每個數字多吃1到2個bit。

壓到4-bit，實際可能是5到6-bit，壓縮的意義被自己的「手續費」蠶食了一大截。

而TurboQuant的野心，正是徹底消滅這筆附加費。

論文地址：***s://arxiv.org/pdf/2504.19874

兩步「絕殺」

極坐標變換 + 1-bit誤差校驗

TurboQuant的核心，是一個精巧的兩階段流程。

第一階段：PolarQuant換一個坐標系看世界

傳統量化在笛卡爾坐標系（X、Y、Z軸）下操作，每個軸的取值范圍不固定，必須額外存儲歸一化參數來「對齊」。

換句話說，每一小塊數據都要自帶一張「比例尺」，而這張比例尺本身就很占空間。

PolarQuant的第一步，是對數據向量做一次隨機旋轉。

這一步看似隨意，背后的數學意義卻很深：在高維空間里，隨機旋轉會讓向量的每個坐標分量收斂到一種高度集中的Beta分布，而且各分量之間近似獨立同分布。

不管原始數據長什么樣，轉完之后，統統變成「一個模子刻出來的」。

PolarQuant就像一座高效的壓縮橋梁，能把笛卡爾坐標輸入轉換成緊湊的極坐標「速記」形式，方便后續的存儲和處理

這讓復雜的高維量化問題，降格為一組簡單的一維標量量化問題。

谷歌只需要提前算好不同位寬下的最優碼本，推理時直接查表即可，不需要為每一組數據單獨計算任何東西。

然后，PolarQuant把旋轉后的向量「笛卡爾坐標系」轉換成「極坐標系」。

舉個栗子，傳統方法描述一個位置：向東走3個街區，再向北走4個街區。PolarQuant則說：朝37度方向直接走5個街區。

轉換之后，數據被拆成兩組信息：一個半徑（代表信號強度），一組角度（代表信號方向）。

接下來才是真正精妙的一步，即「遞歸配對」。

PolarQuant把坐標兩兩分組進行極坐標變換，得到一組半徑和一組角度；再把這些半徑兩兩配對，做第二輪極坐標變換；如此遞歸往復，最終整個高維向量被濃縮為一個最終半徑和一系列描述性角度。

因為角度的分布模式在數學上是已知且高度集中的，整個過程不需要存儲任何歸一化常數。

開銷，歸零。

這一步消耗了絕大部分的壓縮預算（分配b-1個bit），專注于把均方誤差（MSE）壓到最低，精準捕捉原始向量的核心信息。

第二階段：QJL用1 - bit消滅殘余誤差

再精準的壓縮，也會留下誤差。

而且這里有個隱蔽的陷阱：一個在MSE意義上最優的1-bit量化器，在高維空間中會引入一個2/π的乘性偏差。

也就是說，你把數據壓得很小、失真也很低，但用它算內積（注意力分數的核心操作）時，結果是系統性偏斜的。

TurboQuant的第二步，專門來「殺」這個偏差。

它將Johnson-Lindenstrauss變換應用到第一階段的殘余誤差上，把每個誤差值壓縮為一個符號位：+1或-1。

然后配合一個特殊的估計器——用高精度的Query向量和低精度的壓縮Key做聯合計算。

這套組合拳，在數學上被證明是「無偏」的：壓縮前后的內積期望值嚴格相等。

只消耗最后1個bit，就把第一階段殘留的系統性偏差徹底抹平。

兩步合璧的效果

TurboQuant在僅僅3-bit的總預算下，實現了接近無損的壓縮效果，全程零額外開銷。

論文給出了嚴格的理論證明：TurboQuant的MSE失真率，在所有位寬下都控制在理論絕對下限的約2.7倍以內。在1-bit極端壓縮的情況下，更是只有最優值的約1.45倍。

換句話說，它幾乎貼著信息論的「物理極限」在運行。

整套算法是「數據無感知」（data-oblivious）的——不需要任何校準數據，不依賴任何預訓練，對數據集零***設。

同時，算法內部全程使用向量化運算，避免了傳統方法中緩慢的二分查找，對GPU加速器極其友好。

拿來即用，即插即飛。

跑分全面碾壓，大海撈針完美通關

光說原理不夠，得看實戰。

谷歌在LongBench、Needle In A Haystack、ZeroSCROLLS、RULER和L-Eval五大長上下文基準測試上，對TurboQuant進行了嚴格驗證，測試模型覆蓋Gemma、Mistral和Llama-3.1-8B-Instruct。

結果相當硬核。

在LongBench的問答、代碼生成、文本摘要等綜合任務中，3-bit配置下的TurboQuant，性能全面優于KIVI等基線方法，甚至逼近全精度模型的表現。

最殘酷的考驗來自「大海撈針」——在10萬Token的文本海洋里，精準撈出一句特定信息。

在4倍壓縮比下，TurboQuant的檢索精度一路保持到10.4萬Token，與全精度模型完全一致。6倍壓縮之后，模型該記住的，一個字都沒丟。

在H100 GPU上，4-bit TurboQuant計算注意力logits的速度，相比32-bit未量化基線提升了8倍。

需要說明的是，這個8倍是注意力計算環節的加速比，并非端到端推理的整體提速，但注意力計算恰恰是長上下文推理中最吃***的那一環。

谷歌特別強調，TurboQuant引入的運行時開銷「幾乎可以忽略不計」。

這也好理解——算法本身不涉及任何數據集相關的查表或搜索操作，純粹是矩陣運算，天然適合GPU并行。

在高維向量搜索方面，TurboQuant也沒有放過對手。

在GloVe數據集（200維）上，它擊敗了PQ和RabbiQ兩大前沿方法，拿下最優1@k召回率。而那些對手還依賴龐大的密碼本和針對性調優，TurboQuant全程「裸奔」通殺。

這個結果的含金量在于：向量搜索是谷歌搜索、推薦系統、廣告系統等核心產品的底層引擎。

TurboQuant在這個賽道上的優勢，意味著它不只是一個學術玩具，而是有明確的工程落地路徑。

博客官宣這天，獨立開發者在Reddit上曬出了復現成果：

基于PyTorch和自定義Triton kernel，在RTX 4090上用2-bit精度跑Gemma 3 4B，輸出與未壓縮版本逐字符一致。

論文寫的「零損耗」，社區用代碼投了票。

另一位開發者Prince Canuma實測后驚嘆道：「面對8.5K到64.2K不等的大跨度上下文，TurboQuant讓模型對顯存實現極致壓縮」。

2.5-bit量化讓KV緩存縮小了4.9倍；3.5-bit量化也實現了3.8倍的縮小。

谷歌一張紙，存儲芯片天塌了？

存儲芯片的天，真的塌了嗎？大概率沒有。

科技行業有一條反復被驗證的鐵律——杰文斯悖論：***使用效率越高，總消耗量反而越大。

KV緩存壓縮6倍，最可能的結果不是少買內存，而是同樣的顯存跑更長的上下文、更多的并發、更大的模型。

雖然壓縮算法還從未從根本上改變過***購量，但有兩件事確實在發生改變。

第一，推理成本的地板價被改寫了。

TurboQuant的三篇論文將在ICLR 2026和AISTATS 2026上公開發表，核心思想向全行業敞開。

當3-bit能做到過去16-bit的事情，受益的是每一個做推理服務的公司，感到壓力的是那些指望「量價齊升」永遠持續的存儲廠商。

第二，從論文到落地的路正在縮短。

TurboQuant目前僅在8B參數級別的開源模型上得到驗證，70B以上的模型、MoE架構、百萬級上下文窗口上的表現尚未證實。

谷歌也沒有宣布它已部署到Gemini或任何生產系統中。

這次谷歌博客一發出，不到24小時，就有獨立開發者從論文出發寫出了完整實現并跑通驗證。

在算力軍備競賽里，最鋒利的武器未必是更大的芯片，也可能是更聰明的數學。

技術不關心股票代碼，只關心比特的邊界在哪里。

參考資料：

***s://arstechnica***/ai/2026/03/google-says-new-turboquant-compression-can-lower-ai-memory-usage-without-sacrificing-quality/

***s://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/

***s://techcrunch***/2026/03/25/google-turboquant-ai-memory-compression-silicon-valley-pied-piper/?utm_medium=organic_social&utm_source=TWITTER

秒追ASI返回搜狐，查看更多