DeepSeek開源的新東西到底強在哪？我幫你找專家問了問

本周，DeepSeek 新開源的 DeepSeek-OCR 在開源社區的熱度持續發酵。

人們興奮的點是：它不僅是一款新的光學字符識別模型，還更像是一次對 “ 大模型記憶機制 ” 的重新設計。

在 DeepSeek-OCR 的架構中，圖像不再只是文字的載體，而是成為一種語義壓縮的中間語言。文字被渲染成圖像后，經由 DeepEncoder 轉換為緊湊的視覺表征；這些視覺 token 既可以通過 DeepSeek 3B-MoE 模型還原為原始文本（這也是標準的 OCR 機制），也可以與其他輸入 token 與 prompt 結合，執行問答、摘要、檢索等復雜任務。

通俗來說，就是我們可以把大量文字打包壓縮成一張圖片來節省空間，等需要使用的時候再解壓出來，甚至在一部分使用場景中，你甚至不需要解壓，直接用壓縮包就可以達成目的。

DeepSeek-OCR 模型架構。圖源：
https://github.com/deepseek-ai/DeepSeek-OCR/blob/main/DeepSeek_OCR_paper.pdf

即便在 10× 壓縮比的條件下，模型的文本還原精度仍可達 97%。隨著大模型逐漸向越來越復雜的場景嵌入，上下文長度資源遠不夠用甚至越來越不夠用，而基座模型在此參數上升級頗為緩慢的當下，DeepSeek-OCR 的發布瞬間帶來很大的想象空間。

研究團隊甚至還進一步提出 “ 遺忘機制 ” 的構想，模型可依據信息的 “ 時序遠近 ”，在視覺壓縮階段主動衰減細節，從而實現一種類人記憶式的上下文管理。

那么，視覺 token 為何能在信息量不損失太多的情況下，比文本 token 少一個數量級？模型記憶能否完全用視覺邏輯來替代？DeepSeek-OCR 是否為解決大模型上下文長度受限的問題提供了一條現實可行的途徑？DeepSeek-OCR 反映了多模態大模型的什么發展趨勢？

帶著這些問題，知危與 Sand.ai 聯合創始人、首席科學家、《 Swin Transformer 》作者張拯進行了簡單的對話。

知危：

同一段輸入，為什么視覺 token 可以比文本 token 的數量少得多，有沒有直觀或本質的解釋？

張拯：

有兩種觀點。第一種，視覺是一個 2D 表達，因此可以比 1D 的表達更高效。

第二種，高效的原因不是視覺 v.s. 文本，而是兩邊采用的 token 表達方式不同：做視覺表達的時候，我們是在一個高維的連續空間中做信息壓縮（ 把 image patch 映射為一個高維特征 ），之前 LLM 里常用的 tokenizer（ 把文本數據向量化的工具，通俗理解是一種把自然語言翻譯為機器能理解的語言的工具 ）則實際上可以被認為是在一個一維空間中做壓縮（ 把文本映射為 id ）。高維連續空間本來就有更好的表達能力，因此可以用更少的 token 數量來表達更多信息。其實文本也可以做成連續表達，來大幅度減少文本 token，但是目前應該沒有被很廣泛地用到 LLM 里。

這兩種觀點，我 buy-in 第二種。

知危：

DeepSeek-OCR 相比過往的 OCR 模型，除了效率提升方面，還有哪些獨創性？

張拯：

我最近沒有特別研究過 OCR 模型的進展，但基于我看過的一些信息，我覺得 DeepSeek-OCR 的技術本身好像并沒有非常特別的部分。但是在觀點上，“ 把視覺作為文本長上下文的壓縮介質 ”，這個 idea 還是很棒的。這個 idea 有路線上的啟發意義，相較于現在的多模態模型，DeepSeek-OCR 會使用兩種不同的 tokenizer 機制，這種路線也許會啟發更好的多模態模型設計方案。

知危：

這項技術對于基礎模型上下文長度難以擴展的當下，可以帶來多大的成本效益？對上下文工程的優化有哪些好處？

張拯：

理論上最多能拿到 N^2 倍的收益，N 是 Vision Token 相較于 Text Token 的壓縮率。對于上下文工程的優化，最大的好處應該就是不用那么仔細地管理上下文長度了。

知危：

DeepSeek 設想的遺忘機制是否過于簡化？忽略了語義的重要性排序？

張拯：

這種設想肯定還是很初步的，但是也能腦洞出很多改進的空間，比如語義重要的部分可以渲染成更大的字體？

知危：

Andrej Karpathy 認為視覺 token 有潛力可以完全替代文本 token，因為信息壓縮、多模態、可雙向注意力處理、無需 tokenizer 等優勢，您怎么看？

張拯：

大部分都同意，但是 “ 可雙向注意力處理 ” 這里有待探討，“ 可雙向注意力處理 ” 很大程度上和 training objective（ 訓練目標 ）有關。

另外，如果后面都是處理視覺 token 了，是不是有機會讓模型能在一個 2D 的空間里做思考？從而帶來更高效的推理（ 類似 GPT-4o 的 thinking with image ）？這個我覺得還是挺有意思的。

知危：近期 Meta 也提出了一個無需 tokenizer 的模型架構 Byte Latent Transformer ，可以跳過 tokenization ，直接學習原始字節流。結合以上討論和領域現狀，您認為這體現了多模態大模型的哪些發展趨勢？

張拯：

宏觀一點來看，不同模態模型的范式還是有機會持續進化的。

更細節一點的話，我初步想到的有兩個：

• 現在的多模態大模型的主流做法基本上可以認為在捏合各種不同的模態的模塊，整個訓練 pipeline 其實還是有點復雜（ 不優雅 ）的。大家肯定希望有更簡單、更統一的方式來處理。類似 DeepSeek-OCR 這樣的工作對我們開發更好的多模態模型范式還是挺有啟發的。
• 離散表達和連續表達之間的關系，以及是否有更好的組合方式，可能也挺重要的。

（ 對話全文完 ）

總體來看，DeepSeek-OCR 更多是基于效率上的大幅提升啟發了一個新的路線。

當模型的 “ 思考空間 ” 從一維文本拓展至二維視覺，思考和推理也可能變得更加高效和簡潔。而在技術層面，則指向當前多模態大模型領域正等待一把 “ 奧卡姆剃刀 ” 簡化模型范式的時刻。