中國AI編程面臨殘酷競爭，OpenAI推出1000token/秒的Codex-Spark ｜以Agent為馬

當AI正在能替人類編程數個小時甚至數天，編程的速度就愈發關鍵；當多個智能體協作完成更加復雜的任務，延時就變得更加不能容忍。

在推出GPT-5.3-Codex之后一周，OpenAI即推出Codex-Spark。這個輕量版，可以實現即時編程，速度達到1000token/秒。這也是OpenAI首個運行在英偉達GPU競爭對手Cerebras芯片上的模型。

隨著模型功能的日益強大，交互速度顯然成為了瓶頸。這樣的速度，對于長程工作、動輒耗費成上億token的智能體來說，會帶來產品的差異性競爭力。

以OpenAI為代表的美國前沿AI實驗室，進一步抬高競爭門檻，用新一代更強的算力，訓練更強大的模型，持續擴展性能邊界，并創造出更好的用戶體驗。Blackwell大規模上市成為主流，TPU-7e即將量產推出，以及更快速的推理芯片如Groq、Cerebras等，正在加快部署。中國的開源AI軍團，要快馬加鞭了。

“響應速度即產品”

OpenAI開始用算力與模型協同，加入AI編程的殘酷競爭。Codex-Spark運行在Cerebras的芯片上；雙方宣布合作也僅僅一個月，即推出首個模型。Cerebras 的創始人兼CEO Andrew Feldman稱，Codex-Spark 是為實時軟件開發而打造的。“在編程領域，響應速度本身就是產品。這不是“錦上添花”，而是剛需。”

Codex-Spark針對定向代碼修改、邏輯調整和前端迭代進行了優化，為開發者提供幾乎即時的反饋，讓他們保持在高效的心流狀態中——這對于10X甚至100X的人才來說，具有極高的經濟價值。

OpenAI提出了馬年工作重心：提高數據中心容量，強化端到端用戶體驗，并部署更大的前沿模型。

如OpenAI所說，其最新的前沿模型在執行長時間運行的任務方面展現出優勢，無需人工干預即可自主運行數小時、數天甚至數周。這樣的話，低延時可以直接縮短任務完成的時間，轉化為經濟價值。

Codex-Spark 成為首個專為實時編程而設計的模型，提供128k的上下文窗口，并且僅支持文本。在研究預覽期間，Codex-Spark 將擁有獨立的速率限制，其使用量不計入標準速率限制。但是，當需求量較高時，用戶可能會遇到訪問受限或臨時排隊的情況，“因為我們需要平衡不同用戶的可靠性。”

速度即智能

Codex-Spark 針對交互式工作進行了優化，在這種工作環境中，低延遲與智能同樣重要。用戶可以與模型實時協作，在模型運行過程中隨時中斷或重定向它，并快速迭代，獲得近乎實時的響應。由于 Codex-Spark 注重速度，因此其默認工作方式非常輕量級：它只進行最少的、有針對性的編輯，并且除非用戶口主動要求，否則不會自動運行測試。

Codex-Spark 運行在 Cerebras 的晶圓級引擎（Wafer Scale Engine）3上，這是一款專為高速推理而打造的 AI 加速器，為 Codex 提供了一個優先降低延遲的服務層。OpenAI與 Cerebras 合作，還將把這條低延遲路徑添加到其他服務器相同的生產服務堆棧中，使其能夠在 Codex 上無縫運行，并為支持未來的模型做好準備。

OpenAI特意說明，GPU 仍然是其訓練和推理流程的基礎，能夠提供最具成本效益的token，適用于廣泛的應用。Cerebras 則在此基礎上更進一步，在對延遲要求極低的工作流程中表現更好，能夠縮短端到端循環，使 Codex 在迭代過程中響應更加迅速。GPU 和 Cerebras 可以結合使用，針對單個工作負載實現最佳性能。

Codex 將擁有快慢結合的兩種互補模式：一種是用于長期推理和執行的模式，另一種是用于快速迭代的實時協作模式。隨著時間的推移，這兩種模式將會融合，既讓用戶保持緊密的交互循環，又能將耗時較長的任務委托給后臺運行的子代理；或者，當需要兼顧廣度和速度時，它還可以將任務并行分配給多個模型，因此無需預先選擇單一模式。

關于Cerebras

2015年創立，設計的處理器，實現了單晶圓級的計算、內存和互連架構。比H100快10-20倍，在Mistral, Perplexity等模型上使用，速度達到1000-1200token/秒。

為什么WSE架構在速度上碾壓GPU？ GPU將模型權重保存在 HBM 中，每生成一個 token，整個模型需要通過內存總線傳輸。受限于帶寬瓶頸，無論計算能力，吞吐量都限制在 200-300 tps 左右。而Cerebras 的晶圓級引擎足夠大，可以將整個模型存儲在芯片上，無需外部內存，也無需總線。權重和計算都位于同一位置，能實現2500+ tps 的吞吐量。

目前大模型的推理已經成為瓶頸。訓練展現了人工智能的顯著突破，但推理的成本決定了其經濟可行性，維護和使用前沿模型成本高昂，OpenAI每1美元收入需要3美元成本，急需建立推理的經濟性，不僅需要token的數量，更需要token的質量，即所能創造的經濟價值，而低延遲是目前在智能體長程任務中比較迫切的需求。

2026正是推理定制芯片戰爭爆發之年，TPU， Grok(LPU)，Cerebras等。每家前沿AI實驗室仍然需要GPU滿足基本的訓練推理需求，但是在延遲、總擁有成本（TCO）、功耗等方面的競爭，其差異化將主要通過ASIC定制推理芯片實現。英偉達花了200億美元將推理芯片初創企業Groq的核心團隊買下，也是為了把它的護城河拓得更寬、掘得更深。

Andrew Feldman說：當推理足夠快時，全新的市場將隨之打開。