<cite id="ffb66"></cite><cite id="ffb66"><track id="ffb66"></track></cite>
      <legend id="ffb66"><li id="ffb66"></li></legend>
      色婷婷久,激情色播,久久久无码专区,亚洲中文字幕av,国产成人A片,av无码免费,精品久久国产,99视频精品3
      網易首頁 > 網易號 > 正文 申請入駐

      嵌入模型:文本“已死”,多模態尚有紅利,2025Q4科技觀察

      0
      分享至



      2025年Q4,上市公司Elastic對JinaAI的收購,

      在掌聲中落幕。

      嵌入模型(Embedding)賽道的故事也降溫了。

      JinaAI是LLM時代的新秀,

      在嵌入模型領域擁有成熟技術棧。

      嵌入模型不是新玩意,

      在AI基礎設施領域,

      是有一定歷史的“常用組件”。

      或者說,在AI理解世界方式的演進道路上,

      “嵌入模型”這一組件不可或缺。

      而Elastic公司,

      則在荷蘭阿姆斯特丹成立,

      紐交所上市,

      尤其擅長檢索與日志分析軟件,

      Elastic當年雖然是搜索和AI基礎設施公司,

      但選擇了更為傳統和嚴格的紐交所,

      體現它作為企業級基礎設施廠商,

      (比如Snowflake)的一種穩重定位。

      從純技術角度講,是一家中間件平臺,

      Elastic收購的原因是啥?

      看上去,中間件公司購買了AI新貴,

      耳熟能詳的答案是,

      Elastic補齊其在模型,

      工具鏈和開發者體驗層面短板,

      從而把產品鏈條做得更完整。

      文本嵌入模型已趨于成熟,

      成為AI基礎設施的一部分。

      在AI基礎設施被云廠商通吃的周期里,

      趕緊把"技術流量"轉成“被收購的價值”實屬正解。

      在我看來,嵌入模型雖然不再是黃金極熱賽道,

      但它依然在產業里是螺絲釘般的存在。

      文本向量化

      (embedding,

      文本經過嵌入模型后的向量表示過程),

      正在演變成一種成熟的通用能力。

      嵌入模型競品不少,且開源,

      不難發現,OpenAI、阿里Qwen頭部公司幾家,

      都有嵌入模型,

      不過OpenAI發布的最早,

      可以追溯到 2022 年 12 月;

      除了提高性能之外,一直發力于降成本;

      也就是檢索的成本越來越低。

      嵌入模型越大,成本越高,

      消耗更多的計算、內存和存儲資源。

      這里說嵌入模型大,

      就是向量維度高的意思。



      好比,

      小是模糊照片,

      看得快但細節少;

      大是高清照片,

      細節豐富但文件大。

      要不要“開高清”,

      取決于你想看多細。

      我觀察到的情況是:

      觀察一,

      嵌入模型對大模型公司意味著什么呢?

      頭部大模型團隊會順手做一個,

      簡單說,只是"順手禮包",不是戰略高地。

      那么嵌入模型還有什么玩頭?



      觀察二,文本嵌入的門檻在被快速抹平。

      幾年前,“誰能把語義檢索做順滑”還算差異化,

      但到今天,跑出一個能用的嵌入模型并不難。

      開源模型、現成的訓練腳本、乃至商用API,

      足夠讓大多數團隊低成本起步。

      有技術小哥哥告訴我:

      “BAAI General Embedding和JinaAI,

      打得有來有回,他們就在這兩款之間換著用,

      哪個好用換哪個。”

      我在智源有一個朋友,他告訴我,

      BAAI General Embedding的主要技術骨干,

      是一位低調大佬,

      直接匯報給王仲遠,

      雖然我給他發了郵件,

      但是為了不給獵頭送炮彈,

      本文不實名大佬名諱。

      技術小哥哥們常說,

      誰的開源新版本好,

      就用誰的,何必買單?

      這句閑談的背后,

      付費意愿隨之蒸發。

      嵌入模型很容易做好嗎?

      答案是否定的。



      當答案是否定的,

      這就得到了我的第三個觀察,

      嵌入模型:門檻雖低,做精不易。

      現在的嵌入模型市場很清晰地分成兩種:

      入門級和企業級;

      做出一個能用的,并不困難:

      經驗有且豐富,

      我幾年前寫電商推薦系統(阿里和京東)的時候,

      就寫過類似組件。

      我的理解是:

      “嵌入模型就像是給語言拍‘X 光’——

      它不生成句子,而是揭示“語義的形狀”。

      有了這些語義坐標,AI 才能真正知道,

      哪兩句話‘意思差不多’,

      哪兩篇文檔‘八竿子打不著’。”

      現在有開源用起來更爽。

      入門級用于輕量級應用;

      企業級適合復雜語義檢索場景,

      RAG 高質量高要求場景。



      紫東太初多模態檢索算法負責人,

      高級算法經理郭海云博士,

      她告訴“親愛的數據”:

      “嵌入模型更強調通用性,

      而不是微調以契合特定業務域,

      從創新研發技術上來說,

      這個似乎不是難點了,

      更多的是工程實現的巧妙權衡。”

      類似技術重點包括,

      如何在有限資源上保持泛化能力?

      又如何將文本、表格、

      圖像、代碼等多模態特征,

      融合到一個穩定向量空間。

      看上去,能否在這些工程化難題上長期交付,

      還是要看團隊技術水平。

      另外,別忘了另一類需求:

      是快速試點和中小團隊落地。

      這個需求,

      基本上被JinaAI的開源模型很好地解決了。



      問題來了,

      JinaAI靠什么上岸?

      它家的優勢更準確地說是,

      差異化,而非絕對領先。

      具體來說:JinaAI在開源社區的傳播力、

      對開發者友好的工具鏈、

      以及易上手組件的能力,

      確實讓它在快速試點和中小團隊落地上具有優勢。
      這些特點是它的差異化,

      也是Elastic有意收購或合作的邏輯所在。

      相信大家也看出來了,

      嵌入模型不是護城河,

      是螺絲釘,

      客戶需求不同,

      螺絲釘的型號就不同。

      還有的客戶關心:

      成本能否壓到可用水平?

      索引更新能否實時跟上?

      表格、圖像、視頻等非文本數據,

      能否被統一納入檢索?

      我找到了一位原大廠嵌入模型資深研發,

      我認為,他來評價這件事足具資格,

      原因是,

      他是中國第一代大廠嵌入模型開源技術主力,

      不僅如此,他的身份,

      已經從技術轉型為全棧產品經理,

      也有自己的收費AI產品。

      很可惜,他不愿意實名,

      不過我相信,一些投資人能猜出來,圈子很小。

      他告訴我:

      “Embedding都我自己弄的,再用ONNX,

      “把PyTorch框架上的模型編譯成C++高速版”,

      這樣就能讓BERT在CPU上飛起來。

      他對比了在端上部署JinaAI的嵌入模型的情況,

      對JinaAI的吐槽是:

      JinaAI那些模型太大端上不適合。

      其廠商官方還停留在“PyTorch”的原始時代,

      自然被吐槽“又大又慢”。

      他特意提到,他的方案,

      比JinaAI(用Pytorch)推理效率高接近一倍。



      嵌入模型有兩種技術路線,

      Istari企業智能創始人,

      楊薈博士告訴我:

      “嵌入模型的結構和LLM可以是一套

      (比如LLM 架構去掉中間幾層),

      也可以不是一套的。”



      一種是從 LLM 削出來的“Encoder子模型”。

      另一種是專門為了相似度檢索優化的模型,

      或者說Encoder-only模型。

      第二種技術路線的模型不依賴LLM,

      而是獨立訓練的語義編碼器,

      結構上依然是Transformer,

      但細節上做了很多“工程強化”。

      嵌入模型要被下游的RAG消費,

      或者說和RAG配合使用。

      RAG流程有這樣幾個步驟:

      1.把企業已有數據(文檔、代碼、FAQ、圖像等)

      預先做向量化,存進向量數據庫。

      2.查詢階段(實時)把用戶輸入的query轉換成embedding,

      3.用戶問題和企業已有數據embedding在同一個向量空間里對齊。

      4.把檢索到的上下文就是“專有數據”補充給LLM。



      這樣一來,

      大模型就能“理解”企業內部數據,

      即使它原本沒訓練過這些文檔。

      如果你仔細觀察,

      會發現一個微妙的變化,

      競爭已經轉向多模態。

      文本向量化的精度差異,

      在很多場景里已經不足以形成強壁壘。

      行業敘事的重心已經開始移動。

      文本向量化的紅利期正在結束:

      模型趨同,生態成熟,增量創新有限。

      嵌入模型是“找資料”的工具,

      長上下文是“讀資料”的范圍。

      多模態嵌入模型,

      正在成為新的機會窗口。

      又或者是不得不踢的加時賽。

      把圖像、音頻、

      視頻、代碼等復雜數據,

      壓縮進一個可用的語義空間,

      并能被下游——RAG(檢索增強生成)有效消費,

      這才是2025年之后的真正戰場。

      誰能解決多模態的“粒度對齊”與“上下文整合”,

      誰就能在下一個周期里拔得頭籌。

      整個行業往多模態方向上的加速被推動了。

      RAG是業界當紅解決方案,

      也是嵌入模型消費的大頭,

      若RAG沒前途,嵌入模型也沒有前途了,

      我觀察到有如下行業觀點的碰撞:

      正方觀點:

      “模型長上下文能力的增長,

      正在降低RAG的必要性。”

      此方觀點認為:

      過去,大模型的上下文窗口有限,

      RAG必須非常精準,

      把“最有價值的(文檔片段)”,

      向量化后送給模型,

      否則就放不下。

      而如今,2M級上下文窗口已成為現實,

      用戶可以直接把長文輸入模型,

      繞過embedding,

      也能獲得不錯的效果。

      換句話說,embedding不再是“必須”,

      而只是“可選”。

      只要大模型能力一直增長,

      只要OpenAI這樣的企業一直投錢,

      只要這場競賽一直持續,

      大于2M的上下文窗口需要用embedding嗎?

      或者換一種專業技術表達,

      當上下文窗口超過 2M tokens 時,

      模型是否仍需要通過嵌入模型生成語義向量,

      以支持RAG?

      當然,2M tokens≈3本《紅樓夢》

      當然embedding依然可以用。

      原來就是很重要,

      現在一些場景非必需了。

      也就是說,

      以前塞不下,

      需要嵌入模型精準地“挑出”。

      而現在上下文變長(2M+ token),

      ——可以塞更多候選資料進去,

      對“精確召回”的要求沒那么高,

      嵌入模型的存在價值,

      從“必需”變成“輔助”。

      長上下文解決的是“能放多少信息”;

      RAG解決的是,

      “如何找到最相關的信息”。

      也就是說,

      長上下文削弱了對“高精度embedding檢索”的剛需,在文本場景的“剛需屬性”正在消解。

      文本檢索與大模型結合的護城河在坍塌。

      坐擁1500+企業客戶的Elastic,

      其客戶仍然有大數據量需求,

      用嵌入模型作為一個工具沒問題,

      但它已經不是必備條件。

      甚至部分產品已經完全繞開嵌入模型,

      效果還要好。

      嵌入模型在文本這里的紅利期走到盡頭,

      但多模態數據還沒有。

      尤其是多種模態的數據,

      無法直接用長上下文“硬塞”,

      必須依賴這種手段,

      文本的向量化正在成為成熟組件,

      而多模態的向量化仍是行業必爭之地。

      反方觀點上,

      紫東太初多模態檢索算法負責人,

      高級算法經理郭海云博士,

      告訴“親愛的數據”:

      “我不贊同上述說法。”

      郭海云博士參與了,

      紫東太初Taichu-mRAG框架的研發,

      (通過統一多模態細粒度檢索引擎,

      與紫東太初多模態大模型協同,

      實現了檢索召回率,

      和端到端問答準確率的雙重提升)

      她談到,當前AGI有兩大趨勢,

      會導致模型的長上下文需求越來越高,

      RAG的需求并沒有降低。

      一個趨勢是很多場景需要模型進行多模態推理,

      推理中,思維鏈的生成,

      會加劇模型輸入上下文的長度增長,

      另一個趨勢是multi-agent技術的發展,

      Agent的memory也會增加上下文的長度,

      因為交互上下文就是memory的一部分。

      尤其當前Agent落地的一大瓶頸就是上下文工程;

      上下文太長,信息冗余,

      長上下文也還沒建模好,

      上下文太短又信息不足,

      所以需要檢索技術精準找到最相關的上下文。

      雙方觀點有分歧主要存在于,

      RAG是否會因為大模型能力上漲而重要性下降,

      但是,對于“多模態尚有紅利”,

      雙方都沒有爭議。





      聲明:個人原創,僅供參考

      特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

      Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

      相關推薦
      熱點推薦
      有沒有人敢爆自己的瓜?網友:確定玩這么大嗎?

      有沒有人敢爆自己的瓜?網友:確定玩這么大嗎?

      夜深愛雜談
      2026-02-18 20:55:58
      報復?達拉斯醫療失誤,掃錯里夫斯受傷位置,2.4億啊,可惜了

      報復?達拉斯醫療失誤,掃錯里夫斯受傷位置,2.4億啊,可惜了

      球童無忌
      2026-04-05 13:15:10
      英國人終于承認:中東打一仗才發現,中國這三張底牌,誰都學不來

      英國人終于承認:中東打一仗才發現,中國這三張底牌,誰都學不來

      輝輝歷史記
      2026-04-06 03:01:10
      《生化9》格蕾絲"大奶牛"MOD:極品大雷身材太火爆

      《生化9》格蕾絲"大奶牛"MOD:極品大雷身材太火爆

      游民星空
      2026-04-05 12:06:10
      前英超球星納斯里逃稅翻車!一年212次巴黎外賣出賣了他

      前英超球星納斯里逃稅翻車!一年212次巴黎外賣出賣了他

      仰臥撐FTUer
      2026-04-05 13:00:06
      為啥說老公長的帥少讓他去接孩子?網友:理解曹操成為曹操

      為啥說老公長的帥少讓他去接孩子?網友:理解曹操成為曹操

      解讀熱點事件
      2026-04-04 00:34:43
      太心酸了!42歲著名女歌手江蘇走穴,賓客只顧吃席沒人搭理

      太心酸了!42歲著名女歌手江蘇走穴,賓客只顧吃席沒人搭理

      小徐講八卦
      2026-02-12 12:13:20
      “我毫無優勢” 趙心童回應賠率看好他掀翻世界第1 生涯獎金909萬

      “我毫無優勢” 趙心童回應賠率看好他掀翻世界第1 生涯獎金909萬

      風過鄉
      2026-04-05 09:35:40
      太陽報:退役12年的亨利年收入近500萬鎊,依舊為英超球星級別

      太陽報:退役12年的亨利年收入近500萬鎊,依舊為英超球星級別

      懂球帝
      2026-04-06 02:56:03
      怪不得這么多男明星和她傳過緋聞,現實中確實驚為天人。

      怪不得這么多男明星和她傳過緋聞,現實中確實驚為天人。

      情感大頭說說
      2026-04-05 08:22:46
      一點別同情她!被教練性侵27次,卻在奧運賽場上,把隊友撞出賽道

      一點別同情她!被教練性侵27次,卻在奧運賽場上,把隊友撞出賽道

      來科點譜
      2026-02-27 07:42:10
      2026-2032房價預測:現100萬的房子,5年后能值多少呢?

      2026-2032房價預測:現100萬的房子,5年后能值多少呢?

      職場資深秘書
      2026-04-03 07:15:12
      1-2!2-1!瘋狂一夜,阿森納爆冷出局,巴薩絕殺,切爾西狂勝晉級

      1-2!2-1!瘋狂一夜,阿森納爆冷出局,巴薩絕殺,切爾西狂勝晉級

      足球狗說
      2026-04-05 05:10:41
      斯諾克賽程:決賽19局10勝,小特有優勢,1定律預示趙心童捧杯?

      斯諾克賽程:決賽19局10勝,小特有優勢,1定律預示趙心童捧杯?

      劉姚堯的文字城堡
      2026-04-05 07:12:20
      又賠了兩架C-130!最后時刻,美軍搶走第2名飛行員,伊朗功虧一簣

      又賠了兩架C-130!最后時刻,美軍搶走第2名飛行員,伊朗功虧一簣

      頭條爆料007
      2026-04-05 16:13:58
      2架美國“黑鷹”被伊朗山民擊中!秘密武器遭曝光,伊朗:新防空系統將陸續亮相!特朗普40年前就說要“搶伊朗石油”、奪哈爾克島

      2架美國“黑鷹”被伊朗山民擊中!秘密武器遭曝光,伊朗:新防空系統將陸續亮相!特朗普40年前就說要“搶伊朗石油”、奪哈爾克島

      每日經濟新聞
      2026-04-05 01:14:41
      李澤楷被她迷得瘋狂,林丹為她不顧孕妻,她有什么魅力?

      李澤楷被她迷得瘋狂,林丹為她不顧孕妻,她有什么魅力?

      觀察鑒娛
      2026-04-05 21:26:05
      千萬美金買不動一條命,普京“泄底”破局,伊朗反手抓了54個內鬼

      千萬美金買不動一條命,普京“泄底”破局,伊朗反手抓了54個內鬼

      愛下廚的阿釃
      2026-04-06 01:45:57
      炸了!3月美國非農數據扇醒所有賭徒:美聯儲降息就是煙霧彈,全球韭菜又被收割

      炸了!3月美國非農數據扇醒所有賭徒:美聯儲降息就是煙霧彈,全球韭菜又被收割

      新浪財經
      2026-04-05 21:30:48
      三石弟弟被三里屯公主始亂終棄!

      三石弟弟被三里屯公主始亂終棄!

      八卦瘋叔
      2026-04-05 10:43:18
      2026-04-06 05:07:00
      親愛的數據 incentive-icons
      親愛的數據
      《我看見了風暴:人工智能基建革命》一書作者
      693文章數 219913關注度
      往期回顧 全部

      科技要聞

      花200薅5千算力,Claude冷血斷供“龍蝦”

      頭條要聞

      伊朗官員提開放霍爾木茲海峽條件

      頭條要聞

      伊朗官員提開放霍爾木茲海峽條件

      體育要聞

      CBA最老球員,身價7500萬美元

      娛樂要聞

      王燦兮否認婆媳不和 曬與杜淳媽合影

      財經要聞

      誰造出了優思益這頭“怪物”?

      汽車要聞

      家用SUV沒駕駛樂趣?極氪8X第一個不同意

      態度原創

      時尚
      藝術
      家居
      數碼
      公開課

      伊姐清明熱推:電視劇《暴鋒雨》;電影《我,許可》......

      藝術要聞

      高210米,砸13億!廈門“礦泉水瓶大樓”即將建成!

      家居要聞

      溫馨多元 愛的具象化

      數碼要聞

      大膽復古美學,海盜船推出原子紫配色K65 PLUS WIRELESS機械鍵盤

      公開課

      李玫瑾:為什么性格比能力更重要?

      無障礙瀏覽 進入關懷版