AI手機(jī)第一個(gè)殺手級(jí)應(yīng)用，是“AI讀屏”？

作者 | 山竹

出品 | 鋅產(chǎn)業(yè)

經(jīng)過(guò)一年多的搖旗吶喊，AI手機(jī)終于還是在2024年完成了對(duì)智能手機(jī)的替代。

至少在概念上，幾大主流手機(jī)廠商今年在傳播口徑上都已經(jīng)陸續(xù)完成了向AI手機(jī)的轉(zhuǎn)變，就連蘋(píng)果也高調(diào)選擇了與OpenAI聯(lián)姻。

即便如此，對(duì)于大多數(shù)消費(fèi)者來(lái)說(shuō)，依然沒(méi)有弄明白「AI手機(jī)」和「智能手機(jī)」究竟有何不同。

關(guān)于AI手機(jī)，我今年看到最多、也是最直接的AI功能是「AI讀屏」：

手機(jī)搭載的智能體像人類一樣識(shí)別出手機(jī)屏幕上的內(nèi)容，然后一步一步按人類的思維邏輯完成常見(jiàn)的諸如線上購(gòu)物、朋友圈點(diǎn)贊評(píng)論等功能。

與智能手機(jī)中的AI不同的是：

這樣的AI有了明顯的“思維鏈”，實(shí)現(xiàn)邏輯更為復(fù)雜。

與智能手機(jī)時(shí)代的功能設(shè)計(jì)邏輯不同的是：

這次，「AI讀屏」功能的后臺(tái)執(zhí)行邏輯，被手機(jī)廠商在手機(jī)屏幕上完整呈現(xiàn)了出來(lái)。

對(duì)于大多數(shù)普通消費(fèi)者來(lái)說(shuō)，人工智能的自動(dòng)化能力第一次被具象化，帶來(lái)的是最直接的視覺(jué)沖擊。

那么，這樣的“讀屏術(shù)”在技術(shù)上是如何實(shí)現(xiàn)的？

01微軟谷歌神仙過(guò)招，端側(cè)AI雛形初顯

大模型炸場(chǎng)后，微軟和谷歌的往來(lái)過(guò)招，成了這場(chǎng)曠世之爭(zhēng)的看點(diǎn)，AI手機(jī)的“讀屏術(shù)”正是在這樣的神仙過(guò)招中逐漸成形。

2023年2月8日，微軟New Bing（Bing AI）發(fā)布，這是微軟與OpenAI聯(lián)手后，借生成式AI面向搜索引擎發(fā)起的新一輪沖擊，New Bing在ChatGPT加持下，曾斬獲不小市場(chǎng)熱度，也一度把谷歌嚇得不輕。

面對(duì)被視為ChatGPT版的New Bing，谷歌隨后祭出了自己的Bard。

Bard是由谷歌內(nèi)部早在2021年就已經(jīng)對(duì)外發(fā)布、同樣是基于Transformer架構(gòu)的LaMDA提供支持，但當(dāng)時(shí)還是一個(gè)實(shí)驗(yàn)性的聊天機(jī)器人。

這是谷歌和微軟在生成式AI領(lǐng)域第一次正面較量，雙方的這次較量，讓搜索引擎這一互聯(lián)網(wǎng)老產(chǎn)品，有了一些Chat新花樣。

不過(guò)，此時(shí)的生成式AI，還沒(méi)有對(duì)端側(cè)造成直接沖擊。

真正的沖擊，是在微軟Copilot發(fā)布后。

2023年3月16日，微軟對(duì)外官宣，正式為Microsoft 365應(yīng)用加持Copilot服務(wù)（Microsoft 365 Copilot），在將生成式AI疊加到辦公軟件后，真正的內(nèi)容生成魔力開(kāi)始成為生產(chǎn)力工具的一部分。

大模型由此也在企業(yè)辦公軟件領(lǐng)域形成了一股潮流，開(kāi)啟了搶灘登陸模式。

就谷歌和微軟兩大科技巨頭而言，為了做出生成式AI技術(shù)模式下的殺手級(jí)應(yīng)用，他們動(dòng)用了生態(tài)力量——分別將Windows生態(tài)和安卓生態(tài)面向大模型全面打開(kāi)。

這之后，二者的大模型之爭(zhēng)開(kāi)始下沉到端側(cè)。

經(jīng)過(guò)大概半年試錯(cuò)和打磨后，谷歌和微軟分別在端側(cè)拿出了自己的“關(guān)鍵作品”：

谷歌是在2023年10月發(fā)布的pixel 8系列手機(jī)上增加了一個(gè)名為Circle to Search的功能。

有了這一功能，只要你對(duì)著手機(jī)屏幕上的圖片圈出你想了解的產(chǎn)品，谷歌AI就可以自動(dòng)搜索出這一產(chǎn)品的相關(guān)信息和出處。

這一功能后來(lái)也被三星拿去作為Galaxy AI的主打功能，對(duì)外宣傳推廣。

實(shí)際上，在這一功能出現(xiàn)之前谷歌對(duì)Bard進(jìn)行過(guò)一次升級(jí)，更新后的Bard可以從Gmail、Docs、谷歌地圖、YouTube等應(yīng)用中總結(jié)信息，也是在那時(shí)，個(gè)人本地知識(shí)庫(kù)開(kāi)始被谷歌用于深度檢索（也就是RAG），并由此衍生出為用戶提供出行建議、日程安排等功能的個(gè)人助理。

Circle to Search自然是承襲了這一能力。

微軟則是在2024年5月20日AI PC發(fā)布會(huì)上官宣發(fā)布了Recall功能。

這一功能是通過(guò)微軟Copilot，幫助用戶根據(jù)記憶點(diǎn)或時(shí)間線來(lái)跳回到此前某個(gè)時(shí)間點(diǎn)電腦上顯示的原始內(nèi)容。

實(shí)際上，除了這兩位AI大佬外，當(dāng)初為了拿下蘋(píng)果的大模型訂單并獲得新一輪融資，OpenAI發(fā)布了GPT-4o，并秀了一波視覺(jué)識(shí)別的功能。

通過(guò)手機(jī)攝像頭，讓GPT-4o解寫(xiě)在紙上的數(shù)學(xué)題，甚至識(shí)別出現(xiàn)在鏡頭前用戶的情緒。

檢索增強(qiáng)生成（RAG）和包括語(yǔ)言、視覺(jué)在內(nèi)的多模態(tài)大模型技術(shù)的成熟，以及大模型在端側(cè)的下沉和應(yīng)用，讓AI讀屏功能在手機(jī)上出現(xiàn)成了順理成章。

02「AI讀屏」工作流

2024年的手機(jī)圈，AI讀屏功能正在迅速成為標(biāo)配。

僅以這周手機(jī)圈密集的發(fā)布會(huì)上對(duì)外公布的信息來(lái)看：

先有華為在鴻蒙發(fā)布會(huì)上對(duì)外發(fā)布的小藝圈選功能（類似谷歌的Circle to Search），又有榮耀在更新新系統(tǒng)時(shí)對(duì)外發(fā)布演示的“一句話點(diǎn)咖啡”功能。

在OPPO Find X8系列發(fā)布會(huì)上，OPPO更為直接地上新了「一鍵問(wèn)屏」功能。

或許是因?yàn)槭轻槍?duì)手機(jī)系統(tǒng)的發(fā)布會(huì)，榮耀雖然請(qǐng)了沈騰作為公司的AI大使，還做了主題為“AI就是一句話的事兒”廣告，但并沒(méi)有針對(duì)這一功能給出明確的諸如「AI讀屏」或「一鍵問(wèn)屏」這樣的命名。

不過(guò)，榮耀CEO趙明倒是在發(fā)布會(huì)上講明白了「AI讀屏」功能的具體工作流。

在趙明的介紹中，AI讀屏的工作流可以分為三步（以“幫我點(diǎn)杯喝的吧，我有些困了”語(yǔ)音指令為例）：

第一步，模糊意圖理解。

手機(jī)內(nèi)置的智能體將語(yǔ)音指令進(jìn)行拆分理解，分析用戶意圖是“困了”想點(diǎn)杯解困的“喝的”，篩選出可能選項(xiàng)（咖啡、綠茶、涼茶等）。

第二步，復(fù)雜任務(wù)規(guī)劃。

首先智能體根據(jù)手機(jī)時(shí)間信息、定位信息，識(shí)別出最終配送地址；

然后智能體根據(jù)手機(jī)已有的本地個(gè)人知識(shí)庫(kù)中收集到的你的日常飲食習(xí)慣，得出你希望點(diǎn)單的咖啡的品牌、甜度、是否加冰等信息（如果是新手機(jī)，這一步會(huì)卡殼，就需要用戶手動(dòng)點(diǎn)選）；

最終智能體確認(rèn)具體的點(diǎn)單信息并自動(dòng)填充配送地址。

第三步，任務(wù)自動(dòng)執(zhí)行。

首先智能體識(shí)別出手機(jī)屏幕上的本地生活服務(wù)APP（例如美團(tuán)），并搜索咖啡品牌（例如瑞幸）；

其次識(shí)別并理解屏幕上的關(guān)鍵信息，進(jìn)入外賣點(diǎn)單頁(yè)面（例如瑞幸的幸運(yùn)送）；

然后根據(jù)已經(jīng)規(guī)劃出的用戶點(diǎn)單內(nèi)容（例如大杯少冰正常糖拿鐵），在屏幕上一步一步進(jìn)行類人的點(diǎn)選操作；

最后進(jìn)入到結(jié)算頁(yè)面，用戶接管，由用戶并選擇是否用優(yōu)惠券、是否確認(rèn)下單。

如果說(shuō)ChatGPT在全球形成的熱潮讓大家意識(shí)到了生成式AI、大模型的顛覆性，那么作為一個(gè)更聰明的聊天機(jī)器人，它首先帶來(lái)的是又一次交互模式的改變。

AI讀屏就是人類和手機(jī)交互模式改變的一個(gè)重要體現(xiàn)。

03當(dāng)AI開(kāi)始接管你的手機(jī)

如果結(jié)合微軟、谷歌大模型之爭(zhēng)來(lái)看，AI讀屏背后的技術(shù)邏輯，和微軟的Recall、谷歌的Circle to Search，以及OpenAI的GPT-4o有著諸多相似之處。

從技術(shù)實(shí)現(xiàn)原理上來(lái)看，包括OpenAI的GPT、Anthropic的Claude、谷歌Gemini、阿里通義千問(wèn)在內(nèi)的所有主流大模型，都能做出AI讀屏功能。

實(shí)際上，就在手機(jī)圈紛紛押注AI讀屏功能時(shí)，在本周與三星中國(guó)官宣了戰(zhàn)略合作的智譜AI在2024中國(guó)計(jì)算機(jī)大會(huì)（CNCC 2024）上發(fā)布了AutoGLM。

什么是AutoGLM？

智譜AI的大模型是以GLM做得命名，AutoGLM也就是擁有自主能力的大模型，有媒體將它解讀為是學(xué)會(huì)了使用工具的大模型，但本質(zhì)上就是在手機(jī)上實(shí)現(xiàn)了AI讀屏功能。

從官方公布的信息來(lái)看，這一模型目前是以App中的一個(gè)功能模塊對(duì)外呈現(xiàn)（只支持安卓手機(jī)，現(xiàn)在還在內(nèi)測(cè)階段），并沒(méi)有與手機(jī)底層系統(tǒng)強(qiáng)關(guān)聯(lián)，也不挑手機(jī)品牌。

如果說(shuō)在這套流程中，手機(jī)廠商的地位有何獨(dú)特之處的話，那應(yīng)該是平臺(tái)和數(shù)據(jù)了。

作為手機(jī)這一超級(jí)硬件的主導(dǎo)者，手機(jī)廠商不僅掌握著平臺(tái)入口，更有強(qiáng)大的系統(tǒng)集成能力。

這就意味著決定端側(cè)智能體智能程度的本地個(gè)人知識(shí)庫(kù)，以及端側(cè)智能體的微調(diào)、優(yōu)化能力，對(duì)幾大手機(jī)廠商的軟件團(tuán)隊(duì)有很強(qiáng)的依賴性。

實(shí)際上，早在10月22日，OpenAI的頭號(hào)死敵Anthropic就對(duì)外官宣發(fā)布了Claude 3.5 Sonnet，在這次版本更新中，Anthropic加入了一個(gè)獨(dú)特的功能是”computer use“。

這個(gè)computer use，其實(shí)就是PC版本的AI讀屏，它可以讀取你PC的屏幕，并根據(jù)你給出的一段話的任務(wù)指令，自動(dòng)完成諸如搜旅游攻略、寫(xiě)程序代碼等功能。

不過(guò)，在Anthropic官方的描述中，在OSWorld（評(píng)估 AI 模型像人類一樣使用計(jì)算機(jī)的能力）上，Claude 3.5 Sonnet的得分為14.9%，遠(yuǎn)未達(dá)到人類平均水平，人類平均得分是70%-75%。

要想提高模型準(zhǔn)確度，本地個(gè)人知識(shí)庫(kù)也就成了必須。

在過(guò)去這短短一周里，這么多AI巨頭和手機(jī)廠商都瞄準(zhǔn)了AI讀屏功能在猛攻，顯然是將這一功能視為了AI手機(jī)的殺手級(jí)應(yīng)用。

AI讀屏，確實(shí)最能體現(xiàn)AI手機(jī)的“AI”與智能手機(jī)的“AI”的本質(zhì)區(qū)別，也是各大手機(jī)廠商的機(jī)會(huì)。

對(duì)于像我們這樣的普通消費(fèi)者來(lái)說(shuō)，未來(lái)，AI不只會(huì)接管你的手機(jī)，甚至還會(huì)接管你的PC，乃至更多電子設(shè)備。

而這樣的UI Agent，其實(shí)還不是端側(cè)智能體的終極形態(tài)。