大家好我是歸藏(guizang),提前用了一下智譜新版的 AutoGLM。
前幾天參加了一下智譜關于電腦和手機操作的智能體 AutoGLM 新版本(https://autoglm.zhipuai.cn/)的閉門會,同時試用了一下。
這次的更新非常大,基本將這類 Agent 的使用場景和能力拓展了非常多。
AutoGLM 更新亮點:
- 全球首個手機通用 Agent,不止可以操控電腦而且可以操控手機
- Agent 的操作全在云手機&云電腦上運行,解放你自己的設備
- 全平臺覆蓋的客戶端:iOS、安卓、網頁都有,你可以在任何地方下發任務
- 可實現跨應用程序的自動、可泛化的任務執行 ,即將更新“定時任務”能力
![]()
這次主要的更新是云手機的 Agent 能力,我試了一下相當穩定和高效,我們先來看一下效果。
日常我們使用手機可以分成兩個部分的任務,第一部分是內容消費,我們看電視劇抖音視頻等來消遣時間,這部分是 AI 沒辦法替代的,只有自己看才能獲得內容消費帶來的愉悅感。
另一部分是各種生活服務和工具使用,這部分是 AI 發揮作用的時候了,而且語音和文字輸入對于老人以及殘障人士的幫助也非常大。
![]()
首先我們先來個復雜的任務,跨多個 APP 并且需要進行幾十次點擊這種。
日常一個事情我覺得用手機的時候是非常低效的。
在約朋友的時候經常不知道去哪吃,而且在北京通勤時間巨長,40 分鐘路程都算短的,找餐廳要在大眾點評,看通勤時間要在高德還得轉發給朋友一起挑餐廳,非常浪費時間,現在 AutoGLM 可以一次搞定了。
幫我規劃一個本周六在北京的兩人約會行程。上午去798藝術區,中午在大眾點評上找一家附近人均200元左右、評分最高的西餐廳給我三個選擇。下午去三里屯逛街,然后用高德看一下過去需要多長時間,幫我規劃整個行程的時間安排,我住回龍觀,他住望京,我們幾點出門合適該怎么走。這個任務非常復雜,Agent 需要跨兩個 APP 進行多次點擊和搜索操作,沒想到 AutoGLM 執行的很好。
首先他需要打開大眾點評,然后切換城市到北京-搜索798 藝術區-篩選人均消費價格,挨個點擊搜索結果記錄信息。
只是在這一個APP 上就需要起碼點 20 次。
![]()
然后他需要打開高德地圖,找到灰的幾乎看不到的開屏廣告跳過按鈕,開始分別查詢望京到 798 和回龍觀到 798 的路線和時間,最后還得查詢 798 到三里屯的時間。
在高德的操作看起來會比在大眾點評的更加復雜,首先是點擊次數更多,然后就是高德的界面內容真的又多又雜非常考驗模型的多模態內容識別能力。
![]()
再經過幾十次的點擊和七八次的文本輸入后 AutoGLM 非常快速而且準確的完成了任務,給出了餐廳的選擇以及不同時間段和地點的通勤時間。
這里有個給智譜的小建議,GLM 的回復有點雜了,感覺他需要更加細致的整理信息,比如先把最為確定的餐廳信息和通勤時間告訴我,然后再說他推測的出行安排,事實和推理分開這樣比較好。
![]()
男生日常購買一些必需品和商品的時候跟女生差別比較大,又需要比價,不然虧,但是又懶得去購物軟件上不斷的挑選和對比,這個時候就可以讓 AutoGLM 出馬了。
我直接讓他執行了一個我日常購買電子設備的常見流程,搜索京東和拼多多關于大疆無人機的價格信息然后匯總。
幫我分別在京東、拼多多上搜索‘大疆 Mini 4 Pro 無人機’,找出價格最低的平臺,并看看有沒有能用的優惠券或紅包,最后把最低價的商品鏈接和優惠信息總結給我。智譜 Auto GLM 智能體手機的使用過程科幻感非常強,你只需要語音輸入或者打字之后,他就會直接啟動云端的手機開始執行任務。
首次啟動會讓你登錄賬號,后面就不需要了,然后你就看著他非常快的輸入內容-查看搜索結果-分析詳情頁內容并且匯總,而且可以跨多個應用執行任務。
![]()
它默認會讀取平臺的前三個或者 5 個搜索結果,如果你覺得少的話可以在提示詞要求他讀取更多信息。
對于無人機這種標品來說三個結果已經足夠了,我們一般都是對比京東官方店和拼多多百億補貼的價格。
AutoGLM 給出了詳細的結果京東的優惠和拼多多的價格都有,還有大致的評價,基本已經支持我進行購買決策了,如果我買的話可能就去拼多多買 4219 的那個了。
![]()
內容運營上他也能幫忙,首先是信息檢索和整理,我可以要求他去國內特色的只有手機上才能訪問的內容平臺檢索內容后總結,幫我發布內容。
也可以讓他幫我分析賬號數據輔助運營,訪問和查看你的賬戶數據,然后進行分析和總結。
我想發一條關于‘周末北京City Walk’的小紅書。請先在小紅書和抖音搜索最近熱門的路線和打卡點,然后幫我寫一篇500字左右、風格活潑的文案,最后推薦10個熱門標簽。相較于其他有瀏覽器操作能力的 Agent AutoGLM 的搜索更加直觀和細致,手機上的操作要比網頁版更加順暢能看到的內容更多。
可以看到 GLM 4.5的內容整理和總結能力也很強,他不止給出了檢索的內容,而且還進行了二次加工,將多條內容整合成了一條,而且跟你說了不同的互動表現,讓你發內容的時候有側重點。
![]()
除了我們正常人這種需要跨多個 APP 進行信息整理和決策的任務以外,我還有一個場景就是幫爸媽設置手機。
隨著 大型 APP 越做越復雜加上無處不在的貸款和廣告,讓老人和殘障人士使用手機越來越艱難,他們根本無法理解手機的交互邏輯,比如哪里是展示的哪里可以點擊,AutoGLM 可以完美解決這個問題。
比如,我媽想看某個劇集的話,光是找到這個劇,然后點到對應的集數都要越過很多的障礙,有了 AutoGLM 我們完全可以直接把這些加到收藏或者已經觀看那里讓他繼續看就行。
我媽媽想看電視劇,幫我在騰訊視頻里找一個現在熱門的現實題材電視劇,不要執行搜索,直接點界面篩選找,并從第一集開始播放。然后幫我把這部劇添加到收藏夾里。 ![]()
AutoGLM 在檢索信息的時候有非常強的搜索沖動,所以在需要動用篩選功能的模糊任務需要跟他強調用篩選工具而非搜索,不然他可能會直接搜熱門現實題材電視劇,這種搜索詞夠嗆能搜到符合要求的內容。
在我跟他強調了使用搜索之后,AutoGLM 就是開始通過搜索來完成信息檢索的任務了,最后挑了長安的荔枝加入了收藏。
其實智譜這次將通用 Agent 拓展到手機是一個非常明智的決定,尤其是對國內的互聯網環境來說,而且能解決我們現在互聯網經濟增長最大的阻力。
以往很多公司由于參考海外產品的慣性忽略了國內的特殊情況。
不是所有人都是坐辦公室的,相當多的普通人其實不太接觸電腦,另外國內相當多必須的操作需要在手機 APP 上完成,海外產品可以做網頁點餐這種我們就肯定無法完成,必須在手機上操作。
![]()
他們通過手機虛擬機這個操作避免了Agent 跟用戶搶奪手機權限的問題,說到權限虛擬機也解決了 Agent 拿不到手機控制權的問題,虛擬機可以自由控制權限。
中國互聯網可能 80% 的流量和時間消耗都發生在移動設備上,Agent 驅動云手機這個操作直接解決了每個人只有 24 小時消費內容的問題,直接將內容和 APP 消費時間拓展了無數倍。
![]()
目前的互聯網基本就是注意力經濟驅動的,你的注意力會被算法廣告系統明碼標價讓廣告主進行競價支付,每個人的注意力是有限的,所以增長就是有限的。
AutoGLM 直接開辟了一個新的注意力增長通道,而且這個通道看起來增長是無限的。
我之所以說這個主要是因為在測試的時候,AutoGLM 做正常人的操作是沒啥問題的,但是由于國內幾大巨頭的反爬機制非常強大,AutoGLM 最需要克服的反而是各種無限彈出的驗證碼和強制下線等操作。
手機 Agent 化目前來看從模型能力和用戶需求上都是不可避免的發展方向,模型能力現在完全可以勝任了,剩下就是生態建設了。
希望國內的 AI 公司和幾個互聯網巨頭早日磨合出一個安全又穩定的手機 Agent 運行環境,畢竟不只是人可以創造價值,Agent 也可以,而且 Agent 的時間是無限的。
推薦大家試試 AutoGLM,體驗一下手機的“自動駕駛”和智譜送你的“車”。
我是歸藏,如果覺得今天的內容對你有用,并且插圖很可愛的話歡迎給我個三連,謝謝各位
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.