撞上微信的“風控墻”后,豆包助手被越來越多的App攔在門外。
南都記者實測發現,截至12月5日,QQ、支付寶、淘寶、淘寶閃購、高德地圖、拼多多、建行、農行等App,均限制豆包助手進行自動化任務操作。即使在手機設置中關閉豆包助手功能,部分App依然無法登錄。許多App廠商也并不認可有對豆包助手采取針對性風控措施。
這款字節跳動發布一周的AI手機智能體,先是引起外界對其自主操作任務能力的贊許,繼而陷入輿論漩渦。
根據實測,憑借與中興努比亞的深度“聯姻”,豆包助手拿到一般App無法獲取的更高層級操作系統權限。這是其能像人一樣使用各款App的技術基礎,從而幫人類代勞完成諸多任務。便利背后,豆包助手也因此被質疑調用系統級敏感權限,讓用戶隱私有被侵害之虞。
豆包助手還可能改變用戶使用手機的習慣。努比亞M153手機為豆包助手專門配置了物理按鍵。用戶長按該鍵即可喚醒豆包助手,通過語音發出指令,豆包助手便會調用手機桌面上的相應App去執行任務。這一過程中,豆包助手成為流量分發的入口,被調用的App變成“配角”。在許多聲音看來,手機AI助手的出現,可能攪動既有的互聯網平臺競爭格局。
爭議之下,豆包助手官方不得不數度回應。其核心意思大致是,豆包助手已事先做好了各項隱私保護舉措,同時積極尋求與各應用廠商的深度溝通,并對AI操作手機的能力做規范化調整。
盡管豆包助手的起步并不順暢,但手機助手與AI大模型結合的趨勢難以逆轉。一位頭部券商的科技分析師指出,豆包助手帶給行業的意義,遠遠高于目前產品的技術成熟度。
對外經濟貿易大學數字經濟與法律創新研究中心主任許可表示,任何顛覆性創新都有牽一發而動全身的效應,它不僅觸動特定的商業場景,還將挑戰既有的行業格局、市場倫理和法律制度。人工智能創新更是如此。AI智能體的使用一方面要堅守合規底線,在保障安全、不侵害用戶和第三方權益的前提下進行,另一方面還應將公平、透明、誠信、包容等更廣泛的社會福祉納入考量,從而實現真正“負責任的創新”。
豆包助手拿到的權限“更高一籌”
字節跳動旗下的豆包App依然局限于聊天機器人形態,可以回答用戶的提問,卻無法幫用戶完成點外賣、預訂機票等跨App的任務。而內嵌到努比亞M153上的豆包助手彌補了這項能力,仿佛讓AI長出了“手腳”,能像人類一樣去讀取屏幕內容和完成點擊操作。
努比亞M153由字節跳動和中興合作打造。按照分工,字節跳動主導A1手機助手的產品定義與體驗,而中興旗下努比亞負責硬件及制造部分。雖然官方強調這款手機只是“工程樣機”,但阻擋不了首批產品銷售一空。
在大量App給豆包助手設限前,這款AI手機智能體展現了較為通用的自主操作能力,不局限于個別單一任務。雖然不能保證每次均成功執行指令,但豆包助手的成功率高于南都記者此前測試的其他同類型產品。
實測發現,即時通信場景下,豆包助手可以給QQ好友發消息、打電話,幫忙瀏覽和梳理QQ空間的好友動態;生活服務情境中,豆包助手能自主點外賣、多平臺進行商品比價,還可以幫忙購買機票、在滴滴上領優惠券;娛樂休閑場景中,豆包助手還能自動刷短視頻,總結微博熱搜內容。當B站用戶為了在評論區留言而必須完成題目測驗時,豆包助手也能上手答題。
![]()
當B站用戶為了在評論區留言而必須完成題目測驗時,豆包助手也能上手答題。圖中白色圓點為智能體進行模擬點擊。
此外,豆包助手還表現出糾錯和抗干擾能力:自主關閉App內的彈窗,糾正先前操作步驟犯下的錯誤,并能在任務執行遇阻時變通尋找其他解決方案。
在南都的一次實測中,豆包助手點瑞幸咖啡時多選或選錯了口味,但它在確認購物車商品之前,將不符合用戶需求的咖啡品類和數量刪除。另一項測試中,在用戶語音指令豆包助手給某位QQ好友撥打語音電話時,由于語音轉文字識別的人名并不準確,豆包助手在QQ搜索框多次檢索該錯誤人名無果,轉而從QQ聯系人列表中去尋找同音的好友賬號。
豆包助手《應用權限申請與使用情況說明》文檔中提示,豆包助手會調用INJECT_EVENTS權限,以實現操作點擊。豆包方面亦公開承認,INJECT_EVENTS確實是系統級權限,擁有該權限許可,相關產品才能跨屏、跨應用來模擬點擊事件,完成用戶操作手機的任務需求。且目前行業的AI助手,均需要使用該權限(或與其類似的無障礙權限)才能提供操作手機的服務。
![]()
豆包助手會調用INJECT_EVENTS權限,以實現操作點擊。
北京漢華飛天信安科技有限公司總經理彭根告訴南都記者,操作系統級別權限,意味著普通安裝的第三方App無法獲取到該權限。字節跳動和中興在操作系統層面展開合作,為獲取到INJECT_EVENTS權限掃清障礙。對于像智譜AutoGLM這類第三方App,先前只能借助手機系統上功能相似的無障礙權限——無障礙權限最初是方便殘障人士使用手機的模塊,也能讓手機AI助手進行讀屏和模擬點擊。
這意味著,INJECT_EVENTS權限的獲取門檻更高,必須由手機廠商的欽定。但無障礙權限是所有App都有機會使用。
從實測的體感上來看,如果通過無障礙權限實現“讀取屏幕+模擬點擊”,手機智能體會占用手機終端的屏幕,用戶無法同時在手機上操作其他事項。豆包助手則不然,它可以后臺運行,不影響用戶同步刷抖音或使用其他App。
網絡安全專家曲子龍向記者解釋,無障礙權限的工作邏輯,完全是模仿用戶的前臺應用操作。手機智能體若是依附這項應用層的權限,中止無障礙權限就等同于退出一款應用,自然不會繼續執行任務。而豆包助手是一個擁有手機系統底層權限的應用,所以具備后臺執行任務的能力。但INJECT_EVENTS權限只負責模擬用戶指令的操作,“允許后臺活動”需要系統提供其它的權限才能完成。
無論是使用無障礙權限,還是調用操作系統級的INJECT_EVENTS權限,類型上均屬于業內所說的“視覺路線”:和人類查看屏幕內容和操作手機并無二致,且執行任務能力具有通用性,無需單個第三方App的逐一適配。
至于手機助手任務執行流暢度、成功率的高低,彭根認為,這考驗的是不同廠商AI模型在語義和圖形理解、任務規劃等方面的能力水平。
上線一周,豆包助手撞上“風控墻”
從12月2日晚間開始,陸續有努比亞M153的用戶發現,使用豆包助手自動操作任務后,會導致微信賬號異常退出。隨后,豆包助手下線了自動操作微信的能力。
微信相關人士彼時向南都記者表示:“目前了解到沒有什么特別的動作,看是不是觸發了微信的安全風控措施。”
調用微信受阻后,豆包助手接連“碰壁”。南都記者在12月4日測試發現,當豆包助手替用戶代勞“干活”,支付寶、淘寶閃購、拼多多、建行、農行等App紛紛“關門謝絕”,部分App提示“登錄環境存在異常”。其中,即使在手機設置中關閉豆包助手,仍無法在手機上等登錄支付寶、淘寶閃購、拼多多這三款應用的個人賬號。
到了12月5日,南都記者實測發現,此前一日能正常使用的QQ、淘寶、高德地圖,也加入到“拉黑”豆包助手的行列。從設置中關閉豆包助手之后,淘寶、高德地圖依然無法正常使用。
![]()
截至12月5日,QQ、支付寶、淘寶、淘寶閃購、高德地圖、拼多多、建行、農行等App,均限制豆包助手進行自動化任務操作。
無法調用如此多常用的App,也讓一些用戶在豆包助手飛書群中調侃,新買的AI手機恐變成板磚。
除微信之外,其余各方均未就賬號登錄異常給出公開說明。南都記者了解到,App廠商們大多不承認有針對豆包助手采取專門的風控措施。
“從賬戶保護的角度來說,確實不需要單獨采取對豆包助手的風控,它觸發的是廠商在賬戶保護的標準風控機制。”曲子龍表示,近年來為了遏制互聯網盜號、惡意的集群批量養號、水軍等各種賬戶安全問題,各廠商都在賬號安全方面做了各種安全策略。在一臺新手機上進行敏感操作,遇到圍繞賬戶使用的一些異常提示,其實在安全從業者眼里都是正常且有依據的風控表現。
實際上,不少App早已對自動化操作軟件設防:包括微信、支付寶甚至抖音自身都以平臺協議的形式約定,用戶不得使用任何自動化程序,獲取App服務及收集或處理其中的信息。
![]()
《抖音用戶協議》
浙江理工大學數據法治研究院執行院長郭兵向南都記者分析,從法律關系角度而言,第三方App可以根據與用戶的協議約定,對使用過自動化軟件的用戶賬號予以處置。此時,用戶與AI手機助手之間的服務協議,同用戶與第三方App的約定發生沖突,涉及第三方App的約定一般應該優先適用。
另有觀點質疑平臺約束性條款的效力。華東政法大學經濟法學院副教授翟巍提到,用戶享有權利選擇代表其進行行動的AI助手,第三方App不能因此歧視用戶。若第三方App剝奪用戶自由選擇AI智能體的權利,這構成格式條款,對應的平臺條款應認定無效。
平臺利益相關方之間不點名的“口水戰”中,INJECT_EVENTS權限調用成為重大關切。
外界一種聲音認為,INJECT_EVENTS屬于“上帝之手”級別的操作系統高危權限,并暗示黑客可能突破操作系統限制拿到這一權限。
高危權限之說亦得到其他安全專家的認同。彭根介紹,INJECT_EVENTS權限足夠大,風險自然是高的。拿到該權限的廠商是否作惡,很大程度上依靠公司的自律。對于廠商之外的第三方想侵入拿到INJECT_EVENTS權限的情形,則考驗手機系統廠商和AI智能體公司對外來安全威脅的防護能力。
針對敏感權限調用的擔憂,字節跳動對外回應的落腳點有三:一是強調豆包助手自身不存在任何黑客行為;二是訴諸行為的普遍性,稱行業內的其他AI助手也在使用INJECT_EVENTS權限;三是擺出已采取的隱私防護措施,聲明不會代替用戶進行相關授權和敏感操作(如支付)。
曲子龍近日撰文指出,如果AI助手通過無障礙服務實現操作指令,這屬于應用層對功能權限的授權,并且所有App都能使用這一權限。相比之下,使用INJECT_EVENTS權限顯然在安全上是進步了的,“畢竟它可不是隨便哪個App都能獲取到的權限,你只需要監督豆包AI助手是否作惡就行了。”
在此次INJECT_EVENTS權限進入公眾視野前,無障礙權限作為高敏感權限,今年以來持續引發業內關于隱私安全的討論。一位互聯網合規人士稱,無障礙權限開啟后,可以讀取屏幕文本內容,監視和記錄用戶的所有操作,其中有可能包括用戶輸入的敏感信息。
無障礙權限爭議之下,智譜AutoGLM于今年8月發布的2.0版本更改了產品形態:采購云手機服務——一類基于云計算技術的虛擬手機服務,讓智能體直接調用云端手機桌面的App完成任務,而無需索取手機終端的無障礙權限。有知情人士告訴記者,AutoGLM如此迭代,除了應對多款第三方App的封禁,亦是為了達到手機應用商店的上架標準。
對于底層權限的隱私風險,普通用戶較難切身感知。更為直觀的依然是上手體驗:豆包助手在任務操作時,用戶能察覺到它在讀取屏幕上各類內容。無論是點外賣還是即時通訊,電話、家庭地址、聊天記錄等信息都可能被AI助手捕獲。豆包助手還擁有全局記憶功能,用戶可以選擇手動記憶或設置為AI自動記憶,從而讓手機助手更懂用戶的偏好和特征。
字節跳動顯然意識到,這些AI功能可能刺激外界的隱私焦慮。和努比亞M153手機一同發布的,還有一份《豆包助手隱私安全白皮書》,其中開宗明義地講到:“豆包助手在所有產品和服務的設計過程中,始終將用戶的數據與隱私安全性作為首要考慮因素之一。”字節跳動同時聲明,手機助手讀取屏幕和操作過程都不會在服務器端留下存儲,且所有的相關內容也都不會進入模型訓練。
這樣的承諾以及技術性保護措施的描述,能否取得普通用戶的信任,目前難以下定論。從社交平臺用戶反饋的情況看,一些聲音對AI智能體抱有疑慮,根植于對國內互聯網企業固有的不信任感。
但站在功能實現的角度,彭根認為,如果要讓手機助手提高生活品質,提供最好的服務,前提是讓它對用戶有足夠的了解。在此過程中,向AI告知個人信息甚至敏感信息變得不可避免。
流量入口遷移的攻防博弈
AI手機助手繞不開的障礙,不僅僅有來自用戶和第三方App的信息安全顧慮,還有第三方App對流量入口轉移的設防。
多位業內受訪者此前向記者表示,AI智能體的自動化操作,可能會波及第三方App的停留時長、廣告推薦等獲利模式,將原本的流量入口從App遷移至智能體,減少用戶關注和使用App的頻率。
在此過程中,如果手機AI助手沒有取得第三方App授權,便徑自進行自動化操作,容易激起第三方App廠商的反彈情緒。
手機AI助手廠商一方認為,其產品的合法性建立在用戶授權之上。第三方App廠商則追問,手機AI助手是否有經過應用軟件方的授權?
有第三方App廠商人士曾指出,智能體隨意調用另一個應用,獲取應用的數據信息并進行操作,實際上架空了應用軟件的安全機制,影響到運行模式,“App廠商被智能體繞道走后門,直接開窗撬鎖”。
這涉及目前業內具有爭議的“雙重授權”問題:AI手機助手除了獲取用戶授權,還需不需要第三方App的授權?
郭兵向記者指出,廣東省標準化協會于6月發布的團體標準《智能體任務執行安全要求》,以及中國軟件行業協會在4月發布的《移動互聯網服務可訪問性安全要求》,均要求智能體獲得用戶和第三方App的雙重授權。然而,中國軟件行業協會于10月發布的《智能體行為安全要求》已取消這一要求,轉而強調“用戶可控”。
《智能體行為安全要求》寫道:“智能體應確保相關行為能力支持用戶自主開啟、關閉或隨時終止,第三方App不應要求額外授權,妨礙用戶自主可控。”
郭兵表示,中國軟件行業協會前后的兩份團體標準是有一定的矛盾的。若將“新法優于舊法”的法理適用于團體標準,取消“雙重授權”可視為中國軟件行業協會層面最新的要求。中國軟件行業協會的團體標準此番調整,一定程度上是為了推動手機智能體的應用。
郭兵認為,如果出現智能體運營方與第三方App之間的不正當競爭糾紛,《智能體行為安全要求》這份標準可能成為智能體運營方否認構成不正當競爭的理由。但由于團體標準沒有強制性效力,法院是否會參考相關標準存在不確定性。
眼下,不同利益方的博弈暗流涌動。北京大學武漢人工智能研究院副院長呂鵬建議,國家網信辦推動立法立規工作,互聯網行業協會等開展建章立制、自我管理,妥善解決通用手機AI助手與第三方App之間協同、調用不順暢的問題,同時規范通用智能助手的發展。
如果“雙重授權”是必要的,回歸到技術層面,又引申出新的問題:“讀取屏幕+模擬點擊”的“視覺路線”,其前提優勢本身在于通用性,無需第三方App授權即可調用操作。一旦AI手機助手廠商必須與各個App廠商尋求授權合作,實際上可以回歸到準確率更高的API(應用程序編程接口)方案。
“如果App廠商愿意開放API,對手機AI助手而言是一項巨大優勢。”一位AI智能體研究人員此前向記者介紹,手機助手此時可以一步到位地執行用戶指令,無需每操作一步都運行一遍“感知—決策—執行”的流程。
但從實現難度來看,API接口方案的工程量浩大。曲子龍說,應用市場上有海量的App,每款App的場景都需要單獨接入。而且,開放API授權還要做大量的安全投入。可見,想要所有的App廠商配合幾乎不可能。
合規壓力也是另一個擔憂因素。一位榮耀的人士此前向記者感慨,有些第三方App并不愿意適配接入,擔憂開放API接口產生數據安全隱患。
商業利益層面的考量,亦在阻礙API接口方案的推進。綜合多位業內受訪者的看法,如果AI智能體操作任務,可能干擾App廠商的營利機制,如開屏廣告無法觸達用戶。此外,用戶使用時長是平臺非常看重的一項指標,而AI智能體本質上是幫用戶節省時間,“二者的需求是一個矛盾,不太可能調和。”
曲子龍認為,理想化的路徑是,手機AI助手開放一項技術標準,其余第三方App內嵌的Agent(智能體)再接入這一手機系統層的AI助手。該路徑之下,系統層的AI助手接收用戶需求,制定工作計劃,調度對應App內的Agent執行指令,最終收集結果反饋給用戶。
“這一定是最安全可控且更流暢的工作模式,但這條路也太理想化了。”在曲子龍看來,這至少要大部分App公司達成一致,且為了這個目標共同努力才能實現。而且,并不是每款App都需要做自己的Agent。相較而言,此種路徑雖然比API接口方案有所進步,但工程量依然不小,短期無望。
手機AI助手帶來的流量入口轉移變局,不僅僅事關第三方App,手機廠商也面臨抉擇:究竟是自研AI助手,還是像豆包助手手機這樣,直接采用外部大模型公司的產品?換句話說,類似于華為將智駕技術賦能汽車廠商的模式,在手機AI助手領域是否行得通?
字節跳動日前透露,正在和多家手機廠商推進手機助手的合作落地。從公開情況看,僅有魅族科技等表達了與字節跳動深入合作的意愿。與努比亞相似,魅族也不屬于國內手機廠商第一梯隊。
在IDC中國研究經理郭天翔看來,字節跳動很難跟手機大廠形成深度合作,只能賦能小廠。手機大廠在云側模型可以與互聯網公司合作,但是端側模型要堅持自研,這不僅是數據安全問題,也關乎未來AI場景下流量分發和用戶的爭奪。否則,將來手機廠商就僅僅是硬件平臺,只能賺取一點硬件毛利,話語權都被互聯網公司掌握。
但一位大模型公司了解手機智能體的人士向南都記者表示,當前來看,手機大廠缺乏與字節跳動合作的意愿,根源仍在于模型在當下的準確性還不夠,手機廠商也不想把一款不成熟的手機助手產品賣給消費者。若模型執行任務的準確率飆升到95%以上,使用的“絲滑”程度能真正提升效率,從而變成用戶在購買時的主要決策依據,屆時或許會有手機大廠接受類似豆包助手這樣的合作范式。
出品:南都數字經濟治理研究中心
采寫:南都N視頻記者 楊柳
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.