Apple Intelligence：蘋果終于打響大模型時代第一槍

千呼萬喚，蘋果終于官宣了 Apple Intelligence。

這一次，讓我們直接略過 IOS 18、MacOS Sequoia 以及其他 iPadOS、watchOS等等的更新，直接來看本次大會最受外界關注的蘋果的AI進展。

（插播一句，Apple Vision Pro 將于6月28日在中國大陸首發）

蘋果定義的好用AI

在正式介紹 Apple Intelligence 之前，CEO庫克先簡單說明了一下蘋果認為一個好用的AI產品應該具備什么條件。

他提到了5個關鍵詞：功能強大、簡潔易用、完美集成、個人定制、注重隱私。

言外之意似乎是在向觀眾們解釋，為什么蘋果這么久也沒在這波AI浪潮中推出什么產品或功能（因為咱們注重這些，而這些都很難，市面上的產品們也并沒做好......）。

高級副總裁克雷格上來先拉踩了一波其他產品。

“目前市面上不乏一些讓人眼前一亮的聊天工具，它們能利用全世界的知識來執行大量的任務，但很少能充分了解你或你的需求。”

所以，Apple Intelligence 的核心產品力，就是更懂你的個人化智能系統。

概括來說，Apple Intelligence 主要通過自然語言與用戶交互、“讀懂”并生成圖片、直接操作其他Apps、以及理解只屬于個人的其他信息。

在推出時間上，「四木相對論」還是要給廣大消費者劃個重點：

Apple Intelligence將于今年夏天在美國推出英語試用版本。今年秋天將在iOS 18、iPadOS 18、macOS Sequoia中上線beta版本，其他功能及語言支持將在明年陸續推出。

老產品Siri，獲得新生

首先來看自然語言方面。

最先介紹的，是Siri的更新。蘋果最終還是選擇繼續迭代Siri這個已經上線13年的老產品，而不是“換號重開”。

Siri有了新的“皮膚”和 Logo。在實際交互時，用戶喚醒Siri后出現的不再是屏幕下方那個轉動的小球，而是頗為酷炫的閃爍擴散的光波。

在演示demo中，用戶可以更自然的與Siri進行語音交流。

比如，當用戶發覺自己表達有問題時，可以迅速修正，Siri可以準確識別更正后的內容。

此外，用戶可以在連續對話中使用代詞，Siri能夠根據已有的上下文知道用戶在后續對話中指代的是前文的哪個對象。

在demo演示中，用戶詢問了Siri一個目的地的天氣，并讓Siri創建一個明天去那里徒步的日程，Siri能夠準確識別出用戶所說的“那里”是什么地方。

在demo中，Siri大約需要4秒鐘來完成這一指令。

考慮到模型需要攜帶上下文來理解用戶的語義，并調用日歷App的API完成日程創建的任務后才會返回，這一等待時延還是相對可以接受的。

另一項交互上的更新，是允許與Siri通過打字的方式完成對話，這一更新直接干掉了ChatGPT App。

用戶只需要在屏幕下方快速輕點兩下，即可喚起Siri的輸入框，通過打字的方式完成指令的輸入。

這個無需打開、跳轉至任何App的交互方式，直接將ChatGPT等一眾大模型App所取代，蘋果直接將用戶使用AI功能的入口放在了系統最前端——鎖屏頁面上。

另一個主要能力，是支持Siri在用戶發起指令時，感知當前屏幕上的實時信息。

在demo演示中，用戶可以直接在信息App的頁面，讓Siri將當前對話窗口中的地址信息添加到這個對話用戶的聯系人名單中。

Siri可以在屏幕信息中找到用戶所說的“地址信息”，并能夠識別該對話人對應通訊錄中的哪一個。

此外，Siri還可以對其他App進行直接操作。

用戶可以直接通過自然語言描述，讓Siri找到符合搜索條件的照片，并能夠通過語音，讓Siri直接對照片進行編輯操作。

在執行照片搜索任務時，demo中Siri的速度快的有點離譜，幾乎是語音命令剛結束1秒，搜索結果就已經出現了。在隨后的照片編輯中，Siri自動調整了照片的亮度和對比度。

在結束編輯后，用戶依然可以繼續通過語音輸入，讓Siri把這張圖片添加到備忘錄中的指定位置。

除了Siri之外，其他與文本相關的演示內容都是比較常規的大模型應用，比如總結文章要點、潤色郵件、修正語法錯誤等。

“不用再費勁琢磨prompt了”

語言功能之后，蘋果介紹了Apple Intelligence中的圖像相關功能。

首先是非常有意思的自創emoji功能，蘋果給它起了個酷炫的名字，Genmoji。

用戶可以在發送emoji的位置，添加一個自創的新的emoji。通過自然語言直接描述，或使用照片圖庫中已經識別出的不同人物的形象，用戶可以創建全新的自定義emoji。

除了emoji外，Apple Intelligence 還允許用戶通過模型生成圖片。

Apple Intelligence 主打的是通過預設好的參數來降低生成圖片的門檻。

用戶可以通過選擇預設好的主題、對象、服裝、配置、場景等詞條，來快速生成預覽圖，“不用再費心琢磨提示詞”。

另外，圖片生成全部是在設備本地運行的，這意味著用戶不用擔心成本問題，想用多少次就用多少次。

當然，如果預設的關鍵詞、圖片風格不夠，用戶也可以通過輸入單詞的形式來添加自定義關鍵詞，或者手動選擇動畫、素描或插圖中的任意一種圖片風格。

總之，用戶不需要寫大段的、復雜的prompt。

備忘錄App中也集成了圖片生成功能，新的工具的名字叫做 Image Wand。

Image Wand支持用戶用Apple Pencil 將草圖圈起來，來觸發一個自動生成的圖片生成區域，Apple Intelligence會結合草圖及周圍的筆記，自動創建一張圖片。

Apple Intelligence還支持用戶快速修圖。

只需要在照片圖庫中打開編輯，全新的“清除”功能允許用戶圈選需要消除的對象，Apple Intelligence會根據圖片內容來不改動主體的情況下智能一鍵去除選定的對象。

如果你還是想用ChatGPT...

最后，克雷格介紹了蘋果為了不讓用戶因為要使用其他模型或工具而頻繁切換App做出的“犧牲”。

當用戶發給Siri的指令讓Siri“覺得”可能ChatGPT會有更好的答案時，Siri會詢問用戶是否允許它使用ChatGPT來完成任務。

當用戶允許后，Siri會直接調用ChatGPT，并直接返回ChatGPT給出的答案。

用戶還可以在“編寫”功能中直接向ChatGPT發起指令，并且可以使用ChatGPT的圖片生成功能。

值得注意的是，沒有ChatGPT賬號的用戶并不需要注冊OpenAI賬號就能夠通過上述的方式使用ChatGPT。

而ChatGPT的付費訂閱用戶則可以主動綁定自己的OpenAI賬號，并使用ChatGPT的付費能力（比如最新版的GPT-4o模型）。

“重新定義AI隱私安全”

除了核心產品能力的介紹，克雷格還在開頭簡單說明了Apple Intelligence的技術架構。

得益于蘋果在芯片領域的不斷深耕，在A15 Pro及所有M系列芯片的設備上，模型都將部署在設備本地，并利用本地資源進行計算。

當用戶的需求需要調用到更大的云端模型時，設備將會在征得用戶的同意后，調用部署在云端的更大的模型，整個過程在芯片級保護用戶隱私數據的安全。

蘋果為之創造了一個新的名詞：Private Cloud Compute（私人云計算）。

Private Cloud Compute 相比于其他公有云服務主要提升的是隱私數據安全保護。

所有計算都將運行在Apple芯片的服務器上，提供與iPhone同樣的芯片級別保護能力。

當用戶發出一次請求后，Apple Intelligence首先會分析這次請求是否能夠在設備端本地直接處理完成。

如果不行，則會選擇使用 Private Cloud Compute 服務請求云端更大的模型來完成任務。

整個過程中，Apple Intelligence僅會傳輸跟本次任務強相關的數據，蘋果不會存儲任何用戶的數據，數據僅被用來完成用戶的請求。

并且同iPhone、iPad、Mac一樣，設備可以拒絕與未提供公開檢查報告的服務器進行數據交互（以上均為“據說”）。

據此，“蘋果為AI隱私設定了新的標準”。

迷霧中的端側模型

縱觀本次發布會上的所有AI功能，除了Genmoji富有創意之外，其他AI功能似乎都沒有那么“新穎”。相比之下，將模型部署在本地設備更值得關注。

不同于微軟直接官宣的Phi-Silica，發布會上并沒有公開任何本地設備所搭載的模型信息，不論是型號還是參數量。

雖然蘋果的研究團隊于今年3月14日在arXiv上發表了 MM1 多模態大模型的技術論文，但對比Phi-3家族中最小的僅有3B參數的Phi-Silica，MM1的參數量足足大了10倍。

Apple Intelligence 最終選擇的端側小模型如果不是其他的未發布的研究成果，很有可能是具有更小規模參數的縮小版 MM1 大模型。

本次發布會上蘋果也直接官宣了跟OpenAI的合作，也不排除OpenAI對 Apple Intelligence 的端側小模型提供了技術支持。

不過考慮到 OpenAI 基本是與英偉達強綁定，技術架構肯定也會基于CUDA來優化迭代，蘋果不太可能放棄投入了十多年研發的M系列自家芯片，不基于硬件架構和軟件生態來研發自家的端側模型。

畢竟，蘋果非常在意“軟硬一體”所構建的良好體驗與產品壁壘。

繼微軟推出 AI PC 后，蘋果也選擇將一個可能相對較小的模型部署在設備本地，未來肯定會有越來越多的端側模型被直接集成在各種智能設備上。

這些小模型被期望能夠響應大多數用戶的請求。

通過本地部署、本地運算的模式，提供給用戶更快響應、沒有算力成本負擔的AI解決方案，應該會是未來各種智能設備集成AI能力的主要路線。

當然，端側模型實際的效果如何，只能等大規模用戶真實的需求所檢驗了。