驚艷！微軟Mu用大模型簡(jiǎn)化Windows 11設(shè)置操作！

Mu 小語(yǔ)言模型使 AI 代理能夠?qū)?shù)百個(gè)系統(tǒng)設(shè)置執(zhí)行操作。它現(xiàn)在為一些 Windows 預(yù)覽體驗(yàn)成員提供預(yù)覽版。點(diǎn)擊輸入圖片描述（最多30字）Mu 進(jìn)行實(shí)時(shí)問答的屏幕截圖。圖片：Windows YouTube 頻道微軟用于設(shè)備端處理的最新小語(yǔ)言模型MU有一個(gè)特定的用例：Windows 11 設(shè)置應(yīng)用程序。 6 月 23 日，Microsoft 推出了 Mu，這是一種緊湊的語(yǔ)言模型，旨在直接在 Windows 設(shè)備上運(yùn)行。Mu 專為增強(qiáng)新的設(shè)置代理而構(gòu)建，已在 Copilot+ PC 的預(yù)覽版中提供，并且是免費(fèi)提供的。Mu 是 Settings （設(shè)置） 菜單中 AI 代理背后的技術(shù)，允許用戶提出自然語(yǔ)言問題。獲得許可后，代理可以自行采取行動(dòng)來解決用戶提出的問題。因此，它需要能夠解釋和操作數(shù)百個(gè)系統(tǒng)設(shè)置。Mu 現(xiàn)在為一些 Windows 預(yù)覽體驗(yàn)成員提供預(yù)覽版。Mu 如何將處理能力打包到相對(duì)緊湊的硬件上Mu 是由 Microsoft 研究團(tuán)隊(duì)開發(fā)的 3.3 億參數(shù)模型。與基于云的大型語(yǔ)言模型不同，Mu 完全使用神經(jīng)處理單元 （NPU） 在設(shè)備上運(yùn)行。這使它能夠直接響應(yīng)自然語(yǔ)言命令，例如“打開暗模式”或“調(diào)整亮度”，而無需依賴云服務(wù)或互聯(lián)網(wǎng)連接。目的是在 Windows 11 中啟用隱私優(yōu)先、低延遲的 AI 功能，從“設(shè)置”應(yīng)用程序開始。在 6 月 23 日的新聞稿中，微軟透露了“設(shè)置”中 AI 代理背后的設(shè)備上小語(yǔ)言模型的工作原理。Mu 首先在 Azure 機(jī)器學(xué)習(xí)上的 NVIDIA A100 GPU 上進(jìn)行訓(xùn)練。訓(xùn)練后，Mu 在 PC 的神經(jīng)處理單元（NPU）上運(yùn)行，以每秒100多個(gè)令牌的速度響應(yīng)。Mu建立在微軟從Phi Silica 學(xué)到的在設(shè)備上運(yùn)行小型語(yǔ)言模型的基礎(chǔ)上，Phi Silica是2024 年為Snapdragon X 系列筆記本電腦上的 Windows 11 Copilot+ PC 構(gòu)建的模型。據(jù)微軟稱，選擇編碼器-解碼器語(yǔ)言模型而不是僅解碼器架構(gòu)也可以提高效率。“通過將輸入令牌與輸出令牌分開，Mu 的一次性編碼大大減少了計(jì)算和內(nèi)存開銷。”微軟副總裁兼 Windows 應(yīng)用科學(xué)杰出工程師 Vivek Pradeep 在博客文章中寫道。“在實(shí)踐中，這意味著在專用硬件上具有更低的延遲和更高的吞吐量。”微軟表示，編碼器-解碼器語(yǔ)言模型比僅解碼器模型更高效。Mu 使用編碼器-解碼器 transformer 架構(gòu)構(gòu)建，與傳統(tǒng)的純解碼器模型相比，該架構(gòu)可以更高效地處理輸入。據(jù)稱，Mu 提供了：·Qualcomm NPU 上的首令牌延遲縮短 47%·與僅使用標(biāo)準(zhǔn)解碼器設(shè)置相比，解碼速度提高了 5倍·推理速度超過每秒 100 個(gè)令牌，在 Surface Laptop 7 等設(shè)備上達(dá)到 200 個(gè)令牌/秒以上響應(yīng)時(shí)間低于 500 毫秒為了進(jìn)一步優(yōu)化 Windows 設(shè)備的 Mu，Microsoft 集成了以下功能：·共享輸入/輸出嵌入層·旋轉(zhuǎn)嵌入和分組查詢注意力·雙層規(guī)范·8 位或 16 位量化，處理速度更快·針對(duì) Intel、AMD 和 Qualcomm NPU 的硬件特定調(diào)整這些改進(jìn)使 Mu 即使在資源受限的硬件上也能高效運(yùn)行。Mu 針對(duì) Copilot+ PC 上的 NPU 進(jìn)行了優(yōu)化在使用 NPU 的過程中，微軟的開發(fā)人員學(xué)會(huì)了如何塑造 Mu 的設(shè)計(jì)以適應(yīng)處理器。這包括確保模型架構(gòu)和參數(shù)形狀與硬件的并行度和內(nèi)存限制保持一致，優(yōu)化編碼器和解碼器之間的參數(shù)分布，以及以其他方式提高效率。通過使用相同的權(quán)重集來表示輸入令牌和生成輸出 logits，從而減少了參數(shù)數(shù)量，這是確保在內(nèi)存受限的 NPU 上快速執(zhí)行的關(guān)鍵因素。如果用戶提出的問題提示 NPU 上不支持或效率低下的任何作，Mu 將避免這些作。此外，對(duì)變壓器架構(gòu)和模型量化技術(shù)的更改提高了NPU的電源效率。“設(shè)置”中的 AI 代理在 Windows 11 Insider Preview 版本中可用，可供 Windows 預(yù)覽體驗(yàn)成員在開發(fā)人員頻道中訪問。目前只有搭載 Snapdragon 的 Copilot+ PC 可以使用它，盡管 微軟表示基于 AMD 和 Intel 的 PC 將在未指定日期獲得訪問權(quán)限。

Mu 小語(yǔ)言模型使 AI 代理能夠?qū)?shù)百個(gè)系統(tǒng)設(shè)置執(zhí)行操作。它現(xiàn)在為一些 Windows 預(yù)覽體驗(yàn)成員提供預(yù)覽版。

Mu 進(jìn)行實(shí)時(shí)問答的屏幕截圖。圖片：Windows YouTube 頻道

微軟用于設(shè)備端處理的最新小語(yǔ)言模型MU有一個(gè)特定的用例：Windows 11 設(shè)置應(yīng)用程序。 6 月 23 日，Microsoft 推出了 Mu，這是一種緊湊的語(yǔ)言模型，旨在直接在 Windows 設(shè)備上運(yùn)行。Mu 專為增強(qiáng)新的設(shè)置代理而構(gòu)建，已在 Copilot+ PC 的預(yù)覽版中提供，并且是免費(fèi)提供的。

Mu 是 Settings （設(shè)置） 菜單中 AI 代理背后的技術(shù)，允許用戶提出自然語(yǔ)言問題。獲得許可后，代理可以自行采取行動(dòng)來解決用戶提出的問題。因此，它需要能夠解釋和操作數(shù)百個(gè)系統(tǒng)設(shè)置。

Mu 現(xiàn)在為一些 Windows 預(yù)覽體驗(yàn)成員提供預(yù)覽版。

Mu 如何將處理能力打包到相對(duì)緊湊的硬件上

Mu 是由 Microsoft 研究團(tuán)隊(duì)開發(fā)的 3.3 億參數(shù)模型。與基于云的大型語(yǔ)言模型不同，Mu 完全使用神經(jīng)處理單元 （NPU） 在設(shè)備上運(yùn)行。這使它能夠直接響應(yīng)自然語(yǔ)言命令，例如“打開暗模式”或“調(diào)整亮度”，而無需依賴云服務(wù)或互聯(lián)網(wǎng)連接。

目的是在 Windows 11 中啟用隱私優(yōu)先、低延遲的 AI 功能，從“設(shè)置”應(yīng)用程序開始。

在 6 月 23 日的新聞稿中，微軟透露了“設(shè)置”中 AI 代理背后的設(shè)備上小語(yǔ)言模型的工作原理。Mu 首先在 Azure 機(jī)器學(xué)習(xí)上的 NVIDIA A100 GPU 上進(jìn)行訓(xùn)練。訓(xùn)練后，Mu 在 PC 的神經(jīng)處理單元（NPU）上運(yùn)行，以每秒100多個(gè)令牌的速度響應(yīng)。

Mu建立在微軟從Phi Silica 學(xué)到的在設(shè)備上運(yùn)行小型語(yǔ)言模型的基礎(chǔ)上，Phi Silica是2024 年為Snapdragon X 系列筆記本電腦上的 Windows 11 Copilot+ PC 構(gòu)建的模型。

據(jù)微軟稱，選擇編碼器-解碼器語(yǔ)言模型而不是僅解碼器架構(gòu)也可以提高效率。

“通過將輸入令牌與輸出令牌分開，Mu 的一次性編碼大大減少了計(jì)算和內(nèi)存開銷。”微軟副總裁兼 Windows 應(yīng)用科學(xué)杰出工程師 Vivek Pradeep 在博客文章中寫道。“在實(shí)踐中，這意味著在專用硬件上具有更低的延遲和更高的吞吐量。”

微軟表示，編碼器-解碼器語(yǔ)言模型比僅解碼器模型更高效。

Mu 使用編碼器-解碼器 transformer 架構(gòu)構(gòu)建，與傳統(tǒng)的純解碼器模型相比，該架構(gòu)可以更高效地處理輸入。據(jù)稱，Mu 提供了：

·Qualcomm NPU 上的首令牌延遲縮短 47%

·與僅使用標(biāo)準(zhǔn)解碼器設(shè)置相比，解碼速度提高了 5倍

·推理速度超過每秒 100 個(gè)令牌，在 Surface Laptop 7 等設(shè)備上達(dá)到 200 個(gè)令牌/秒以上

響應(yīng)時(shí)間低于 500 毫秒

為了進(jìn)一步優(yōu)化 Windows 設(shè)備的 Mu，Microsoft 集成了以下功能：

·共享輸入/輸出嵌入層

·旋轉(zhuǎn)嵌入和分組查詢注意力

·雙層規(guī)范

·8 位或 16 位量化，處理速度更快

·針對(duì) Intel、AMD 和 Qualcomm NPU 的硬件特定調(diào)整

這些改進(jìn)使 Mu 即使在資源受限的硬件上也能高效運(yùn)行。

Mu 針對(duì) Copilot+ PC 上的 NPU 進(jìn)行了優(yōu)化

在使用 NPU 的過程中，微軟的開發(fā)人員學(xué)會(huì)了如何塑造 Mu 的設(shè)計(jì)以適應(yīng)處理器。這包括確保模型架構(gòu)和參數(shù)形狀與硬件的并行度和內(nèi)存限制保持一致，優(yōu)化編碼器和解碼器之間的參數(shù)分布，以及以其他方式提高效率。

通過使用相同的權(quán)重集來表示輸入令牌和生成輸出 logits，從而減少了參數(shù)數(shù)量，這是確保在內(nèi)存受限的 NPU 上快速執(zhí)行的關(guān)鍵因素。

如果用戶提出的問題提示 NPU 上不支持或效率低下的任何作，Mu 將避免這些作。

此外，對(duì)變壓器架構(gòu)和模型量化技術(shù)的更改提高了NPU的電源效率。

“設(shè)置”中的 AI 代理在 Windows 11 Insider Preview 版本中可用，可供 Windows 預(yù)覽體驗(yàn)成員在開發(fā)人員頻道中訪問。目前只有搭載 Snapdragon 的 Copilot+ PC 可以使用它，盡管 微軟表示基于 AMD 和 Intel 的 PC 將在未指定日期獲得訪問權(quán)限。