![]()
這項由德州大學奧斯汀分校Hung-Yueh Chiang等研究者領(lǐng)導的研究發(fā)表于2025年3月的arXiv預印本服務(wù)器,論文編號為arXiv:2512.03383v1。該研究還得到了康奈爾大學、臺灣陽明交通大學和華盛頓大學等多所知名院校的共同參與。有興趣深入了解的讀者可以通過該論文編號查詢完整論文。
當我們談?wù)撊斯ぶ悄軙r,經(jīng)常會遇到一個令人頭疼的問題:那些極其聰明的AI大模型就像一臺臺超級計算機,需要巨大的存儲空間和運算能力才能正常工作。這就好比想要在手機里裝下一整座圖書館的所有書籍一樣困難。然而,德州大學奧斯汀分校的研究團隊最近提出了一個名為UniQL的創(chuàng)新框架,它就像是給AI模型發(fā)明了一套"瘦身術(shù)",能讓這些超級大腦成功"減肥"并裝進普通的手機和邊緣設(shè)備中,同時還能保持原有的聰明程度。
當前的AI大模型面臨著一個根本性的矛盾。一方面,這些模型變得越來越強大,能夠處理復雜的語言理解、推理和生成任務(wù)。另一方面,它們也變得越來越"臃腫",動輒需要幾十GB甚至上百GB的存儲空間,還需要強大的GPU才能流暢運行。這種情況就像是擁有了一輛超級跑車,卻發(fā)現(xiàn)它只能在專門的賽道上行駛,無法在普通道路上使用。
更糟糕的是,移動設(shè)備和邊緣計算設(shè)備的資源是動態(tài)變化的。手機或平板電腦的可用內(nèi)存會根據(jù)當前運行的應用程序而波動,這意味著一個固定大小的AI模型可能在某些時候能夠運行,而在設(shè)備負載較重時就會因為內(nèi)存不足而崩潰。這種不確定性讓AI模型的邊緣部署變得極其困難。
研究團隊意識到,傳統(tǒng)的模型壓縮方法存在嚴重的局限性。現(xiàn)有的量化和剪枝技術(shù)通常只能生成固定大小的壓縮模型,就像是制作了一件固定尺碼的衣服,無法適應不同體型的人。而且,如果需要不同的壓縮率,就必須重新訓練模型,這個過程不僅耗時長達數(shù)小時,還需要消耗大量的計算資源。
UniQL框架的出現(xiàn)為這個問題提供了一個優(yōu)雅的解決方案。這個框架的核心思想可以用一個生動的比喻來理解:如果說傳統(tǒng)的模型壓縮就像是把一本厚書簡單地撕掉一些頁面,那么UniQL就像是一個智能的圖書管理員,它會仔細分析每一頁的重要性,然后按照重要程度重新排列所有頁面,這樣當需要縮減書本大小時,就可以直接從后面刪除最不重要的部分,而不會破壞整本書的邏輯結(jié)構(gòu)。
這項研究的創(chuàng)新性在于它是第一個系統(tǒng)性地將量化和結(jié)構(gòu)化剪枝相結(jié)合的后訓練框架,能夠在云端一次性完成所有壓縮工作,然后在邊緣設(shè)備上實現(xiàn)靈活的模型大小調(diào)整。更令人印象深刻的是,UniQL不僅支持傳統(tǒng)的Transformer架構(gòu),還擴展到了狀態(tài)空間模型和混合模型,展現(xiàn)出了廣泛的適用性。
一、重新發(fā)明模型壓縮的游戲規(guī)則
UniQL框架的工作原理就像是一個經(jīng)驗豐富的收納專家在整理一個巨大的衣柜。這個專家不會隨意丟棄衣物,而是會根據(jù)每件衣服的重要性和使用頻率來重新排列整個衣柜,確保最重要的衣服總是放在最容易取到的地方。
在傳統(tǒng)的AI模型中,神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)就像是衣柜里的衣服,它們的排列往往是隨機的或者按照訓練過程中的順序排列的。當需要壓縮模型時,傳統(tǒng)方法往往會簡單粗暴地刪除一些參數(shù),這就好比隨意扔掉一些衣服,可能會意外丟失重要的物品。
UniQL采用了一種全新的權(quán)重排序策略。研究團隊為不同類型的神經(jīng)網(wǎng)絡(luò)層設(shè)計了專門的排序算法。對于多層感知機層,他們使用一種叫做"嶺杠桿分數(shù)"的數(shù)學工具來評估每個神經(jīng)元的重要性。這個概念聽起來很復雜,但實際上就像是給每個神經(jīng)元打分,分數(shù)越高說明這個神經(jīng)元對模型性能的貢獻越大。
更有趣的是,研究團隊發(fā)現(xiàn)傳統(tǒng)方法在處理大型模型時會遇到計算瓶頸。以往的方法需要計算一個叫做"偽逆矩陣"的復雜數(shù)學運算,這個計算過程就像是要在一個巨大的迷宮中找到最短路徑,不僅耗時極長,還需要大量的計算資源。對于一個典型的大型模型,這個計算可能需要20多分鐘才能完成。
UniQL巧妙地繞過了這個問題。研究團隊發(fā)現(xiàn),他們可以通過分析神經(jīng)元之間的相關(guān)性來直接確定重要性排序,而不需要進行復雜的偽逆矩陣計算。這種方法將計算時間縮短了20倍,同時還提供了更穩(wěn)定的數(shù)值結(jié)果。這就好比發(fā)現(xiàn)了一條穿越迷宮的秘密通道,不僅速度更快,路線也更可靠。
對于注意力機制的處理,UniQL展現(xiàn)出了更精巧的設(shè)計思路。注意力機制就像是模型的"眼睛",負責決定應該關(guān)注輸入信息的哪些部分。傳統(tǒng)的壓縮方法在處理注意力層時往往會破壞這種關(guān)注模式,導致模型"失明"。
UniQL通過一種叫做"量化感知奇異值分解"的技術(shù)來解決這個問題。這個技術(shù)的核心思想是在分解權(quán)重矩陣時考慮到后續(xù)的量化過程。簡單來說,就是在"整理衣柜"的時候就考慮到最終的"包裝盒"大小,確保整理后的物品能夠完美地裝入包裝盒中。
研究團隊還特別關(guān)注了一種叫做RoPE(旋轉(zhuǎn)位置編碼)的技術(shù)。這種技術(shù)就像是給模型戴上了一副特殊的眼鏡,幫助它理解文本中詞語的位置關(guān)系。當對模型進行壓縮時,這副"眼鏡"可能會變得不合適。UniQL設(shè)計了一種融合內(nèi)核技術(shù),確保壓縮后的模型仍然能夠正確理解位置信息。
二、讓AI模型學會自適應的智慧
UniQL的另一個突破性創(chuàng)新在于引入了"掩碼式LoRA微調(diào)"技術(shù)。這個概念聽起來很技術(shù)化,但其實可以用一個簡單的比喻來理解:就像是在訓練一個學生適應不同難度的考試。
在傳統(tǒng)的訓練中,AI模型就像是一個只會解決固定難度題目的學生。一旦題目變簡單或變復雜,這個學生就會感到困惑。UniQL的掩碼式微調(diào)就像是給這個學生提供了各種難度的練習題,讓它學會在面對不同難度時都能保持穩(wěn)定的表現(xiàn)。
具體來說,在微調(diào)過程中,UniQL會隨機選擇不同的壓縮率,然后"遮蓋"掉相應數(shù)量的神經(jīng)元,讓模型學習在不同規(guī)模下都能正常工作。這個過程就像是讓一個樂隊練習在不同成員數(shù)量下都能演奏出和諧的音樂。有時候全員到齊,有時候只有一半成員,但無論什么情況下,樂隊都要能夠提供高質(zhì)量的演出。
這種訓練方式的巧妙之處在于它是"一次訓練,多次使用"的。研究團隊只需要在云端進行一次微調(diào)訓練,就能得到一個支持多種壓縮率的通用模型。當這個模型部署到邊緣設(shè)備上時,設(shè)備可以根據(jù)當前的資源狀況動態(tài)選擇最合適的模型大小。
研究團隊在訓練過程中使用了一種叫做"塊影響分數(shù)"的技術(shù)來決定不同層的重要性。這個分數(shù)就像是評估一個團隊中每個成員的貢獻度,幫助決定在資源緊張時應該保留哪些成員。計算這個分數(shù)的方法相對簡單,就是比較每一層的輸入和輸出之間的相關(guān)性,相關(guān)性越高說明這一層越重要。
三、從云端到邊緣的完美協(xié)作
UniQL框架最令人稱贊的地方在于它巧妙地將云端計算和邊緣計算結(jié)合起來,形成了一個完美的協(xié)作體系。這種設(shè)計哲學就像是一個中央廚房和分店餐廳之間的協(xié)作關(guān)系。
在云端,UniQL會進行所有復雜的"食材準備"工作,包括權(quán)重排序、微調(diào)訓練和量化處理。這些工作就像是在中央廚房中準備各種預制食材,需要專業(yè)的設(shè)備和充足的時間。云端的強大計算能力可以確保這些預處理工作能夠高效完成。
完成預處理后,云端會生成一個"智能壓縮包",這個壓縮包包含了按重要性排序的模型參數(shù)。當這個壓縮包被發(fā)送到邊緣設(shè)備時,設(shè)備就像是一個分店餐廳,可以根據(jù)當前的"客人數(shù)量"(可用資源)來決定使用多少"食材"(模型參數(shù))。
邊緣設(shè)備上的自適應裁剪過程非常簡單高效。設(shè)備只需要根據(jù)當前的內(nèi)存使用情況確定一個裁剪比例,然后直接截斷相應數(shù)量的參數(shù)即可。這個過程就像是根據(jù)餐廳大小來決定菜單的豐富程度,小餐廳提供精簡菜單,大餐廳提供完整菜單,但都能確保食物質(zhì)量。
研究團隊特別設(shè)計了一套高效的推理內(nèi)核,以支持這種動態(tài)裁剪。對于量化后的4位權(quán)重,系統(tǒng)會在推理時動態(tài)解包相關(guān)參數(shù),進行裁剪,然后重新打包用于計算。這個過程聽起來復雜,但實際上非常迅速,幾乎不會影響模型的推理速度。
更重要的是,這種設(shè)計使得同一個模型可以在不同配置的設(shè)備上運行。一個高端智能手機可能使用完整的模型,而一個資源受限的IoT設(shè)備可能只使用30%的參數(shù),但兩者都能提供有用的AI服務(wù)。這種靈活性為AI技術(shù)的普及打開了全新的可能性。
四、突破多種模型架構(gòu)的技術(shù)壁壘
UniQL框架的另一個重大突破在于它不僅適用于傳統(tǒng)的Transformer模型,還成功擴展到了狀態(tài)空間模型和混合模型。這種廣泛的適用性就像是發(fā)明了一把萬能鑰匙,能夠打開各種不同類型的鎖。
狀態(tài)空間模型代表了AI領(lǐng)域的一個新興方向,它們的工作原理與傳統(tǒng)的Transformer有很大不同。如果說Transformer就像是一個善于"全局思考"的學者,能夠同時關(guān)注文本的各個部分,那么狀態(tài)空間模型更像是一個"順序思考"的專家,按照時間順序逐步處理信息。
對于狀態(tài)空間模型,UniQL面臨了獨特的挑戰(zhàn)。這類模型包含一些特殊的"狀態(tài)矩陣",這些矩陣對模型性能極其敏感,就像是精密儀器中的關(guān)鍵部件,稍有不當處理就可能導致整個系統(tǒng)失效。
研究團隊為此開發(fā)了"狀態(tài)感知權(quán)重排序"策略。這種策略會特別關(guān)注狀態(tài)空間模型中的關(guān)鍵組件,確保在壓縮過程中優(yōu)先保護這些重要部件。具體來說,算法會分析模型在處理序列數(shù)據(jù)時的內(nèi)部狀態(tài)變化,然后根據(jù)這些狀態(tài)信息來指導權(quán)重的重要性排序。
對于混合模型,UniQL展現(xiàn)出了更加精巧的處理能力。混合模型就像是一個多功能工具箱,既包含了Transformer的"全局思考"能力,也包含了狀態(tài)空間模型的"順序處理"能力。這種復雜的結(jié)構(gòu)為壓縮工作帶來了額外的挑戰(zhàn)。
研究團隊發(fā)現(xiàn),混合模型中的不同組件對壓縮的敏感性差異很大。注意力層就像是模型的"眼睛",對壓縮非常敏感,而狀態(tài)空間層更像是模型的"記憶",有一定的壓縮容忍度。基于這種觀察,UniQL會對不同類型的層采用不同的壓縮策略,確保模型的整體性能不會受到顯著影響。
五、實驗驗證:理論照進現(xiàn)實
為了驗證UniQL框架的有效性,研究團隊進行了大規(guī)模的實驗驗證。這些實驗就像是對一項新發(fā)明的全面測試,需要在各種不同的條件下證明其可靠性和優(yōu)越性。
實驗涵蓋了六個不同的大型模型,包括Llama-2-7B、Llama-3.1-8B、Qwen-2.5-7B等流行的Transformer模型,以及Mamba-2-8B狀態(tài)空間模型和Nemotron-H-8B、Bamba-v2-9B混合模型。這種全面的測試就像是讓一項新技術(shù)在不同品牌和型號的設(shè)備上都要能正常工作。
在模型壓縮效果方面,UniQL展現(xiàn)出了令人印象深刻的性能。當壓縮率達到15%時,壓縮后的模型在各項任務(wù)上的準確率下降幅度都控制在5%以內(nèi)。這意味著模型在失去15%的"體重"后,仍然能夠保持95%以上的"智力水平"。
更令人驚喜的是內(nèi)存和速度方面的改進。UniQL能夠?qū)⒛P偷膬?nèi)存占用減少4到5.7倍,同時將推理速度提升2.7到3.4倍。這種改進就像是讓一輛汽車變得既更輕便又更快速,同時還保持了原有的載貨能力。
在邊緣設(shè)備的實際測試中,UniQL展現(xiàn)出了優(yōu)秀的實用性。研究團隊使用NVIDIA Jetson Nano 8G這樣的邊緣設(shè)備進行測試,發(fā)現(xiàn)即使在資源受限的環(huán)境下,壓縮后的模型仍然能夠流暢運行,并提供高質(zhì)量的AI服務(wù)。
特別值得注意的是能耗方面的改善。在Nano設(shè)備上,使用UniQL壓縮的模型在處理相同任務(wù)時的能耗顯著降低。當壓縮率達到35%時,每次請求的能耗從原來的381焦耳降低到143焦耳,這種節(jié)能效果對于依賴電池供電的移動設(shè)備來說意義重大。
六、技術(shù)深度:創(chuàng)新的核心機制
UniQL框架的技術(shù)創(chuàng)新體現(xiàn)在多個層面的巧妙設(shè)計中。首先是偽逆計算的避免策略,這可能是整個框架最重要的優(yōu)化之一。
傳統(tǒng)的模型壓縮方法需要計算大型矩陣的偽逆,這個計算過程的復雜度是矩陣大小的三次方。對于現(xiàn)代大型AI模型來說,這種計算不僅耗時長達數(shù)小時,還需要高精度的64位浮點運算來保證數(shù)值穩(wěn)定性。這就像是要在一個巨大的數(shù)字迷宮中計算最優(yōu)路徑,既耗時又耗力。
UniQL通過引入嶺杠桿分數(shù)的概念巧妙地避開了這個計算瓶頸。嶺杠桿分數(shù)可以直接從激活值的相關(guān)矩陣中計算得出,而不需要進行復雜的矩陣求逆運算。這種方法不僅計算速度快了20倍,還提供了更好的數(shù)值穩(wěn)定性。
量化感知的奇異值分解是另一個重要創(chuàng)新。傳統(tǒng)的矩陣分解方法在進行權(quán)重壓縮時沒有考慮到后續(xù)的量化過程,這就像是在設(shè)計包裝時沒有考慮到運輸過程中的顛簸,結(jié)果可能導致"貨物"在運輸過程中受損。
UniQL的解決方案是將量化過程的特性融入到矩陣分解中。具體來說,算法會將奇異值分解產(chǎn)生的特征值與對應的特征向量進行融合,使得融合后的參數(shù)更適合量化處理。這種設(shè)計確保了量化過程不會顯著損害模型性能。
對于旋轉(zhuǎn)位置編碼的處理,UniQL展現(xiàn)了對技術(shù)細節(jié)的深刻理解。RoPE是現(xiàn)代語言模型中的關(guān)鍵組件,它通過旋轉(zhuǎn)變換來編碼詞語的位置信息。當模型被壓縮時,原始的位置編碼可能變得不再適用。
UniQL通過設(shè)計對稱索引排序策略解決了這個問題。這種策略確保壓縮后的模型仍然能夠正確理解文本的位置關(guān)系,同時還為推理過程提供了優(yōu)化機會,使得位置編碼的計算更加高效。
七、實際應用場景的廣闊前景
UniQL框架的實用價值遠不止于學術(shù)研究,它為AI技術(shù)在現(xiàn)實世界中的普及應用開辟了全新的可能性。這些應用場景就像是為AI技術(shù)找到了更多的"用武之地"。
在移動設(shè)備領(lǐng)域,UniQL使得高質(zhì)量的AI助手能夠直接在手機上運行,而不需要依賴云端服務(wù)。這意味著用戶可以在沒有網(wǎng)絡(luò)連接的情況下仍然享受AI服務(wù),同時也避免了隱私數(shù)據(jù)上傳到云端的風險。一個典型的應用場景是離線語音助手,它能夠在飛行模式下仍然提供智能對話服務(wù)。
在物聯(lián)網(wǎng)設(shè)備中,UniQL的價值更加突出。許多IoT設(shè)備的計算資源極其有限,傳統(tǒng)的AI模型根本無法在這些設(shè)備上運行。UniQL使得這些設(shè)備能夠獲得基本的AI能力,比如智能門鎖可以進行簡單的語音識別,智能家電可以理解自然語言指令。
對于邊緣計算場景,UniQL提供了動態(tài)資源管理的可能性。在一個邊緣計算中心中,系統(tǒng)可以根據(jù)當前的負載情況動態(tài)調(diào)整每個AI服務(wù)的資源使用量。當系統(tǒng)負載較重時,自動切換到較小的模型版本;當資源充足時,則使用完整版本提供更好的服務(wù)質(zhì)量。
在工業(yè)應用中,UniQL的自適應特性特別有價值。工業(yè)設(shè)備往往需要在不同的工作模式下運行,每種模式對AI計算的需求都不同。UniQL使得同一套AI系統(tǒng)能夠適應這些變化,既保證了功能的完整性,又優(yōu)化了資源的使用效率。
教育領(lǐng)域也能從UniQL中受益。個性化學習平臺可以根據(jù)學生設(shè)備的性能自動調(diào)整AI導師的復雜度,確保所有學生都能獲得適合其設(shè)備的學習體驗,而不會因為設(shè)備性能差異而影響學習效果。
八、對AI發(fā)展的深遠影響
UniQL框架的出現(xiàn)標志著AI模型部署策略的一個重要轉(zhuǎn)折點。它不僅解決了當前模型部署面臨的技術(shù)難題,更為AI技術(shù)的民主化普及鋪平了道路。
從技術(shù)發(fā)展的角度來看,UniQL代表了一種全新的設(shè)計理念:從"固定尺寸"轉(zhuǎn)向"自適應尺寸"。這種理念的轉(zhuǎn)變就像是從制作標準化服裝轉(zhuǎn)向定制化服裝,能夠更好地滿足不同用戶的具體需求。這種思路可能會影響未來AI模型的設(shè)計方向,推動研究者們在模型設(shè)計之初就考慮部署的靈活性。
從產(chǎn)業(yè)發(fā)展的角度來看,UniQL降低了AI應用的門檻。中小企業(yè)不再需要投入大量資金購買高端硬件設(shè)備就能夠部署AI服務(wù),這將大大促進AI技術(shù)在各個行業(yè)中的普及應用。同時,這也為創(chuàng)新應用的出現(xiàn)創(chuàng)造了條件,許多之前因為硬件限制而無法實現(xiàn)的創(chuàng)意現(xiàn)在都有了技術(shù)可行性。
從用戶體驗的角度來看,UniQL使得AI服務(wù)能夠更好地適應用戶的實際使用環(huán)境。用戶不再需要為了使用AI服務(wù)而升級硬件,而是可以在現(xiàn)有設(shè)備上獲得適合的AI體驗。這種用戶友好的設(shè)計理念可能會成為未來AI產(chǎn)品開發(fā)的重要考慮因素。
從隱私保護的角度來看,UniQL為本地化AI服務(wù)提供了技術(shù)基礎(chǔ)。用戶可以在不上傳敏感數(shù)據(jù)到云端的情況下享受AI服務(wù),這對于隱私保護意識日益增強的用戶來說具有重要價值。
九、技術(shù)局限與未來展望
盡管UniQL框架展現(xiàn)出了令人印象深刻的性能,但研究團隊也誠實地指出了當前版本的一些局限性。這種科學的態(tài)度體現(xiàn)了嚴謹?shù)难芯烤瘛?/p>
首先是壓縮率的限制。雖然UniQL在15%到35%的壓縮率范圍內(nèi)表現(xiàn)優(yōu)秀,但當壓縮率超過35%時,模型性能會出現(xiàn)明顯下降。這就像是減肥一樣,適度的減重有益健康,但過度減重可能會影響身體機能。研究團隊正在探索更高壓縮率下的性能保持策略。
其次是模型架構(gòu)的適應性。雖然UniQL支持多種模型架構(gòu),但對于一些全新的架構(gòu)類型,仍然需要進行算法調(diào)整。這種情況類似于通用工具在面對特殊材料時可能需要專門的附件。
在實際部署中,UniQL還面臨著硬件多樣性的挑戰(zhàn)。不同的邊緣設(shè)備具有不同的計算能力和內(nèi)存配置,如何為每種設(shè)備找到最優(yōu)的壓縮策略仍然是一個需要進一步研究的問題。
展望未來,UniQL框架有著廣闊的發(fā)展空間。研究團隊正在探索將這種自適應壓縮技術(shù)擴展到多模態(tài)模型中,使得圖像、文本和音頻的聯(lián)合處理模型也能享受到這種技術(shù)的好處。
另一個有趣的發(fā)展方向是動態(tài)壓縮策略的優(yōu)化。未來的版本可能會根據(jù)具體的任務(wù)類型自動選擇最適合的壓縮策略,而不是使用統(tǒng)一的壓縮方法。這就像是為不同類型的運動選擇不同的訓練方法。
硬件協(xié)同優(yōu)化也是一個重要的發(fā)展方向。通過與芯片制造商合作,可能會開發(fā)出專門為自適應AI模型設(shè)計的硬件,進一步提升性能和效率。
說到底,UniQL框架的出現(xiàn)為AI技術(shù)的普及應用開啟了一扇新的大門。它不僅解決了當前AI模型部署面臨的技術(shù)難題,更重要的是展現(xiàn)了一種全新的設(shè)計思路:讓AI技術(shù)真正適應現(xiàn)實世界的多樣性和復雜性,而不是要求現(xiàn)實世界去適應AI技術(shù)。這種理念的轉(zhuǎn)變可能會對整個AI行業(yè)的發(fā)展產(chǎn)生深遠的影響,推動AI技術(shù)從實驗室走向千家萬戶,真正實現(xiàn)人工智能技術(shù)的民主化普及。研究團隊通過這項工作證明了,強大的AI能力和實用的部署方案并不是一對矛盾,通過巧妙的技術(shù)設(shè)計,我們完全可以讓AI模型既聰明又靈活,既強大又實用。
Q&A
Q1:UniQL框架是什么技術(shù)?
A:UniQL是德州大學開發(fā)的AI模型壓縮技術(shù),它能讓大型AI模型"瘦身"后裝進手機等小設(shè)備,同時保持原有的智能水平。就像給超級計算機發(fā)明了瘦身術(shù),讓它能在普通設(shè)備上運行。
Q2:UniQL和其他壓縮技術(shù)有什么區(qū)別?
A:傳統(tǒng)壓縮技術(shù)只能生成固定大小的模型,而UniQL能讓一個模型支持多種尺寸。這就像傳統(tǒng)方法只能做固定尺碼的衣服,而UniQL能做可調(diào)節(jié)大小的衣服,設(shè)備可以根據(jù)自己的資源情況選擇合適的模型大小。
Q3:普通人什么時候能用上UniQL技術(shù)?
A:雖然UniQL目前還處于研究階段,但這項技術(shù)為AI在手機、智能家電等設(shè)備上的普及應用鋪平了道路。未來我們可能會在離線語音助手、智能家居設(shè)備等產(chǎn)品中體驗到這項技術(shù)帶來的便利。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.