曾讓全球大面積「斷網(wǎng)」的網(wǎng)站揭秘：AI 爬蟲正在瘋狂「掏空」互聯(lián)網(wǎng)

如果你發(fā)現(xiàn)常看的網(wǎng)站某天突然崩潰，兇手可能不是黑客，也不是太火爆，是一群「看不見」的AI 爬蟲正在秘密入侵。

網(wǎng)站安全公司 Cloudflare 最近發(fā)布了 2025 年度回顧報告，從底層基礎(chǔ)設(shè)施的視角，給我們呈現(xiàn)了一個另類的 AI 生存圖鑒。

先給不了解的朋友做個簡單的科普：Cloudflare 這公司，說直白點就是互聯(lián)網(wǎng)世界的物業(yè)+保鏢，管安全、管加速、管流量，堪稱六邊形戰(zhàn)士。

比如你訪問使用 Cloudflare 的網(wǎng)站時能秒開，大概率是它把你導(dǎo)向了最近的數(shù)據(jù)中心；網(wǎng)站能扛住 DDoS 攻擊、不怕爬蟲搞破壞，背后也多半有它的影子。

不過嘛，一旦 Cloudflare 宕機(jī)，半個互聯(lián)網(wǎng)就得遭殃，也因此誕生了不少梗圖。

廢話不多說，重點還是先來看看這份報告里藏著的 AI 趨勢。

三巨頭壟斷 AI 爬蟲：Google、OpenAI、微軟瓜分互聯(lián)網(wǎng)

先說個最直觀的，2025 年全球網(wǎng)絡(luò)流量漲了 19%。

但這個漲法有點門道，上半年基本沒啥水花，流量一直在基準(zhǔn)線附近摸魚。結(jié)果到了 8 月中旬突然開掛模式，9 月、10 月、11 月一路狂飆突進(jìn)，年底直接沖到全年峰值。

流量的去向很能說明問題。Google 和 Facebook 依然霸榜前二，這個沒啥懸念。

但Microsoft、Instagram、YouTube 排名都往上竄，TikTok 反而掉了四位。AWS 也退了一名，新舊勢力的洗牌已經(jīng)肉眼可見。

當(dāng)然，比起這些傳統(tǒng)巨頭，大家更關(guān)心的是生成式 AI 這塊肥肉的爭奪。

不得不說，該是大哥還是大哥，ChatGPT/OpenAI 依然穩(wěn)坐頭把交椅。但身后的「小弟」已經(jīng)殺紅了眼。Perplexity、Claude/Anthropic、GitHub Copilot 排名都在漲。

除此以外，新面孔也不少，Google Gemini、Windsurf AI（已被收購）、Grok/xAI、DeepSeek 通通擠進(jìn)了前十榜單。

作為守護(hù)全球眾多網(wǎng)站的金牌保鏢，Cloudflare 對爬蟲攻擊的監(jiān)測最有發(fā)言權(quán)。今年 Cloudflare 在分析 AI 爬蟲的活躍度后發(fā)現(xiàn)，2025 年，用戶行為類的 AI 爬取量增長了超過 15 倍。

啥叫用戶行為爬取？

就是你問 ChatGPT 一個問題，它去網(wǎng)上找答案的時候產(chǎn)生的流量。這個數(shù)字從年初到年底翻了 21 倍多，基本和 ChatGPT-User 機(jī)器人的增長曲線完全吻合。

看來大家真的越來越依賴 AI 了……

單看 AI 爬蟲占 HTML 請求的比例，平均是 4.2%，但全年波動極大，4 月跌到 2.4% 的谷底，6 月底又沖到 6.4% 的峰值。不過這都不算啥，真正的「爬蟲一哥」永遠(yuǎn)是 Googlebot。

這家伙的爬取量有多猛？它產(chǎn)生的 IPv4 請求流量，是第二名的整整四倍！而且 Googlebot 還占了全年經(jīng)驗證機(jī)器人流量的四分之一以上，2 月到 7 月最瘋狂，4 月中旬達(dá)到峰值，占比超過 28%。

為啥 Googlebot 這么能爬？

因為它不光要給 Google 搜索引擎建索引，還得順帶訓(xùn)練 AI 模型。10 月的行業(yè)數(shù)據(jù)很能說明問題：零售和計算機(jī)軟件產(chǎn)業(yè)吸引的 AI 爬蟲流量合計超 40%，穩(wěn)居前二。

這邏輯不難理解：零售行業(yè)的商品信息、用戶評價，軟件行業(yè)的代碼、文檔，都是訓(xùn)練 AI 的「優(yōu)質(zhì)食材」。排名前十的產(chǎn)業(yè)占了近 70% 的爬取量，剩下的則分散在各個領(lǐng)域。

爬蟲界的「三巨頭」格局也基本定了：Googlebot 穩(wěn)坐第一，OpenAI 的 GPTBot 排第二，占比約 7.5% 但波動極大；Microsoft 的 Bingbot 相對穩(wěn)定，貢獻(xiàn)了 6% 的流量。

需要說明的是，早期互聯(lián)網(wǎng)的流量分為「人類用戶」和「機(jī)器流量」，但機(jī)器也分三六九等。

Googlebot 這類搜索引擎爬蟲，和網(wǎng)站是共生關(guān)系：網(wǎng)站給內(nèi)容，搜索引擎給流量，能帶來廣告和轉(zhuǎn)化；而生成式 AI 爬蟲則是純粹的「寄生關(guān)系」，薅走內(nèi)容訓(xùn)練模型，用戶直接在 AI 界面拿答案，根本不會訪問原網(wǎng)站，純屬白嫖。

面對猖獗的 AI 爬蟲，網(wǎng)站所有者自然也得予以反擊。

robots.txt 是一個放在網(wǎng)站根目錄下的純文本文件，用來告訴搜索引擎的爬蟲哪些頁面可以抓取、哪些不可以。可以把它理解成網(wǎng)站門口貼的「告示牌」，沒有法律效力，但懂規(guī)矩的都會給點面子。

Cloudflare 統(tǒng)計了排名前 10000 的網(wǎng)站，看了看大家的 robots.txt 文件都怎么設(shè)置的，哪些爬蟲被「完全拉黑」，哪些被「部分限制」。

結(jié)果發(fā)現(xiàn)，被封得最狠的就是 AI 爬蟲——GPTBot、ClaudeBot、CCBot 這幾位，基本上是重點打擊對象。

至于 Googlebot 和 Bingbot，待遇就好點了。大部分網(wǎng)站只是「部分禁止」它們，比如不讓它們爬登錄頁面或者后臺管理區(qū)域，但內(nèi)容區(qū)該看還是讓看。真正把這倆完全拉黑的網(wǎng)站，其實挺少的。

AI 爬蟲是白嫖還是引流？新指標(biāo)揭露真相

Cloudflare 今年還搞了個新指標(biāo)，叫「爬蟲推薦比率」。

通俗點講就是，AI 平臺爬了你網(wǎng)站多少次，實際給你帶回來多少真實訪客。這個比值越高，說明平臺基本就是在白嫖你的內(nèi)容，壓根不給你引流。

最新的結(jié)果顯示，Anthropic 的爬行推薦比率一度飆到 500000:1——就是爬你 50 萬次，才給你帶來 1 個訪客。后來雖然穩(wěn)定在 25000:1 到 100000:1 之間，但本質(zhì)還是白嫖。

OpenAI 也好不到哪去，3 月比值高達(dá) 3700:1，后來多虧 ChatGPT 搜索功能用得多了，推薦流量才稍微漲了點。

相比之下，Perplexity 算是 AI 圈里的「良心」，年初比值低于 100:1，3 月雖然漲到 700:1 以上，但很快回落，9 月后就穩(wěn)定在 200:1 以下。

搜索引擎這邊，Microsoft 的比率有個奇怪的周期性模式，周四最低，周日最高。全年峰值基本在 50:1 到 70:1 之間。

Google 年初是 3:1，4 月漲到 30:1，后來又降回 3:1，下半年又慢慢漲回來了。DuckDuckGo 前三季度都低于 1:1，但 10 月中旬突然跳到 1.5:1，之后就一直維持這個水平了。

除了 AI 爬蟲的管控，Workers AI 上的模型競爭與任務(wù)需求也頗具看點。

Workers AI 是美國 Cloudflare 公司推出的 AI 托管服務(wù)：也就是把熱門開源模型（Llama、Stable Diffusion、Whisper 等）預(yù)先部署到自家全球邊緣節(jié)點的 GPU 上。

開發(fā)者能就近跑模型，按用量付費，不用自己買卡、搭環(huán)境。在 Workers AI 上，Meta 的 llama-3-8b-instruct 模型最受歡迎，文字生成則是最常用的任務(wù)類型。

全年中，Meta 的 llama-3-8b-instruct 最受歡迎，其帳戶占比達(dá) 36.3%，是第二名 OpenAI 的 whisper (10.1%) 和第三名 Stability AI 的 stable-diffusion-xl-base-1.0 (9.8%) 的三倍多。

Meta 和北京智源人工智能研究院 (BAAI) 在前十名中各有多款模型，前十名模型的帳戶占比合計達(dá) 89%，其余占比分布在其他眾多模型中。

任務(wù)類型的分布更能反映行業(yè)需求：文字生成以 48.2% 的占比穩(wěn)居第一，幾乎是第二名文字轉(zhuǎn)圖像（12.3%）和第三名自動語音識別（11.0%）的四倍。說白了，當(dāng)前 AI 最核心的需求還是「內(nèi)容創(chuàng)作」和「信息處理」，這也是各大廠商砸錢最多的賽道。

今年網(wǎng)絡(luò)中斷 174 次，最大元兇不是黑客而是…防作弊？

先說說移動設(shè)備格局，全球移動設(shè)備流量里，iOS 占了 35%，比去年漲了兩個百分點。看似漲幅不大，但在多個高收入國家/地區(qū)，iOS 占比已超過一半：

摩納哥最夸張，達(dá)到 70%；丹麥 65%、日本 57%、波多黎各 52%，全球共有 30 個國家/地區(qū)的 iOS 占比超 50%。

Android 則在更廣泛的區(qū)域占據(jù)主導(dǎo)，有 27 個國家/地區(qū)的 Android 占比超過 90%，175 個國家/地區(qū)的 Android 占比達(dá) 50% 或更高，整體來看 Android 仍占全球移動設(shè)備流量大頭。

不同設(shè)備上，瀏覽器的格局也有明顯差異。

從全球整體來看，Chrome 依然稱霸，貢獻(xiàn)了三分之二的請求流量，和去年基本持平；Safari 以 15.4% 的占比排第二，考慮到它僅能在蘋果設(shè)備上使用，這個成績已十分亮眼。

后續(xù)依次是 Microsoft Edge（7.4%）、Mozilla Firefox（3.7%）和 Samsung Internet（2.3%）。

設(shè)備端差異更顯著：iOS 上 Safari 統(tǒng)治力極強(qiáng)，占比高達(dá) 79%，是 Chrome（19%）的四倍；

Android 上 Chrome 占比 85%，Samsung Internet 以 6.6% 排第二；Windows 系統(tǒng)上 Chrome 占 69%，即便 Edge 是默認(rèn)瀏覽器，占比也僅 19%。

最后提一嘴網(wǎng)絡(luò)穩(wěn)定性：2025 年全球共發(fā)生 174 起重大網(wǎng)絡(luò)中斷事件，但和想象中有所不同的是，最常見的原因居然是海外國家「防范考試作弊」導(dǎo)致的人為關(guān)網(wǎng)，其次才是天災(zāi)人禍造成的光纖切斷。

看來在 AI 時代，打敗互聯(lián)網(wǎng)的不是黑客，而是監(jiān)考老師。

https://radar.cloudflare.com/year-in-review/2025

-traffic-growth

歡迎加入 APPSO AI 社群，一起暢聊 AI 產(chǎn)品，獲取，解鎖更多 AI 新知

我們正在招募伙伴

簡歷投遞郵箱hr@ifanr.com

?? 郵件標(biāo)題「姓名+崗位名稱」（請隨簡歷附上項目/作品或相關(guān)鏈接）