Cloudflare 年度回顧：AI 機(jī)器人瘋狂爬網(wǎng)、后量子加密普及率達(dá) 50%、Go 語(yǔ)言用戶翻倍

作者 | Renato Losio

譯者 | 平川

近日，Cloudflare 發(fā)布了第六版 Radar 年度回顧報(bào)告。數(shù)據(jù)顯示，全球互聯(lián)網(wǎng)流量同比增長(zhǎng) 19%，Googlebot 占據(jù)主導(dǎo)地位，爬取引流比持續(xù)攀升，后量子加密技術(shù)得到廣泛應(yīng)用。有超過 20% 的自動(dòng)化 API 請(qǐng)求是由基于 Go 語(yǔ)言的客戶端發(fā)起的，其采用率較上年幾乎翻倍。

本年度報(bào)告以 Cloudflare 廣泛的基礎(chǔ)設(shè)施數(shù)據(jù)（包括 1.1.1.1 公共 DNS 解析器的匿名查詢數(shù)據(jù)）為基礎(chǔ)，深入剖析了 2025 年定義互聯(lián)網(wǎng)格局的各類中斷事件、技術(shù)突破及關(guān)鍵指標(biāo)。該報(bào)告包含多個(gè)不同的板塊（流量、人工智能、普及與應(yīng)用、連接性、安全性及電子郵件安全），采用與往年相同的分析方法論。

報(bào)告指出，在過去一年中，全球流量增長(zhǎng)了 19%，谷歌和 Facebook 仍是用戶最常使用的服務(wù)，而星鏈（Starlink）的增長(zhǎng)尤為顯著，同比增長(zhǎng)達(dá) 2.3 倍。

通過希爾伯特曲線以二維模式將 IPv4 地址序列可視化——該模式能使相近的 IP 地址排列在一起，Cloudflare 在分析中發(fā)現(xiàn)，谷歌爬蟲（Googlebot）是使用最頻繁的網(wǎng)絡(luò)爬蟲。Cloudflare 數(shù)據(jù)洞察負(fù)責(zé)人 David Belson 寫道：

2025 年，Googlebot 再次成為 Cloudflare 請(qǐng)求流量的最大來(lái)源，它爬取了數(shù)百萬(wàn)個(gè) Cloudflare 客戶網(wǎng)站用于搜索索引和人工智能訓(xùn)練。

此外，Googlebot 占已驗(yàn)證機(jī)器人流量的 28% 以上，而 Google AdsBot（用于監(jiān)控已投放谷歌廣告的網(wǎng)站）、Google Image Proxy（用于檢索和緩存嵌入在電子郵件信息中的圖片）以及 GoogleOther 進(jìn)一步鞏固了這家搜索巨頭的統(tǒng)治地位。OpenAI 的 GPTBot 和微軟 Bingbot 分別以 7.5% 和 6% 的占比緊隨其后。

報(bào)告顯示，人工智能平臺(tái)正在以極高的頻率爬取內(nèi)容，卻未能為來(lái)源網(wǎng)站帶來(lái)相應(yīng)的流量，其爬取引流比與 2024 年相比持續(xù)攀升。Anthropic 平臺(tái)的爬取引流比高達(dá) 500000:1，OpenAI 最高達(dá) 3700:1。在主流人工智能平臺(tái)中，Perplexity 的爬取引流比最低。

CloudZero 研究總監(jiān) Jeremy Daly 在其新聞通訊中總結(jié)道：

Cloudflare 年度報(bào)告精彩回顧：內(nèi)容饑渴的 AI 爬蟲（僅 Googlebot 就占所有 HTML 請(qǐng)求量的 4.5%，“用戶操作”爬取量激增 15 倍），超過半數(shù)人類 Web 流量采用了后量子加密技術(shù)，以及 174 次重大互聯(lián)網(wǎng)中斷事件。

在這份報(bào)告中，這家超大規(guī)模云服務(wù)商承認(rèn)，Meta 的 llama-3-8b-instruct 模型在其邊緣 AI 平臺(tái) Workers AI 上最受歡迎。該平臺(tái)支持在網(wǎng)絡(luò)邊緣直接運(yùn)行 AI 模型，其中最熱門的任務(wù)類型是文本生成。

盡管 2025 年 HTTP/3 和 HTTP/2 請(qǐng)求量均小幅增長(zhǎng)，但在人類產(chǎn)生的 Web 流量中，為了有效防范“先收集、后解密”的攻擊手段，已有半數(shù)采用后量子加密技術(shù)——該比例較年初的 29% 幾乎翻倍。

圖片來(lái)源：Cloudflare 官方博客

與往年一樣，該團(tuán)隊(duì)使用 Cloudflare Radar 的 URL 掃描器 來(lái)識(shí)別前 5000 個(gè)域名中最受歡迎的技術(shù)和服務(wù)。他們發(fā)現(xiàn)，基于 JavaScript 的庫(kù)和框架仍然是構(gòu)建網(wǎng)站不可或缺的工具。Belson 補(bǔ)充道：

jQuery 自稱是一個(gè)快速、小巧、功能豐富的 JavaScript 庫(kù)，我們掃描發(fā)現(xiàn)，使用它的網(wǎng)站數(shù)量是 Slick（用于圖片輪播的 JavaScript 庫(kù)）的 8 倍。React 仍然是構(gòu)建 Web 界面最常用的 JavaScript 框架，在我們掃描的站點(diǎn)中，其使用數(shù)量是 Vue.js 的兩倍。

PHP、Node.js 和 Java 仍是最常用的編程技術(shù)，明顯領(lǐng)先于 Ruby、Python、Perl 和 C 等替代方案。在 Hacker News 上的一個(gè)熱門帖子中，許多人質(zhì)疑 ASP.NET 和 C# 的相對(duì)份額，用戶 nic547寫道：

ASP.NET 可能涵蓋多種編程語(yǔ)言，而我猜測(cè)，ASP.NET 服務(wù)器本身并不會(huì)披露具體細(xì)節(jié)。雖然可以合理推測(cè)主要是使用 C#，但這需要采用不同的指標(biāo)來(lái)評(píng)估。

通過分析與 API 相關(guān)的請(qǐng)求，Cloudflare 識(shí)別出構(gòu)建 API 客戶端最常用的編程語(yǔ)言：20% 的自動(dòng)化 API 請(qǐng)求來(lái)自基于 Go 的客戶端，與 Go 語(yǔ)言 2024 年 12% 的份額相比增長(zhǎng)顯著。Python、Java 和 Node.js 緊隨其后，成為最受歡迎的技術(shù)。

圖片來(lái)源：Cloudflare 官方博客

盡管從業(yè)者往往會(huì)關(guān)注 云服務(wù)中斷問題，但 2025 年 觀察到的中斷事件 近半數(shù)實(shí)為計(jì)劃內(nèi)停機(jī)——旨在“防止學(xué)術(shù)考試作弊”，其余則與抗議活動(dòng)、社會(huì)動(dòng)蕩或海底及國(guó)內(nèi)光纖基礎(chǔ)設(shè)施遭破壞有關(guān)。

與往年一樣，這家超大規(guī)模服務(wù)商強(qiáng)調(diào)，超大規(guī)模網(wǎng)絡(luò)層攻擊的頻率和規(guī)模日益增長(zhǎng)。這類攻擊發(fā)生在第 3/4 層，峰值流量超過每秒 1 太比特或每秒 10 億個(gè)數(shù)據(jù)包。Cybernara 創(chuàng)始人 Chirag Goswami評(píng)論道：

互聯(lián)網(wǎng)正經(jīng)歷中年危機(jī)。機(jī)器人已成為新常態(tài)。分布式拒絕服務(wù)攻擊屢創(chuàng)新高。一次 BGP 故障仍能讓半數(shù)網(wǎng)站癱瘓。Cloudflare 的 Radar 年度回顧不僅是數(shù)據(jù)統(tǒng)計(jì)，更是互聯(lián)網(wǎng)真實(shí)面貌的壓力測(cè)試報(bào)告——它揭示了網(wǎng)絡(luò)環(huán)境的脆弱、快速以及機(jī)器人泛濫的現(xiàn)狀。

Cloudflare Radar 2025 年度回顧專題網(wǎng)站提供了更詳細(xì)的數(shù)據(jù)，包括按具體國(guó)家和地區(qū)劃分的趨勢(shì)分析。

https://www.infoq.com/news/2025/12/cloudflare-2025-ai-bots/

聲明：本文為 InfoQ 翻譯，未經(jīng)許可禁止轉(zhuǎn)載。