Cloudflare將本周大規模服務中斷事件歸咎于數據庫問題

本周，Cloudflare發生六年來最嚴重的服務中斷事件。數據庫訪問控制權限變更觸發其全球網絡連鎖故障，導致大量網站及在線平臺近6小時無法訪問。

Cloudflare全球網絡是一套分布式基礎設施，服務器與數據中心遍布120多個國家，提供內容分發、安全防護及性能優化服務。該網絡已與全球超1.3萬個網絡建立連接，包括所有主流互聯網服務提供商（ISP）、云服務商及企業網絡。

公司首席執行官Matthew Prince在故障緩解后發布的事后分析報告中表示，此次服務中斷并非由網絡攻擊導致。故障源于某一數據庫系統的權限變更——這一變更導致數據庫向“機器人管理系統”使用的“特征文件”中輸出多條重復條目。

一項常規的數據庫權限更新，致使Cloudflare的機器人管理系統生成了包含重復條目的超大配置文件。該文件超出系統內置大小限制，導致網絡流量路由過程中相關軟件崩潰。

權限變更后，數據庫查詢返回了重復的列元數據，使特征文件中的條目從約60個翻倍至200多個，突破了系統為防止內存無限制占用而硬編碼設定的200個特征上限。

5xx 錯誤 HTTP 狀態碼在故障期間

每五分鐘系統會生成一次配置文件——結果可能正常也可能存在故障，具體取決于哪些集群節點已完成更新，這導致網絡在正常運行與故障狀態之間反復波動。

此外，當超大文件在網絡設備間傳播時，機器人管理模塊的Rust代碼觸發系統崩潰并返回5xx錯誤，進而導致負責流量處理的核心代理系統宕機。

隨后，Cloudflare工程師定位故障根源并將問題文件替換為早期版本后，核心流量恢復正常。不久后，所有系統完全恢復運行。此次中斷影響了Cloudflare的核心CDN、安全服務、Turnstile驗證服務、Workers KV存儲服務、控制臺訪問、郵件安全及身份認證服務。

Matthew Prince表示“鑒于Cloudflare在互聯網生態系統中的重要性，任何系統中斷都是不可接受的?！?/p>

此次中斷事件是Cloudflare自2019年以來最嚴重的一次服務中斷。以往也曾出現過控制臺無法訪問、新功能暫時不可用等情況，但過去六年多來，從未發生過導致大部分核心流量無法通過我們網絡的中斷事件。

今年6月，Cloudflare曾緩解過另一起大規模中斷事件，當時導致多個地區的零信任WARP連接出現問題、身份認證服務故障，還影響了谷歌云基礎設施。

10月，亞馬遜也處理了一起由重大DNS故障引發的中斷事件，該故障導致數百萬使用其亞馬遜網絡服務（AWS）云計算平臺的網站連接中斷。

參考及來源：https://www.bleepingcomputer.com/news/technology/cloudflare-blames-this-weeks-massive-outage-on-database-issues/