美國法拍房數據藏在3萬個政府網站里，有人用Python把它扒干凈

全美每年新增約30萬套法拍房，但這些數據散落在3143個縣的 Clerk 辦公室網站里。有人想查隔壁街的違約記錄，得先學會用1998年風格的網頁表單——這相當于讓 TikTok 用戶去操作 DOS 系統。

一位開發者把這套流程寫成了 Python 腳本。他的目標很明確：把「 County Clerk 網站（縣書記官網站）」變成可編程的數據接口。

為什么法拍數據值錢？

法拍房（Foreclosure）是經濟壓力的領先指標。2008年金融危機前，內華達州和佛羅里達州的法拍申請量提前18個月飆升——比房價崩盤早了一年半。

對三類人這是金礦：

投資者：以低于市場價30-50%的價格收購

記者：追蹤掠奪性貸款（Predatory Lending）的地理分布

研究者：驗證「住房可負擔性」政策的實際效果

問題在于數據主權。聯邦政府只維護 HUD 的已上市房源，而「違約通知（Notice of Default）」——也就是最早的預警信號——歸縣級法院管。每個縣的網站架構、更新頻率、反爬策略都不一樣。

拆解 HUD 官方數據源

美國住房與城市發展部（HUD）運營著 hudhomestore.gov，收錄聯邦政府持有的法拍房。這是唯一結構化的入口，但只覆蓋已走完流程、進入公開銷售的房源。

開發者用 ScraperAPI 繞過反爬，核心邏輯很直接：

POST 請求到 PropertySearchResult 端點，參數包括州、城市、郵編。返回的 HTML 用 BeautifulSoup 解析，提取地址、價格、狀態三個字段。

代碼里留了三個 CSS 選擇器兜底：`.property-listing`、`.listing-row`、`tr`。這是因為 HUD 網站改版過至少兩次，舊版用表格布局，新版用了 div 卡片。

一個細節：價格字段可能為空。開發者在解析時做了容錯，返回 "N/A" 而不是拋異常——這對批量跑 50 個州的腳本很重要。

縣級法院：真正的戰場

CountyRecordsScraper 類面對的是更混亂的現實。縣級網站技術棧跨度極大：有的用 2003 年的 ASP.NET，有的用現代的 React 但做了服務端渲染，還有的直接把 PDF 掃描件傳上去。

開發者的策略是「表格優先」。遍歷所有 `

反爬對抗是日常。ScraperAPI 的 `render=true` 參數啟用無頭瀏覽器，處理 JavaScript 渲染的頁面。超時設為 60 秒，因為某些縣的服務器響應速度堪比撥號上網。

一個未完成的代碼片段顯示，開發者計劃提取 `case_number`、`filing_date`、`plaintiff`、`defendant`、`property_address` 五個字段。但縣級數據的質量參差不齊：有些縣把地址藏在 PDF 附件里，有些縣用縮寫代指房產（如「LOT 17, BLOCK 3, SUNSET ESTATES」），需要額外調用地理編碼 API 才能定位。

這套系統的價值不在于技術復雜度，而在于「時間差」。當違約通知出現在縣法院網站，到 Zillow 更新房源狀態，中間有 30-90 天的窗口期。搶先一步意味著避開競價。

但法律風險真實存在。加州反爬蟲法（CFAA 相關判例）和各縣的服務條款（ToS）構成灰色地帶。2022 年 hiQ Labs 訴 LinkedIn 案確立了「公開數據可爬」的原則，但法拍數據涉及個人財務困境，隱私訴訟的風險高于普通房產數據。

開發者在代碼注釋里留了免責聲明的占位符，但沒寫具體措辭。

這個原型展示了最小可行架構：HUD 作為基準數據源，縣級爬蟲作為增量補充，ScraperAPI 作為基礎設施層。要變成商用產品，還需要：

地址標準化（USPS API 或 Libpostal）

去重引擎（同一房產可能在 HUD 和縣記錄里各出現一次）

變更檢測（監控特定房產的狀態流轉）

合規層（各州法拍通知期的法律差異）

最后一個代碼片段停在 `cells[0].get_text(strip=True)`——案號提取完成，但 `filing_date` 的解析邏輯還沒寫。這很像產品經理的草稿：核心路徑通了，邊緣情況留給下一個 Sprint。

GitHub 上類似的法拍爬蟲項目，Star 數通常在 200-800 之間。這個區間的項目有個共同點：代碼能跑，但文檔寫著「你需要自己搞清楚每個縣的網站結構」。換句話說，這是套需要人工維護的自動化系統——技術解決了 80% 的問題，剩下 20% 是體力活。

如果要把這套腳本變成月付 99 美元的 SaaS，你愿意為哪個功能買單：是「自動適配新縣網站」的機器學習模塊，還是「7×24 小時監控特定街區」的告警系統？

` 標簽，跳過表頭，取第 0 列作為案號、第 3 列作為當事人——這基于一個觀察：美國法院系統的表格結構比 CSS 類名更穩定。

信息套利的邊界

從腳本到產品