Cloudflare 今日更新 AI 爬蟲政策
今天（2026年9月15日）是 Cloudflare 新 AI 爬蟲政策正式生效的日子。這項今年7月公布的改動，將原本的「一鍵封鎖 AI 爬蟲」單一開關，拆分為三個獨立類別：搜尋爬蟲（Search）、代理爬蟲（Agent） 及 訓練爬蟲（Training）。由今日起，所有新加入 Cloudflare 的網域，在顯示廣告的頁面上會默認封鎖訓練爬蟲和代理爬蟲，僅允許搜尋爬蟲通行。
為何此事關乎 GEO？
對於正在部署 Generative Engine Optimization（GEO）策略的香港企業，這項改動直接影響網站能否被 AI 搜尋引擎引用。訓練爬蟲（如 GPTBot、ClaudeBot）負責為 ChatGPT、Claude 等模型收集網絡內容；代理爬蟲則在用戶查詢時即時擷取資料。若這些爬蟲被默認封鎖，你的網站內容便無法出現在 AI 回答的引用來源之中。
Cloudflare 的報告指出，目前超過 50% 的互聯網流量來自非人類請求，而 AI 爬蟲請求中多達 52% 屬於訓練用途。以 ClaudeBot 為例，每爬取約 24,000 頁才回傳一個引薦連結——回報率極低，但對 GEO 而言，被爬取正是被引用的必要前提。
對香港企業的實際影響
- 新網站或新網域：如果你最近才將網站加入 Cloudflare，訓練爬蟲和代理爬蟲在廣告頁面上已默認被封鎖。你需要主動進入 Cloudflare 控制台，將這兩個類別改為「允許」，否則 AI 模型將無法讀取你的內容。
- 使用 Cloudflare 免費方案的現有網站：現有用戶不受默認改動影響，但如果你曾經開啓過「封鎖 AI 爬蟲」功能，就要檢查是否誤封了訓練爬蟲——這可能導致 ChatGPT 和 Perplexity 無法引用你的網站。
- 混合用途爬蟲的陷阱：Googlebot、BingBot 等爬蟲同時肩負搜尋索引和 AI 訓練功能。如果你選擇封鎖訓練爬蟲，這些混合爬蟲也會被一併封鎖，影響的不只是 GEO，還包括傳統 SEO 排名。
建議行動
- 登入 Cloudflare 控制台，前往 Security → Bot Management → AI Scrapers & Crawlers，檢查三個類別的設定。
- 將 Training 和 Agent 設為「Allow」，除非你有強烈理由拒絕 AI 爬蟲。
- 留意 Google Search Console 的生成式 AI 報告，觀察 AI 曝光次數的變化。
- 定期測試品牌關鍵字在 ChatGPT、Perplexity 和 Google AI Overviews 中出現與否。
總結
Cloudflare 的這項改動並非封堵 AI 爬蟲，而是給予網站擁有者更精細的控制權。對於希望提升 AI 搜尋能見度的香港企業，今日就是檢視設定的最佳時機——被 AI 引用，第一步是讓 AI 能夠讀取你的網站。