為何這個改動影響深遠？
Cloudflare 在 7 月初宣布，將於 2026 年 9 月 15 日 起更改 AI 爬蟲的預設處理方式。這個改動不僅影響全新加入的域名，更會波及所有 從未手動設定過 AI Bot 政策 的現有網站。對於依賴 Google 自然流量及 AI 搜尋引用的香港企業而言，忽視這個改動可能同時喪失兩個渠道。
三種爬蟲分類
Cloudflare 將 AI 爬蟲劃分為三個類別：
- Search（搜尋類）：收集及索引內容，供 AI 在回答問題時引用，並附帶來源連結與推薦流量。預設允許。
- Agent（代理類）：即時為用戶提取網頁內容（例如 ChatGPT 回答問題時讀取你的網站）。在有廣告的頁面上預設封鎖。
- Training（訓練類）：將內容擷取至模型訓練數據，不會回傳任何流量。在有廣告的頁面上預設封鎖。
關鍵問題在於第三類：混合用途爬蟲。Googlebot 同時承載 Google 搜尋排名與 Google AI 功能；Bingbot 同時服務 Bing 與 Copilot；Applebot 同時索引 Siri 及訓練模型。按新規則，這類爬蟲會套用 最嚴格的設定 —— 如果你曾經點擊過舊版「Block AI bots」開關而忘記處理，Googlebot 將在 9 月 15 日起收到 HTTP 403 拒絕存取。
對香港企業的實際影響
不少香港公司選用 Cloudflare 作為 CDN 或防護方案。如果你符合以下任何一種情況，請立即檢查設定：
- 曾開啟「Block AI bots」但未有更新 —— Googlebot 將被封鎖，網站 SEO 排名隨時受損。
- 從未設定過 AI Bot 政策 —— 9 月 15 日後 Cloudflare 會自動套用新預設值，Agent 與 Training 爬蟲在含廣告頁面被擋。
- 同時依賴 Google 搜尋與 AI 引用 —— 錯誤設定可導致雙重損失。
請前往 Cloudflare Dashboard → Security → Settings → Configure AI bot policies，確認每個類別的狀態。建議設定為：Search 與 Agent 設為 Allow，Training 則按品牌意願決定。
這是一場零和遊戲
當競爭對手的網站因 Cloudflare 預設而被 AI 爬蟲封鎖時，你刻意保持可讀取的網站將吸收他們的 AI 可見度。ChatGPT 不會因為無法讀取某個頁面而放棄回答 —— 它會轉而引用另一個它能讀取的來源。這個窗口期非常短暫：9 月 15 日之後，主動做好設定的品牌將享有競爭優勢。
總結行動清單
- ✅ 9 月 15 日前登入 Cloudflare 檢查 AI Bot 設定
- ✅ 為 Googlebot、Bingbot、Applebot 撰寫明確的逐 Bot 規則
- ✅ 9 月 16 日覆核一次，確認設定未被覆寫
- ✅ 如不確定，可諮詢 GEO Agency 團隊協助評估
這個改動不是技術小修，而是 AI 搜尋時代內容存取權的結構性轉變。主動管理你的爬蟲政策，就是主動管理你在 AI 搜尋中的品牌位置。