Google、Microsoft 與 OpenAI 於上星期五(10 月 30 日)同步宣布,計劃支援一個統一的 robots.txt AI 訓練退出指令,網站的內容偏好與否,將來可用同一行規則同時通知所有 AI 供應商,毋須再逐間公司設定。這項機制源自 Anthropic 工程師向 IETF 提交的草案,Google 由 John Mueller 親自撰文確認,屬已證實的官方公布。
新機制點樣運作? 網站只需在 robots.txt 加入一個規則群組:
User-Agent: __usage_ai-training
Disallow: /
這一行代表「不允許 AI 利用我的內容進行模型訓練」,但不影響搜尋爬取與收錄。三家公司的落實方式各有不同:Google 計劃在 2027 年初把這行視為等同 Google-Extended 封鎖,同時涵蓋 Gemini 模型訓練與 Gemini Apps 的 Grounding(引用);Microsoft 則把「訓練」與「Grounding(AI 引用)」分開處理,並以新的頁面級偏好取代舊的 NoArchive、NoCache 標籤,2027 年 2 月起生效、3 月後舊標籤不再被承認;OpenAI 則承諾在未來數月內支援。
對香港企業的三個重點:
-
「被 AI 訓練」與「被 AI 引用」是兩回事。Google 的 Google-Extended 同時管訓練與 Grounding——封鎖它,品牌就會從 Gemini 的回覆中消失,連同被引用的機會一併失去;但 Microsoft 卻容許你「退出訓練、保留引用」。選擇前先弄清楚每個平台的對應關係,不要為求保護內容而誤封 AI 引用通道。
-
2027 年前要檢視現有設定。現時大部分香港網站用 NoArchive、NoCache 或其他舊標籤控制 AI 使用,Microsoft 已明言這些標籤將在 2027 年 3 月後失效,並要求用戶在 12 月 15 日起經 Bing Webmaster Tools 登記臨時偏好。現在檢查 robots.txt 與 HTTP 標頭,避免將來「被預設允許」。
-
被引用才是 GEO 的核心。訓練退出機制保護的是「內容不被學走」,但品牌要在 AI 答案中出現,靠的是內容開放予 AI 讀取、引用。對做 GEO 的香港企業而言,全面封鎖是下策;真正要做的是分清「可被引用」與「可被訓練」兩個開關。——如果 Google 無法在 2027 年初前把兩者分開,市場對 Grounding 專用開關的需求只會更大,這件事值得持續跟進。