封鎖 AI 爬蟲，還是讓它引用？網站現在多了一道選擇題

不要先把所有 AI 爬蟲一起封鎖。訓練模型、支援 AI 搜尋與代表使用者開啟頁面的爬蟲，目的可能不同；網站應先確認商業目標與內容風險，再決定哪些允許、哪些限制。

為什麼突然要做這個選擇？

Cloudflare 在 2025 年宣布，新的網域將可預設封鎖已知 AI 爬蟲，並測試 Pay per Crawl，讓內容擁有者選擇免費開放、收費或拒絕存取。這項機制使用 HTTP 402 回應與爬蟲驗證，但推出時仍屬私人測試，不是所有網站都能立刻靠爬蟲收費。^[1]

台灣媒體將這項變化放在內容被大量擷取、引用卻未必帶回流量的背景下討論。對出版商而言，這牽涉內容授權與收益；對一般品牌網站而言，問題則更像是：你是否希望產品、服務與專業內容被 AI 搜尋找到？^[2]

AI 爬蟲不是只有一種

例如 OpenAI 將 OAI-SearchBot 與 GPTBot 分開說明，前者用於搜尋，後者與模型訓練相關；Google 也區分一般搜尋的 Googlebot 與可控制部分 AI 訓練用途的 Google-Extended。因此，一條「全部封鎖 AI」規則可能同時阻斷你原本想保留的搜尋曝光。^[3][4]

Google 新增了什麼控制？

Google 在 2026 年新增 Search Console 控制項，網站擁有者可決定網站是否出現在 AI 摘要、AI 模式與 Discover 的生成式 AI 功能中，並為回答提供依據。Google 表示，選擇退出的網站不會從這些生成式 AI 功能獲得流量或曝光；這項選擇不會成為生成式 AI 功能以外搜尋結果的排名訊號。相關功能已於 2026 年 8 月 31 日推向全球網站。^[5]

這個選項控制的是 Google 生成式 AI 搜尋中的顯示，和用 Google-Extended 管理部分模型訓練用途不同，也不能取代網站的存取權限、登入保護或其他爬蟲規則。設定前應先確認退出後可能失去的曝光與流量，再依內容授權和商業目標決定。

三種網站的判斷方式

一般品牌與服務網站

若目標是讓服務內容被搜尋、比較與引用，可優先保留搜尋用途爬蟲，再限制不需要的訓練用途。產品說明、服務範圍與聯絡方式本來就是公開資訊，重點是不要誤擋搜尋機器人。

媒體、研究與付費內容網站

內容本身就是主要資產，應把公開摘要、會員全文、資料授權與爬蟲規則分開設計。若只用一條全站規則處理，可能不是失去引用機會，就是讓付費內容暴露過多。

含個資或會員操作的網站

無論是否開放公開內容，都要確保登入後頁面、個人資料、訂單與付款流程不會被未授權代理存取。這屬於權限與安全設計，不是單靠 robots.txt 就能解決。

調整前後要檢查什麼？

1. 列出目前 CDN、WAF 與 robots.txt 對各種爬蟲的規則。
2. 分清搜尋、訓練與使用者操作用途，不要只看名稱裡有沒有 AI。
3. 先在測試環境驗證，再觀察伺服器紀錄中的狀態碼與抓取量。
4. 確認 Google、Bing 與重要 AI 搜尋平台仍能存取公開頁面。
5. 把調整日期、目的與負責人記錄下來，避免日後沒人知道為何被封鎖。