不用逐家擋AI了？四大業者支持共用訓練偏好，但還沒全面生效

網站不想讓文章被拿去訓練AI，過去得分別處理不同業者的爬蟲規則。The Verge在10月30日報導，OpenAI、Google、Microsoft與Anthropic支持一套共用訊號，希望讓網站經營者用同一份設定，向多家參與業者表達訓練偏好。不過，支持提案和已經上路，還是兩回事。

這套做法放在網站的robots.txt檔案裡，使用名為__usage_ai-training的政策標記。可以把它想成網站貼出的用途告示，說明哪些內容不希望用於生成式AI訓練。IETF文件寫得很清楚：它表達的是內容使用偏好，本身不是禁止爬取的指令；不支援的程式仍可能忽略它。這份文件目前也是個人提交的草案，並非已完成的正式標準。

OpenAI表示，預計未來幾個月實作，原有的爬蟲控制方式會保留。Google則以2027年為目標。依Google說明，如果網站透過共用訊號拒絕訓練，又沒有明確指定Google-Extended，它計畫按拒絕Google-Extended處理；站長仍能保留針對特定業者的選擇，不必把所有公司都設成同一種待遇。

Microsoft另外把「訓練」與「讓網頁內容協助生成回答」分開，後者稱為grounding。例如不想讓文章改變模型能力，卻仍願意讓回答引用文章，就是兩個可以分開表達的選擇。Microsoft說，新偏好從2027年2月1日起隨重新爬取生效，並不改變網站進入一般Bing搜尋結果的資格。

已經使用NoArchive或NoCache的站長尤其要留意交接。Microsoft要求在2027年3月1日前依新規則完成轉換，之後舊標記不再代表訓練或grounding偏好；其中grounding的過渡還涉及Bing Webmaster Tools設定。現在比較實際的準備，是先盤點網站現有規則，再對照各家正式上線與轉換說明。共用訊號能減少維護工作，但不能當成已經追回舊訓練資料，或替所有未參與業者設下封鎖。

值得留意

經營網站的人將更容易表達內容用途，但訓練、搜尋收錄與AI回答引用仍是不同設定，不能只改一處就以為全部處理好了。

原標題 The biggest names in AI are backing a new way to opt out of scraping