網頁工具 / 05
AI 爬蟲檢查工具
將網站的robots.txt規則轉換成易讀的政策報告，查看知名AI爬蟲受到的規範。
AI 爬蟲檢查工具: TOEA會針對一組精選的AI、搜尋引擎和資料集爬蟲，分析robots.txt規則，並顯示最具體的符合規則。 依需求安全處理。
- 分類
- 網路工具
- 使用次數
- 在TOEA的伺服器上
- 費用
- 免費・免註冊
- 可用狀態
- 可立即使用
使用方式
- 輸入您要檢查的網站頁面。
- 選擇「檢查AI爬蟲」。
- 查看每個爬蟲符合的政策與來源規則。
隱私與限制
網站網址會透過TOEA的API進行檢查，不會儲存。Robots.txt是自願遵循的規範，爬蟲名稱或行為可能會變更；顯示允許並不代表網站一定會被納入任何AI產品。
相關工具
常見問題
顯示「允許」是否代表我的內容會被用於AI？
不代表。這只表示目前的robots.txt規則沒有在根路徑封鎖該指定爬蟲。
robots.txt可以強制執行法律政策嗎？
Robots.txt用來表達對爬蟲的偏好；它不是存取控制，也不構成法律建議。
封鎖GPTBot就能讓我的頁面不出現在ChatGPT中嗎？
不能完全避免。GPTBot會收集訓練資料；ChatGPT的搜尋結果來自OAI-SearchBot，而使用者要求ChatGPT開啟的頁面則由ChatGPT-User擷取。每個爬蟲都有自己的token。
封鎖Google-Extended會影響我的Google搜尋排名嗎？
不會。Google-Extended只控制Googlebot擷取的內容是否可用於Gemini；Google表示這不會影響搜尋結果收錄或排名。
這項檢查會檢查哪些爬蟲？
共有10個token：GPTBot、ChatGPT-User、OAI-SearchBot、ClaudeBot、Claude-SearchBot、PerplexityBot、Google-Extended、CCBot、Bytespider和Amazonbot。下方表格會說明每個爬蟲的用途。
免費工具・使用在toea的伺服器上次・免註冊