网页工具 / 05
AI爬虫检查工具
将网站的robots.txt规则转换为易读的政策报告，了解知名AI爬虫的访问权限。
AI爬虫检查工具: TOEA会针对一组精选的AI、搜索和数据集爬虫评估robots.txt规则，并显示最具体的匹配规则。 按需安全处理。
- 类别
- 网络工具
- 使用次数
- 在TOEA服务器上
- 费用
- 免费·无需注册
- 可用性
- 可直接使用
使用方法
- 输入要检查的网站页面。
- 选择“检查AI爬虫”。
- 查看每个爬虫匹配到的政策和源规则。
隐私与限制
网站网址会通过TOEA的API进行检查，不会存储。Robots.txt是自愿遵守的规则，爬虫名称或行为可能发生变化；显示允许并不意味着网站会被纳入任何AI产品。
相关工具
常见问题
“允许”是否意味着我的内容会被用于AI？
不会。这只表示当前的robots.txt规则没有阻止该指定爬虫访问根路径。
robots.txt能否强制执行法律政策？
Robots.txt用于表达对爬虫的偏好；它不是访问控制，也不是法律建议。
阻止GPTBot能让我的页面完全不出现在ChatGPT中吗？
不能完全做到。GPTBot会收集训练数据；ChatGPT的搜索结果来自OAI-SearchBot，而用户要求ChatGPT打开的页面则由ChatGPT-User抓取。每个爬虫都有自己的令牌。
阻止Google-Extended会影响我的Google搜索排名吗？
不会。Google-Extended只控制Googlebot抓取的内容是否可以用于Gemini；Google表示，这不会影响内容是否被纳入搜索结果或其排名。
此工具会检查哪些爬虫？
共有十个令牌：GPTBot、ChatGPT-User、OAI-SearchBot、ClaudeBot、Claude-SearchBot、PerplexityBot、Google-Extended、CCBot、Bytespider和Amazonbot。下方表格说明了每个爬虫的用途。
免费工具·使用在toea服务器上次·无需账户