网页检查 / 有界请求

网页工具。

通过专为拒绝私有网络而构建的有界抓取层,检查公开网址、标头、元数据、爬取信号、DNS和TLS。

36运行中的工具
现在可用
01

请求与基础设施

跟踪响应,并检查公开网站背后的网络身份。

02

元数据与索引

读取搜索和社交预览使用的页面级信号,或为页面编写结构化数据。

03

发现与爬取

检查爬虫规则、sitemap、链接、网址结构和用户代理信号。

01 / WEB就绪

UTM生成器

为Google Analytics链接添加UTM营销活动参数,支持预设、批量处理和二维码。

02 / WEB就绪

Robots.txt检查工具

一目了然地查看爬虫规则、站点地图声明和可访问性。

03 / WEB就绪

AI爬虫检查工具

了解网站的robots规则如何应对已知AI爬虫。

04 / WEB就绪

Sitemap

验证XML或文本sitemap,并检查其中的网址覆盖情况。

05 / WEB就绪

llms.txt

检查网站可选的llms.txt结构、链接和源文本。

06 / WEB就绪

失效链接

发现页面链接,并安全检查有限数量的链接是否失效。

07 / WEB就绪

链接提取工具

从公开页面提取并分类最多200个不重复链接。

08 / WEB就绪

URL解析器

将网址拆分为协议、主机、路径、查询参数、片段和凭据。

09 / WEB就绪

用户代理解析器

在本地识别常见的浏览器、操作系统、设备、引擎和机器人特征。

10 / WEB就绪

robots.txt生成器

按爬虫设置规则、添加sitemap,并提供包括屏蔽AI训练爬虫在内的预设,生成robots.txt文件。

11 / WEB就绪

查询字符串

将URL查询字符串构建或编辑为经过编码的键值行。

12 / WEB就绪

Sitemap生成器

从网址列表生成有效的sitemap.xml,超过50,000个网址时自动拆分,并生成索引文件。

13 / WEB就绪

SERP预览

在Google搜索结果中预览标题和元描述,并以像素为单位测量长度。

14 / WEB就绪

关键词密度

统计七种语言中的单词和短语频率及密度,并可排除停用词。

15 / WEB就绪

llms.txt生成器

为网站编写llms.txt文件,添加标题、摘要和语言模型可读取的链接分区。

重定向与状态代码

301表示页面已永久移动,搜索引擎会将其排名信号转移到新地址;302或307表示临时移动,因此旧地址会保留该信号。多次重定向组成的链会拖慢每次访问并削弱该信号——重定向检查工具会显示每一跳及其状态,HTTP状态检查工具会报告网址最终返回的内容。

决定哪些内容会被索引的信号

四种信号会相互作用。robots.txt决定爬虫能否抓取页面;noindex指令决定已抓取的页面能否出现在结果中;canonical链接指定重复页面中首选的网址;hreflang链接指向不同语言版本。被robots.txt拦截的页面无法显示其noindex,因此仍可能通过链接留在索引中——要移除页面,应允许抓取并使用noindex。

使用各自的工具分别检查:robots.txt、noindex、canonical和hreflang;sitemap检查工具会确认你希望被索引的页面已列出。

链接预览

分享链接时,各个平台会根据Open Graph和Twitter卡片标签生成预览:标题、描述以及约1200 × 630像素的图片。Open Graph检查工具会显示页面声明的内容。如果修复标签后平台仍显示旧预览,说明它提供的是缓存副本;大多数平台都有自己的工具来刷新预览。

证书与DNS

TLS证书过期后,大多数访客会立即无法访问网站。SSL检查工具会显示签发者、证书覆盖的名称以及剩余天数。更改DNS记录后,在旧记录的生存时间结束前,不同解析器返回的答案可能不同;DNS查询会显示一个公开解析器当前看到的结果。