веб-инструмент / 02

Проверка robots.txt

Преобразуйте файл robots.txt сайта в краткий и понятный отчёт о правилах для поисковых роботов.

Проверка robots.txt: Показывает правила robots.txt для поисковых роботов, группы роботов, объявления sitemap и исходный код файла. TOEA получает файл из корня сайта и обобщает правила для всех роботов в отношении корневого пути. Это помогает выявить общие запреты и правила, размещённые не в той группе; инструмент не проверяет, может ли каждая страница быть проиндексирована. Обработка выполняется безопасно по запросу.

Категория
Веб-инструменты
Запуски
На сервере TOEA
Стоимость
Бесплатно · без регистрации
Доступность
Готово к использованию
Просмотр robots.txtБезопасная проверка общедоступного URL

TOEA проверяет файл robots.txt в корне сайта.

Короткий пример robots.txt

Разместите файл в корне хоста: /robots.txt. Директива User-agent выбирает группу поисковых роботов, Disallow запрещает этой группе загружать соответствующие пути, а Allow может сделать исключение. Этот пример блокирует личный каталог, кроме его открытой папки с материалами для прессы, и указывает sitemap.

User-agent: *
Disallow: /private/
Allow: /private/press/

Sitemap: https://example.com/sitemap.xml

Побеждает самый длинный совпадающий путь; при равенстве приоритет имеет Allow. Пути чувствительны к регистру. Правила групп, соответствующих одному и тому же роботу, объединяются; именованный робот не наследует правила группы с подстановочным знаком. Справочник протокола: https://www.rfc-editor.org/rfc/rfc9309.html

Распространённые ошибки

Disallow: / блокирует любой путь, а пустое значение Disallow ничего не блокирует. Файл в /blog/robots.txt не управляет корнем сайта, а правила одного хоста не распространяются на поддомен. Не блокируйте ресурсы, необходимые поисковой системе для отображения страницы.

Robots.txt управляет сканированием, но не доступом и не гарантированным удалением из результатов поиска. Для закрытого содержимого используйте аутентификацию. Если открытая страница не должна появляться в поиске, разрешите сканирование и отдавайте noindex. Этот проверяющий инструмент суммирует группы и политику корневой группы с подстановочным знаком, но не проверяет каждый URL. Рекомендации по поиску: https://developers.google.com/search/docs/crawling-indexing/robots/intro

Как пользоваться

  1. Введите любую страницу сайта, который хотите проверить.
  2. Выберите «Проверить robots.txt».
  3. Просмотрите группы, общее число правил, sitemap и полный исходный код.

Конфиденциальность и ограничения

URL сайта отправляется в сервис TOEA с ограниченным получением данных и не сохраняется. Файл robots.txt носит рекомендательный характер; этот отчёт не доказывает, что каждый поисковый робот будет ему следовать.

Похожие инструменты

Проверка краулеров ИИКарта сайтаПроверка noindexllms.txt

Часто задаваемые вопросы

Где должен находиться robots.txt?

По адресу /robots.txt на хосте, правила которого вы хотите настроить, например https://example.com/robots.txt. Файл в каталоге /blog/ не управляет всем сайтом, а для поддомена нужен отдельный файл.

Удаляет ли Disallow страницу из результатов поиска?

Нет. Robots.txt управляет сканированием, а не индексацией или доступом. Заблокированный URL всё ещё может появиться в результатах поиска. Чтобы исключить общедоступную страницу, разрешите сканирование и укажите директиву noindex; защищайте закрытое содержимое с помощью аутентификации.

Какие ошибки стоит проверить в первую очередь?

Disallow: / блокирует весь сайт, а пустое значение Disallow ничего не блокирует. Проверьте пути с учётом регистра, границы групп и то, не заблокированы ли важные ресурсы. Именованная группа поискового робота не наследует правила группы со знаком подстановки.

Бесплатный инструмент · запусков: на сервере toea · аккаунт не нужен