SEO / Сканирование сайтов

Генератор robots.txt

Создайте файл robots.txt с правилами для каждого робота, строками sitemap и пресетами: разрешить всё, заблокировать тестовый сайт или краулеров для обучения AI.

Генератор robots.txt: robots.txt сообщает краулерам, какие пути им разрешено запрашивать. В соответствии со стандартом RFC 9309 каждая группа содержит User-agent, а затем правила Disallow и Allow; при совпадении нескольких правил применяется наиболее специфичное. Пресет для обучения AI добавляет группу для GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot и meta-externalagent — это названия, которые их операторы указывают для отказа от использования данных в обучении. Генератор предупреждает о путях без начального слеша, относительных URL sitemap и правилах, блокирующих всех краулеров. Работает на 100% локально в вашем браузере, файлы на сервер не загружаются.

Категория
Веб-инструменты
Запуски
В вашем браузере
Стоимость
Бесплатно · без регистрации
Доступность
Готово к использованию
Генератор robots.txtЛокальная обработка

Полностью работает в браузере

Группа 1
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

Разместите файл в корневом каталоге сайта, например https://example.com/robots.txt. Он просит краулеры не заходить на сайт, но ничего не скрывает и не защищает, а Google игнорирует Crawl-delay. Названия краулеров для ИИ проверены 2 октября 2026; компании добавляют новые, поэтому сверяйтесь с их документацией.

Распространённые ошибки

Блокировка CSS и JavaScript не позволяет поисковым системам правильно отображать страницы; блокировка страницы, которую вы хотите удалить, не даёт роботам увидеть её тег noindex; если после запуска сайта оставить Disallow: / от тестовой версии, весь сайт будет скрыт. Проверяйте файл на работающем сайте после каждого развёртывания.

Чтобы протестировать существующий файл, используйте проверку robots.txt; чтобы проверить sitemap, на который он указывает, — проверку sitemap.

Подстановочные символы

Google и Bing поддерживают * для любых символов и $ для конца URL: Disallow: /*.pdf$ блокирует все PDF. Побеждает самое длинное совпадение, поэтому Allow: /shop/sale/ переопределяет Disallow: /shop/.

Как пользоваться

  1. Выберите пресет или отредактируйте группы User-agent и пути.
  2. Добавьте URL файлов sitemap.
  3. Скопируйте или скачайте robots.txt и поместите его в корень сайта.

Конфиденциальность и ограничения

Файл создаётся в вашем браузере.

Похожие инструменты

Проверка robots.txtКарта сайтаМета-тегиГенератор CSP

Часто задаваемые вопросы

Блокирует ли robots.txt страницы в поиске Google?

Он запрещает сканирование, но не индексацию: заблокированная страница всё ещё может появиться в результатах, если на неё ссылаются другие сайты. Чтобы убрать страницу из поиска, разрешите сканирование и добавьте метатег noindex.

Удалит ли блокировка AI-краулеров мой контент из инструментов AI?

Она просит эти краулеры впредь не собирать страницы; уже собранные данные не удаляются, и соблюдать это правило будут только краулеры, которые поддерживают robots.txt.

Работает ли Crawl-delay?

Bing и некоторые другие краулеры его учитывают; Google игнорирует его и автоматически регулирует частоту сканирования.

Бесплатный инструмент · запусков: в вашем браузере · аккаунт не нужен