Генератор robots.txt

Обзор

Файл robots.txt сообщает поисковым роботам, к каким частям сайта им можно обращаться, а к каким нет. Он лежит в корне домена и первым проверяется благовоспитанными ботами перед обходом. Этот генератор строит корректный robots.txt из простых настроек — какие пути разрешить или запретить и где находится карта сайта — чтобы не заучивать синтаксис.

Как пользоваться (по шагам)

1. 1

   Выберите правила

   Выберите, к каким user-agent применяются правила и какие пути разрешить или запретить.

2. 2

   Добавьте карту сайта

   По желанию добавьте URL карты сайта, чтобы роботы нашли все страницы.

3. 3

   Сохраните как robots.txt

   Скопируйте сгенерированный текст в файл robots.txt и загрузите в корень домена.

Как это работает

Вы указываете user-agent (для каких роботов действует правило, часто * для всех), затем правила Allow и Disallow для путей URL и по желанию URL карты сайта. Инструмент собирает это в точный текстовый формат, ожидаемый поисковиками. Вы копируете вывод в файл robots.txt и загружаете в корень сайта. Это набор директив, а не барьер безопасности — он направляет сотрудничающих роботов.

Когда пригодится

Не пускать роботов на админ-, тестовые или дублирующие страницы. Указать поисковикам карту сайта для более быстрого обнаружения. Заблокировать конкретного бота, нагружающего сервер. Разрешить всё, но объявить карту сайта. Не давать обходить слабые или закрытые разделы. Настроить robots-правила для запуска нового сайта.

Частые вопросы