Генератор robots.txt
Создайте файл robots.txt для сайта.
Настройка
Сгенерированный robots.txt
Контроль доступа ботов
Файл robots.txt даёт вам контроль над тем, какие части сайта будут доступны поисковым системам.
Рекомендуемые инструменты
Подборка полезных утилит
Создание файла robots.txt для сайта
Обзор
Файл robots.txt сообщает поисковым краулерам, к каким частям сайта можно обращаться. Правильный файл держит приватные или дублирующиеся разделы вне индекса и указывает краулерам путь к карте сайта. Генератор создаёт файл по выбранным правилам в браузере.
Как пользоваться (по шагам)
- 1
Выберите, что разрешить или закрыть
Добавьте правила Disallow для путей, которые не хотите отдавать в обход.
- 2
Добавьте URL карты сайта
Укажите полный адрес карты, чтобы краулеры её нашли.
- 3
Сохраните как robots.txt
Разместите файл в корне домена (example.com/robots.txt).
Как это работает
Файл содержит правила, сгруппированные по user-agent (краулеру), с путями Allow и Disallow, которые разрешают или блокируют обход шаблонов URL. Можно указать расположение карты сайта. Краулеры читают robots.txt перед обходом, поэтому блокировка пути не пускает добросовестных ботов — но это указание для обхода, а не средство безопасности или гарантия скрытия страницы из поиска.
Когда пригодится
Блокировка краулеров от путей админки, корзины или стейджинга. Указание поисковикам на карту сайта. Полный доступ для нового сайта с чистым файлом по умолчанию.
Частые вопросы
Не надёжно. Он просит краулеры пропустить путь, но закрытый URL всё равно может попасть в выдачу, если на него ссылаются. Для надёжного скрытия используйте тег noindex или аутентификацию.