Robots.txt Generator
Create a robots.txt file to control how search engines crawl your website.
Configuration
Generated robots.txt
Control Bot Access
A robots.txt file gives you control over which parts of your site should be public to search engines.
Polecane narzędzia
Wybrane narzędzia, które mogą Ci się przydać
Budowanie pliku robots.txt dla witryny
Overview
Plik robots.txt mówi robotom wyszukiwarek, do których części witryny mają dostęp. Poprawny plik trzyma prywatne lub zduplikowane obszary poza indeksem i kieruje roboty do mapy witryny. Generator buduje plik z wybranych reguł, w przeglądarce.
How to Use (Step by Step)
- 1
Wybierz, co zezwolić lub zablokować
Dodaj reguły Disallow dla ścieżek, których nie chcesz indeksować.
- 2
Dodaj URL mapy witryny
Dołącz pełną lokalizację mapy, by roboty ją znalazły.
- 3
Zapisz jako robots.txt
Umieść plik w katalogu głównym domeny (example.com/robots.txt).
How It Works
Plik zawiera reguły pogrupowane według user-agent (robota), każda ze ścieżkami Allow i Disallow, które zezwalają lub blokują indeksowanie wzorców URL. Może też deklarować lokalizację mapy witryny. Roboty czytają robots.txt przed indeksowaniem, więc zablokowanie ścieżki powstrzymuje porządne boty — ale to wskazówka dotycząca indeksowania, nie zabezpieczenie ani gwarancja ukrycia strony z wyszukiwarki.
When to Use This
Blokowanie robotów na ścieżkach admina, koszyka lub środowiska testowego. Kierowanie wyszukiwarek do mapy witryny. Pełny dostęp do indeksowania dla nowej witryny z czystym plikiem domyślnym.
Frequently Asked Questions
Niezawodnie nie. Prosi roboty o pominięcie ścieżki, ale zablokowany URL może i tak pojawić się w wynikach, jeśli prowadzą do niego linki. Aby naprawdę ukryć stronę, użyj tagu noindex lub uwierzytelnienia.