Robots.txt-Generator
Erstellen Sie robots.txt-Dateien für Suchmaschinen-Crawler.
Vorschau
User-Agent-Block
Empfohlene Tools
Handverlesene Dienstprogramme, die Sie nützlich finden könnten
Eine robots.txt-Datei erstellen, um Suchmaschinen-Crawler zu leiten
Überblick
Eine robots.txt-Datei sagt Suchmaschinen-Crawlern, auf welche Teile deiner Website sie zugreifen dürfen und auf welche nicht. Sie liegt im Stammverzeichnis deiner Domain und ist das Erste, was wohlerzogene Bots vor dem Crawlen prüfen. Dieser Generator baut eine gültige robots.txt aus einfachen Auswahlen — welche Pfade erlaubt oder gesperrt sind und wo deine Sitemap liegt — sodass du die Syntax nicht auswendig können musst.
So gehts (Schritt für Schritt)
- 1
Regeln wählen
Wähle, für welche User-Agents die Regeln gelten und welche Pfade erlaubt oder gesperrt werden.
- 2
Sitemap hinzufügen
Füge optional deine Sitemap-URL ein, damit Crawler alle deine Seiten finden.
- 3
Als robots.txt speichern
Kopiere den erzeugten Text in eine Datei namens robots.txt und lade sie ins Stammverzeichnis deiner Domain.
Funktionsweise
Du gibst User-Agents an (für welche Crawler eine Regel gilt, oft * für alle), dann Allow- und Disallow-Regeln für URL-Pfade und optional deine Sitemap-URL. Das Tool fügt sie in das exakte Textformat zusammen, das Suchmaschinen erwarten. Du kopierst die Ausgabe in eine Datei namens robots.txt und lädst sie ins Stammverzeichnis deiner Website. Es ist ein Satz Anweisungen, keine Sicherheitsbarriere — er leitet kooperative Crawler.
Wann verwenden
Crawler aus Admin-, Staging- oder Duplikatseiten heraushalten. Suchmaschinen für schnellere Entdeckung auf deine Sitemap hinweisen. Einen bestimmten Bot sperren, der deinen Server belastet. Alles erlauben und dennoch eine Sitemap deklarieren. Dünne oder private Bereiche vom Crawlen ausschließen. Robots-Regeln für den Start einer neuen Website einrichten.
Häufig Gestellte Fragen
Nein. Sie bittet nur kooperative Crawler, einen Pfad zu überspringen; die Seite bleibt öffentlich zugänglich, und nicht konforme Bots können sie ignorieren. Um den Zugriff wirklich zu beschränken, nutze Authentifizierung oder serverseitige Kontrollen.
Wichtige Hinweise
Eine einzige falsche Disallow-Zeile kann deine ganze Website vor der Suche verbergen. Prüfe die Pfade genau und denke daran, dass robots.txt öffentlich ist — jeder kann sie lesen, liste also keine geheimen URLs auf, die du verbergen willst.