Robots.txt Generator
Create a robots.txt file to control how search engines crawl your website.
Configuration
Generated robots.txt
Control Bot Access
A robots.txt file gives you control over which parts of your site should be public to search engines.
Aanbevolen tools
Geselecteerde hulpprogramma's die handig voor je kunnen zijn
Een robots.txt-bestand voor je site bouwen
Overview
Een robots.txt-bestand vertelt zoekmachinecrawlers tot welke delen van je site ze toegang hebben. Een correct bestand houdt privé- of dubbele delen uit de index en wijst crawlers naar je sitemap. Deze generator bouwt het bestand uit eenvoudige regels die je kiest, in je browser.
How to Use (Step by Step)
- 1
Kies wat toe te staan of te blokkeren
Voeg Disallow-regels toe voor paden die je niet gecrawld wilt.
- 2
Voeg je sitemap-URL toe
Neem de volledige sitemaplocatie op zodat crawlers die vinden.
- 3
Sla op als robots.txt
Plaats het bestand in de root van je domein (example.com/robots.txt).
How It Works
Het bestand bevat regels gegroepeerd per user-agent (de crawler), elk met Allow- en Disallow-paden die het crawlen van URL-patronen toestaan of blokkeren. Het kan ook je sitemaplocatie aangeven. Crawlers lezen robots.txt vóór het crawlen, dus een pad blokkeren houdt nette bots weg — al is het een richtlijn voor crawlen, geen beveiliging of garantie om een pagina uit de zoekresultaten te houden.
When to Use This
Crawlers weren van admin-, winkelwagen- of staging-paden. Zoekmachines naar je sitemap wijzen. Volledige crawltoegang voor een nieuwe site met een schoon standaardbestand.
Frequently Asked Questions
Niet betrouwbaar. Het vraagt crawlers een pad over te slaan, maar een geblokkeerde URL kan toch in resultaten verschijnen als er elders naar wordt gelinkt. Gebruik een noindex-tag of authenticatie om een pagina echt weg te houden.