Robots.txt Generator

Create a robots.txt file for your website to manage search engine crawling. Allow or disallow bots and specify your sitemap easily.

User Agent

* for all robots

Crawl Delay

Seconds (optional)

Sitemap URL

Rules

A robots.txt file gives you control over which parts of your site should be public to search engines.

Up next

Or try these instead

अनुशंसित टूल्स

चुने हुए उपयोगी टूल्स

JSON से TypeScript इंटरफ़ेस बनाएँ।

रीयल-टाइम पूर्वावलोकन के साथ Markdown लिखें।

CSV को JSON में और इसके विपरीत बदलें।

यादृच्छिक UUID तुरंत बनाएँ।

टेक्स्ट और छवियों को Base64 में एनकोड/डिकोड करें।

SQL क्वेरीज़ को फ़ॉर्मेट और सुंदर बनाएँ।

वेबसाइट के लिए robots.txt फ़ाइल बनाएँ।

Apache के लिए .htaccess नियम बनाएँ।