robots.txt जनरेटर
वेबसाइट के लिए robots.txt फ़ाइल बनाएँ।
Configuration
Generated robots.txt
Control Bot Access
A robots.txt file gives you control over which parts of your site should be public to search engines.
अनुशंसित टूल्स
चुने हुए उपयोगी टूल्स
अपनी साइट के लिए robots.txt फ़ाइल बनाना
अवलोकन
robots.txt फ़ाइल सर्च-इंजन क्रॉलर को बताती है कि साइट के किन हिस्सों तक वे पहुँच सकते हैं। सही फ़ाइल निजी या डुप्लिकेट क्षेत्रों को इंडेक्स से बाहर रखती है और क्रॉलर को आपके साइटमैप की ओर इंगित करती है। यह जनरेटर आपके चुने नियमों से फ़ाइल ब्राउज़र में बनाता है।
कैसे उपयोग करें (चरण-दर-चरण)
- 1
क्या अनुमति या ब्लॉक चुनें
जिन पथों को क्रॉल नहीं चाहते उनके लिए Disallow नियम जोड़ें।
- 2
अपना साइटमैप URL जोड़ें
पूरा साइटमैप स्थान शामिल करें ताकि क्रॉलर उसे पाएँ।
- 3
robots.txt के रूप में सहेजें
फ़ाइल को डोमेन रूट (example.com/robots.txt) पर रखें।
यह कैसे काम करता है
फ़ाइल में user-agent (क्रॉलर) अनुसार समूहित नियम होते हैं, हर एक में Allow और Disallow पथ जो URL पैटर्न के क्रॉल को अनुमति या ब्लॉक करते हैं। यह साइटमैप स्थान भी घोषित कर सकती है। क्रॉलर क्रॉल से पहले robots.txt पढ़ते हैं, इसलिए पथ ब्लॉक करना सभ्य बॉट को रोकता है — पर यह क्रॉल के लिए दिशानिर्देश है, सुरक्षा नियंत्रण या सर्च से पेज छिपाने की गारंटी नहीं।
कब उपयोगी है
एडमिन, कार्ट या स्टेजिंग पथों को क्रॉलर से ब्लॉक करना। सर्च इंजन को साइटमैप की ओर इंगित करना। साफ़ डिफ़ॉल्ट फ़ाइल के साथ नई साइट को पूर्ण क्रॉल अनुमति देना।
अक्सर पूछे जाने वाले प्रश्न
विश्वसनीय रूप से नहीं। यह क्रॉलर से पथ छोड़ने का अनुरोध करता है, पर ब्लॉक किया URL कहीं और लिंक हो तो भी परिणामों में आ सकता है। सच में बाहर रखने को noindex टैग या प्रमाणीकरण उपयोग करें।