robots.txt जनरेटर

अवलोकन

robots.txt फ़ाइल सर्च इंजन क्रॉलर को बताती है कि वे आपकी साइट के किन हिस्सों तक पहुँच सकते हैं और किन तक नहीं। यह आपके डोमेन के रूट में रहती है और सभ्य बॉट क्रॉल करने से पहले सबसे पहले इसे जाँचते हैं। यह जनरेटर सरल विकल्पों से — किन पथों को अनुमति या मना करना, और आपका साइटमैप कहाँ है — एक मान्य robots.txt बनाता है, ताकि आपको सिंटैक्स याद न रखना पड़े।

कैसे उपयोग करें (चरण-दर-चरण)

1. 1

   अपने नियम चुनें

   चुनें कि नियम किन user-agent पर लागू होंगे और किन पथों को अनुमति या मना करना है।

2. 2

   अपना साइटमैप जोड़ें

   वैकल्पिक रूप से अपना साइटमैप URL शामिल करें ताकि क्रॉलर आपके सभी पृष्ठ पा सकें।

3. 3

   robots.txt के रूप में सहेजें

   उत्पन्न टेक्स्ट को robots.txt नामक फ़ाइल में कॉपी करें और अपने डोमेन के रूट पर अपलोड करें।

यह कैसे काम करता है

आप user-agent निर्दिष्ट करते हैं (नियम किन क्रॉलर पर लागू होता है, अक्सर सभी के लिए *), फिर URL पथों के लिए Allow व Disallow नियम, और वैकल्पिक रूप से अपना साइटमैप URL। टूल इन्हें उस सटीक टेक्स्ट प्रारूप में जोड़ता है जिसकी सर्च इंजन अपेक्षा करते हैं। आप आउटपुट को robots.txt नामक फ़ाइल में कॉपी कर अपनी साइट के रूट पर अपलोड करते हैं। यह निर्देशों का समूह है, सुरक्षा बाधा नहीं — यह सहयोगी क्रॉलर को मार्गदर्शन देता है।

कब उपयोगी है

क्रॉलर को एडमिन, स्टेजिंग या डुप्लिकेट पृष्ठों से बाहर रखना। तेज़ खोज के लिए सर्च इंजन को अपना साइटमैप दिखाना। आपके सर्वर पर बोझ डालने वाले किसी विशेष बॉट को रोकना। सब कुछ अनुमति देते हुए भी साइटमैप घोषित करना। कमज़ोर या निजी खंडों को क्रॉल होने से रोकना। नई साइट लॉन्च के लिए robots नियम सेट करना।

अक्सर पूछे जाने वाले प्रश्न