منشئ Robots.txt
أنشئ ملفات robots.txt لروبوتات محركات البحث.
معاينة
كتلة وكيل المستخدم
الأدوات الموصى بها
أدوات مختارة بعناية قد تجدها مفيدة
إنشاء ملف robots.txt لتوجيه زواحف البحث
نظرة عامة
يخبر ملف robots.txt زواحف محركات البحث بأي أجزاء موقعك يجوز لها الوصول وأيها لا. يوجد في جذر نطاقك وهو أول ما تفحصه الروبوتات المهذّبة قبل الزحف. يبني هذا المولّد ملف robots.txt صالحاً من خيارات بسيطة — أي المسارات تُسمح أو تُمنع وأين خريطة موقعك — كي لا تحفظ الصياغة.
كيفية الاستخدام
- 1
اختر قواعدك
اختر على أي user-agents تنطبق القواعد وأي المسارات تُسمح أو تُمنع.
- 2
أضف خريطة موقعك
أضف اختيارياً رابط خريطة موقعك ليجد الزواحف كل صفحاتك.
- 3
احفظ باسم robots.txt
انسخ النص المُولَّد إلى ملف اسمه robots.txt وارفعه إلى جذر نطاقك.
كيف يعمل
تحدّد user-agents (على أي زواحف تنطبق القاعدة، غالباً * للجميع)، ثم قواعد Allow وDisallow لمسارات الروابط، واختيارياً رابط خريطة موقعك. تجمع الأداة هذه في صيغة النص الدقيقة التي تتوقعها المحركات. تنسخ الناتج إلى ملف اسمه robots.txt وترفعه إلى جذر موقعك. إنه مجموعة توجيهات لا حاجز أمان — يوجّه الزواحف المتعاونة.
متى تستخدمه
إبعاد الزواحف عن صفحات الإدارة أو الاختبار أو المكررة. الإشارة إلى خريطة موقعك للمحركات لاكتشاف أسرع. حظر روبوت معيّن يُثقل خادمك. السماح بكل شيء مع الإعلان عن خريطة موقع. منع زحف أقسام ضعيفة أو خاصة. إعداد قواعد robots لإطلاق موقع جديد.
الأسئلة الشائعة
لا. يطلب فقط من الزواحف المتعاونة تخطّي مسار؛ تظل الصفحة متاحة للعموم وقد تتجاهله الروبوتات غير الملتزمة. لتقييد الوصول فعلاً، استخدم المصادقة أو ضوابط من جهة الخادم.
ملاحظات مهمة
سطر Disallow خاطئ واحد قد يُخفي موقعك كله عن البحث. راجع المسارات جيداً، وتذكّر أن robots.txt عام — يقرؤه أي أحد، فلا تُدرج روابط سرية تحاول إخفاءها.