مولّد ملف robots.txt

يخبر ملف robots.txt الزواحف الملتزمة بالأجزاء التي يمكنها طلبها من موقعك. ليس وسيلة حماية، فالروابط الممنوعة يمكن زيارتها وقد تظهر في نتائج البحث إذا رُبطت من صفحات أخرى. لإخفاء صفحة من النتائج استخدم وسم noindex.

إعداد مبدئي

رابط خريطة الموقع

مسارات ممنوعة (سطر لكل مسار)

مسارات مسموحة (استثناءات)

منع زواحف تدريب الذكاء الاصطناعي الشائعة أيضًا (GPTBot وCCBot وGoogle-Extended وClaudeBot وApplebot-Extended وPerplexityBot وBytespider)

robots.txt

اختبار مسار

المسار المراد اختباره

تعمل بالكامل داخل متصفحك. لا تُرفع بياناتك أو ملفاتك إلى أي خادم.

طريقة الاستخدام

اختر إعدادًا مبدئيًا.
اكتب المسارات الممنوعة أو المسموحة، كل مسار في سطر، وأضف رابط خريطة الموقع.
اختبر بعض المسارات ثم نزّل robots.txt وارفعه إلى جذر نطاقك.

أمثلة

منع لوحة الإدارة

امنع /admin/ مع إبقاء باقي الموقع متاحًا للزحف.

رفض زواحف تدريب الذكاء الاصطناعي

أضف قواعد لوكلاء مثل GPTBot وCCBot التي تنشر طريقة للرفض.

الخصوصية

تعمل بالكامل داخل متصفحك. لا تُرفع بياناتك أو ملفاتك إلى أي خادم. راجع سياسة الخصوصية لمعرفة ما يُحفظ في متصفحك (المفضلة والسجل فقط). سياسة الخصوصية

تحقق بنفسك: افتح أدوات المطوّر في متصفحك، واختر تبويب «الشبكة» (Network)، ثم استخدم الأداة. لن يظهر ملفك في أي طلب رفع. وبعد حفظ هذه الصفحة للاستخدام دون اتصال، يمكنك أيضًا قطع الاتصال بالإنترنت ومواصلة العمل. الإعلانات وإحصاءات الزيارات المجهولة، عند تفعيلها، ترسل طلباتها الخاصة، لكنها لا تتلقى ملفاتك أو نصوصك أبدًا.

أسئلة شائعة

أين يوضع الملف؟

في جذر المضيف: https://example.com/robots.txt. ويحتاج كل نطاق فرعي إلى ملف خاص.

هل يحذف Disallow الصفحة من Google؟

لا. يمنع الزحف لا الفهرسة. استخدم وسم noindex (مع السماح بالزحف) لإزالة الصفحة من النتائج.

كيف يقرر المختبر؟

يتبع بروتوكول استبعاد الروبوتات (RFC 9309): القاعدة الأطول تطابقًا تفوز، وAllow يفوز عند التعادل، وتُدعم الرموز * و$. يختبر مجموعة «*».

أدوات ذات صلة

كل أدوات SEO

مولّد خريطة الموقع XMLالصق قائمة روابط واحصل على ملف sitemap.xml صالح ومُهرَّب بشكل صحيح مع تواريخ آخر تعديل اختيارية.

مولّد وسوم الميتاأنشئ وسوم ميتا HTML نظيفة لصفحتك: العنوان والوصف والرابط القانوني وتعليمات الزحف ووسوم Open Graph وبطاقات تويتر مع إرشادات الطول.

مساعد الرابط القانونيوحّد الروابط في صيغة قانونية واحدة: HTTPS، مع www أو بدونه، الشرطة المائلة الأخيرة، وحذف معاملات التتبع.

مولّد أيقونة الموقع (Favicon)أنشئ مجموعة favicon كاملة من صورة أو حرف: favicon.ico وأيقونات PNG من 16 إلى 512 بكسل وأيقونة Apple وملف manifest ووسوم HTML في ملف ZIP واحد.

مولّد الروابط اللطيفة (Slug)حوّل العناوين إلى روابط Slug نظيفة بأحرف صغيرة.

معاينة Open Graphعاين بطاقة الرابط من og:title وog:description وog:image، وتحقق من حجم الصورة وطول النص، وانسخ وسوم Open Graph.