SEO / الزحف

مولّد robots.txt

أنشئ ملف robots.txt بقواعد لكل زاحف، وأسطر لخرائط المواقع، وإعدادات مسبقة للسماح بكل شيء، أو حظر موقع تجريبي، أو حظر زواحف تدريب الذكاء الاصطناعي.

مولّد robots.txt: يُخبر robots.txt الزواحف بالمسارات التي يمكنها جلبها، وفقًا لما يوحّده معيار RFC 9309: تسمّي كل مجموعة وكلاء المستخدم، ثم تحدد قواعد Disallow وAllow، وتفوز القاعدة المطابقة الأكثر تحديدًا. يضيف الإعداد المسبق لتدريب الذكاء الاصطناعي مجموعةً تضم GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot وmeta-externalagent، وهي الأسماء التي ي documentedها مشغّلوها لإتاحة الانسحاب من التدريب. يحذّر المولّد من المسارات التي لا تبدأ بشرطة مائلة، وروابط URL النسبية لخرائط المواقع، والقواعد التي تحظر جميع الزواحف. يعمل 100% محليًا في المتصفح، من دون رفع أي ملفات إلى الخادم.

الفئة: أدوات الويب
مرات التشغيل: في المتصفح
التكلفة: مجاني · بلا تسجيل
التوفر: جاهز للاستخدام

مولّد robots.txtمعالجة محلية

تعمل بالكامل في المتصفح

المجموعة 1وكلاء المستخدم، واحد لكل سطر (* للكل)حظر المساراتالسماح بالمساراتتأخير الزحف (بالثواني، اختياري)

عناوين URL لخريطة الموقع، عنوان واحد لكل سطر

User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

ضع الملف في جذر موقعك، مثل https://example.com/robots.txt. يطلب من برامج الزحف البقاء خارجه؛ لكنه لا يخفي أو يحمي أي شيء، وتتجاهل Google قيمة Crawl-delay. تم التحقق من أسماء برامج زحف الذكاء الاصطناعي في 2 October 2026؛ وتضيف الشركات أسماء جديدة، لذا راجع وثائقها.

أخطاء شائعة

يؤدي حظر CSS وJavaScript إلى منع محركات البحث من عرض الصفحات بصورة صحيحة؛ كما أن حظر صفحة تريد إزالتها يمنع برامج الزحف من رؤية وسم noindex فيها؛ وترك Disallow: / الخاص بموقع تجريبي بعد إطلاقه يحجب الموقع بأكمله. افحص الملف المنشور بعد كل عملية نشر.

لاختبار ملف موجود، استخدم مدقّق robots.txt؛ وللتحقق من sitemap الذي يشير إليه، استخدم مدقّق sitemap.

أحرف البدل

يدعم Google وBing الرمز * لأي أحرف، والرمز $ لنهاية URL: يحظر Disallow: /*.pdf$ كل ملفات PDF. تسود القاعدة الأطول المطابقة، لذلك يتجاوز Allow: /shop/sale/ القاعدة Disallow: /shop/.

طريقة الاستخدام

ابدأ من إعداد مسبق، أو عدّل مجموعات وكلاء المستخدم والمسارات.
أضف روابط URL لخرائط المواقع.
انسخ robots.txt أو نزّله، ثم ضعه في جذر موقعك.

الخصوصية والقيود

يُنشأ الملف في المتصفح.

أدوات ذات صلة

الأسئلة الشائعة

هل يمنع robots.txt ظهور الصفحات في بحث Google؟

يوقف الزحف، وليس الفهرسة: قد تظل الصفحة المحظورة ظاهرةً في النتائج إذا كانت مواقع أخرى ترتبط بها. لإبقاء الصفحة خارج نتائج البحث، اسمح بالزحف وأضف وسم meta من نوع noindex.

هل يؤدي حظر زواحف الذكاء الاصطناعي إلى إزالة المحتوى من أدوات الذكاء الاصطناعي؟

يطلب من تلك الزواحف عدم جمع صفحاتك من الآن فصاعدًا، لكنه لا يزيل أي محتوى جُمع سابقًا، ولن تلتزم به إلا الزواحف التي تحترم robots.txt.

هل تعمل Crawl-delay؟

تحترمها Bing وبعض الزواحف الأخرى، بينما تتجاهلها Google وتعدّل معدل الزحف تلقائيًا.

أداة مجانية · عدد مرات الاستخدام في المتصفح · لا يتطلب حسابًا