أداة الويب / 02
فاحص robots.txt
حوّل ملف robots.txt في أي موقع إلى تقرير سريع وسهل القراءة عن سياسة الزحف.
فاحص robots.txt: يقرأ قواعد زحف robots.txt في الموقع، ومجموعات الوكلاء، وإعلانات sitemap، والمصدر الخام. يجلب TOEA الملف من جذر الموقع ويلخّص سياسة حرف البدل للمسار الجذر. يساعد ذلك على اكتشاف عمليات الحظر الواسعة والقواعد الموضوعة في غير مكانها؛ لكنه لا يختبر إمكانية فهرسة كل صفحة. تُعالَج البيانات بأمان عند الطلب.
- الفئة
- أدوات الويب
- مرات التشغيل
- على خادم TOEA
- التكلفة
- مجاني · بلا تسجيل
- التوفر
- جاهز للاستخدام
مثال مختصر على robots.txt
ضع الملف في جذر المضيف على المسار /robots.txt. يحدد User-agent مجموعة برامج الزحف، ويطلب Disallow من تلك المجموعة عدم جلب المسارات المطابقة، بينما يمكن لـ Allow إنشاء استثناء. يحظر هذا المثال مجلدًا خاصًا باستثناء مجلد الصحافة العام، ويعلن عن خريطة موقع.
User-agent: *
Disallow: /private/
Allow: /private/press/
Sitemap: https://example.com/sitemap.xmlيفوز المسار الأطول المطابق؛ وعند التعادل يفوز Allow. المسارات حساسة لحالة الأحرف. تُدمج قواعد المجموعات المطابقة للبرنامج نفسه؛ ولا يرث برنامج زحف مُسمّى قواعد مجموعة البدل. مرجع البروتوكول: https://www.rfc-editor.org/rfc/rfc9309.html
أخطاء شائعة يجب التحقق منها
يحظر Disallow: / كل مسار، بينما تمنع قيمة Disallow الفارغة لا شيء. ولا يتحكم ملف موجود في /blog/robots.txt بجذر الموقع، كما أن القواعد على مضيف واحد لا تشمل نطاقًا فرعيًا. تجنّب حظر الأصول التي يحتاج إليها محرك البحث لعرض الصفحة.
يتحكم robots.txt في الزحف، لا في الوصول أو الإزالة المضمونة من نتائج البحث. استخدم المصادقة للمحتوى الخاص. ولصفحة عامة يجب استبعادها من البحث، اسمح بالزحف وقدّم noindex. يلخّص هذا المدقّق المجموعات وسياسة جذر البدل؛ لكنه لا يختبر كل URL. إرشادات البحث: https://developers.google.com/search/docs/crawling-indexing/robots/intro
طريقة الاستخدام
- أدخل أي صفحة في الموقع الذي تريد فحصه.
- اختر «فحص robots.txt».
- راجع مجموعاته، وإجمالي قواعده، وملفات sitemap، ومصدره الكامل.
الخصوصية والقيود
يُرسل عنوان URL للموقع إلى خدمة الجلب المحدود التابعة لـ TOEA ولا يُخزّن. ملف robots.txt إرشادي؛ ولا يثبت هذا التقرير أن كل برامج الزحف ستتّبعه.
أدوات ذات صلة
الأسئلة الشائعة
أين يجب وضع robots.txt؟
في /robots.txt على المضيف الذي تريد التحكم فيه، مثل https://example.com/robots.txt. لا يتحكم ملف موضوع ضمن /blog/ في الموقع بأكمله، ويحتاج النطاق الفرعي إلى ملف خاص به.
هل تؤدي Disallow إلى إزالة صفحة من نتائج البحث؟
لا. يتحكم robots.txt في الزحف، وليس الفهرسة أو الوصول. قد يظل عنوان URL المحظور ظاهراً في نتائج البحث. لاستبعاد صفحة عامة، اسمح بالزحف وقدّم توجيه noindex؛ واحمِ المحتوى الخاص بالمصادقة.
ما الأخطاء التي ينبغي التحقق منها أولاً؟
تحظر Disallow: / الموقع بأكمله، بينما تمنع قيمة Disallow الفارغة أي شيء. تحقّق من المسارات الحساسة لحالة الأحرف، وحدود المجموعات، وما إذا كانت الأصول الأساسية محظورة. لا ترث مجموعة زاحف محددة الاسم القواعد من مجموعة حرف البدل.
أداة مجانية · عدد مرات الاستخدام على خادم toea · لا يتطلب حسابًا