Robots.txt चेकर

एक छोटा robots.txt example

फ़ाइल को host के root पर /robots.txt के रूप में रखें। User-agent किसी crawler group को चुनता है, Disallow उस group को matching paths fetch न करने के लिए कहता है और Allow कोई exception बना सकता है। यह example एक private directory को उसकी public press folder को छोड़कर block करता है और sitemap घोषित करता है।

User-agent: *
Disallow: /private/
Allow: /private/press/

Sitemap: https://example.com/sitemap.xml

सबसे लंबे मेल खाने वाले path का नियम लागू होता है; बराबरी होने पर Allow जीतता है। Paths में बड़े और छोटे अक्षरों का फर्क होता है। एक ही agent से मेल खाने वाले groups के नियम जोड़ दिए जाते हैं; कोई नामित crawler wildcard group के नियम अपने-आप नहीं अपनाता। प्रोटोकॉल संदर्भ: https://www.rfc-editor.org/rfc/rfc9309.html

इन आम गलतियों की जाँच करें

Disallow: / हर path को ब्लॉक करता है, जबकि खाली Disallow value कुछ भी ब्लॉक नहीं करती। /blog/robots.txt के अंदर की फ़ाइल साइट के root को नियंत्रित नहीं करती, और एक host के नियम subdomain पर लागू नहीं होते। उन assets को ब्लॉक करने से बचें जिनकी search engine को पेज render करने के लिए ज़रूरत होती है।

Robots.txt crawling को नियंत्रित करता है, access या search results से निश्चित रूप से हटाने को नहीं। निजी content के लिए authentication का इस्तेमाल करें। किसी public page को search से बाहर रखना हो, तो crawling की अनुमति दें और noindex serve करें। यह चेकर groups और wildcard root policy का सार देता है; यह हर URL को test नहीं करता। Search guidance: https://developers.google.com/search/docs/crawling-indexing/robots/intro

इस्तेमाल करने का तरीका

1. जिस साइट को जाँचना है, उसका कोई भी पेज दर्ज करें।
2. “robots.txt जाँचें” चुनें।
3. इसके समूह, नियमों की कुल संख्या, साइटमैप और पूरा स्रोत देखें।

गोपनीयता और सीमाएँ

साइट URL TOEA की सीमित फ़ेच सेवा को भेजा जाता है और संग्रहीत नहीं किया जाता। robots.txt एक सलाहकारी फ़ाइल है; यह रिपोर्ट इस बात का प्रमाण नहीं है कि हर क्रॉलर इसका पालन करेगा।