SEO / क्रॉलिंग

robots.txt जनरेटर

हर क्रॉलर के लिए नियमों, sitemap लाइनों और सब कुछ अनुमति देने, staging साइट को ब्लॉक करने या AI ट्रेनिंग क्रॉलर को ब्लॉक करने वाले प्रीसेट के साथ robots.txt फ़ाइल बनाएं।

robots.txt जनरेटर: robots.txt क्रॉलरों को बताता है कि वे किन paths को fetch कर सकते हैं। RFC 9309 के अनुसार, हर समूह में पहले user agents के नाम होते हैं, फिर Disallow और Allow नियम आते हैं; इनमें सबसे विशिष्ट रूप से मेल खाने वाला नियम लागू होता है। AI ट्रेनिंग प्रीसेट GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot और meta-externalagent के लिए एक समूह जोड़ता है—ये वे नाम हैं जिन्हें उनके ऑपरेटर ट्रेनिंग से बाहर रहने के विकल्प के लिए दस्तावेज़ित करते हैं। यह जनरेटर शुरुआत में slash के बिना paths, relative sitemap URLs और हर क्रॉलर को ब्लॉक करने वाले नियमों के बारे में चेतावनी देता है। यह आपके ब्राउज़र में 100% स्थानीय रूप से चलता है और सर्वर पर कोई फ़ाइल अपलोड नहीं होती।

श्रेणी
वेब टूल्स
रन
आपके ब्राउज़र में
लागत
मुफ़्त · साइन अप की ज़रूरत नहीं
उपलब्धता
इस्तेमाल के लिए तैयार
robots.txt जनरेटरलोकल प्रोसेसिंग

पूरी तरह आपके ब्राउज़र में चलता है

समूह 1
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

फ़ाइल को अपनी साइट के रूट पर रखें, जैसे https://example.com/robots.txt। यह क्रॉलर को बाहर रहने का अनुरोध करती है; यह कुछ भी छिपाती या सुरक्षित नहीं करती, और Google Crawl-delay को अनदेखा करता है। AI क्रॉलर के नाम 2 October 2026 को जाँचे गए थे; कंपनियाँ नए नाम जोड़ती रहती हैं, इसलिए उनका दस्तावेज़ देखें।

आम गलतियाँ

CSS और JavaScript को block करने से search engines पेजों को सही ढंग से render नहीं कर पाते; जिस पेज को आप हटाना चाहते हैं उसे block करने से crawlers उसका noindex tag नहीं देख पाते; launch के बाद staging site का Disallow: / रहने देने से पूरी site छिप जाती है। हर deployment के बाद live file जाँचें।

मौजूदा file का परीक्षण करने के लिए Robots.txt चेकर और जिस sitemap की ओर वह इशारा करती है उसे जाँचने के लिए साइटमैप का उपयोग करें।

Wildcards

Google और Bing किसी भी characters के लिए * और URL के अंत के लिए $ का समर्थन करते हैं: Disallow: /*.pdf$ हर PDF को block करता है। सबसे लंबा मेल खाने वाला rule लागू होता है, इसलिए Allow: /shop/sale/ का प्रभाव Disallow: /shop/ पर भारी पड़ता है।

इस्तेमाल करने का तरीका

  1. किसी प्रीसेट से शुरू करें या user agents और paths के समूहों को संपादित करें।
  2. अपने sitemap URL जोड़ें।
  3. robots.txt को कॉपी या डाउनलोड करके अपनी साइट के root पर रखें।

गोपनीयता और सीमाएँ

फ़ाइल आपके ब्राउज़र में बनाई जाती है।

संबंधित टूल्स

Robots.txt चेकरसाइटमैपमेटा टैगCSP जनरेटर

अक्सर पूछे जाने वाले सवाल

क्या robots.txt Google खोज से पेजों को ब्लॉक करता है?

यह crawling को रोकता है, indexing को नहीं: अगर दूसरी साइटें किसी blocked पेज से लिंक करती हैं, तो वह फिर भी परिणामों में दिखाई दे सकता है। किसी पेज को खोज से बाहर रखने के लिए crawling की अनुमति दें और noindex meta tag जोड़ें।

क्या AI क्रॉलरों को ब्लॉक करने से मेरी सामग्री AI टूल से हट जाएगी?

यह उन क्रॉलरों से अब से आपके पेज इकट्ठा न करने का अनुरोध करता है; पहले से इकट्ठा की गई सामग्री को यह नहीं हटाता, और केवल robots.txt का पालन करने वाले क्रॉलर ही इसका पालन करेंगे।

क्या Crawl-delay काम करता है?

Bing और कुछ अन्य क्रॉलर इसका पालन करते हैं; Google इसे अनदेखा करता है और अपनी crawl rate को अपने-आप समायोजित करता है।

मुफ़्त टूल · आपके ब्राउज़र में बार चलता है · अकाउंट की ज़रूरत नहीं