SEO / Indeksiranje

Generator robots.txt datoteke

Napravite robots.txt datoteku sa pravilima za svaki crawler, sitemap linijama i gotovim podešavanjima za dozvolu svega, blokiranje staging sajta ili AI crawlera za obuku.

Generator robots.txt datoteke: robots.txt govori crawlerima koje putanje smeju da preuzmu, u skladu sa standardom RFC 9309: svaka grupa navodi korisničke agente, a zatim pravila Disallow i Allow, pri čemu pobeđuje najkonkretnije podudarno pravilo. Gotovo podešavanje za AI obuku dodaje grupu za GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot i meta-externalagent — to su nazivi koje njihovi operateri navode za isključivanje iz obuke. Generator upozorava na putanje bez početne kose crte, relativne sitemap URL-ove i pravila koja blokiraju svaki crawler. Radi 100% lokalno u vašem pregledaču, bez otpremanja datoteka na server.

Kategorija
Veb alatke
Pokretanja
U vašem pregledaču
Trošak
Besplatno · bez registracije
Dostupnost
Spremno za upotrebu
Generator za robots.txtLokalna obrada

U potpunosti radi u vašem pregledaču

Grupa 1
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

Postavite datoteku u koren svog sajta, na primer na https://example.com/robots.txt. Ona traži od botova da ne pristupaju sajtu; ne skriva niti štiti bilo šta, a Google zanemaruje Crawl-delay. Nazivi AI botova provereni su 2. oktobra 2026; kompanije dodaju nove botove, zato proverite njihovu dokumentaciju.

Česte greške

Blokiranje CSS-a i JavaScript-a sprečava pretraživače da pravilno prikažu stranice; blokiranje stranice koju želite da uklonite sprečava pretraživače da vide njenu noindex oznaku; ako posle objavljivanja ostavite Disallow: / sa testnog sajta, sakrićete ceo sajt. Proverite aktivnu datoteku posle svakog postavljanja.

Da biste testirali postojeću datoteku, koristite proveru robots.txt datoteke; da biste proverili sitemap na koji ona upućuje, koristite proveru sitemapa.

Džokeri

Google i Bing podržavaju * za bilo koje znakove i $ za kraj URL-a: Disallow: /*.pdf$ blokira svaki PDF. Pobeđuje najduže pravilo koje se podudara, pa Allow: /shop/sale/ nadjačava Disallow: /shop/.

Kako se koristi

  1. Počnite od gotovog podešavanja ili uredite grupe korisničkih agenata i putanja.
  2. Dodajte URL-ove svojih sitemap datoteka.
  3. Kopirajte ili preuzmite robots.txt i postavite ga u koren svog sajta.

Privatnost i ograničenja

Datoteka se pravi u vašem pregledaču.

Srodne alatke

Provera robots.txtSitemapMeta oznakeCSP generator

Često postavljana pitanja

Da li robots.txt blokira stranice u Google pretrazi?

Zaustavlja preuzimanje stranice, ali ne i indeksiranje: blokirana stranica i dalje može da se pojavi u rezultatima ako do nje vode linkovi sa drugih sajtova. Da biste stranicu uklonili iz pretrage, dozvolite preuzimanje i dodajte meta oznaku noindex.

Da li će blokiranje AI crawlera ukloniti moj sadržaj iz AI alata?

Time tražite od tih crawlera da ubuduće ne prikupljaju vaše stranice; ništa što je već prikupljeno neće biti uklonjeno, a postupiće samo crawleri koji poštuju robots.txt.

Da li Crawl-delay funkcioniše?

Bing i neki drugi crawleri ga poštuju; Google ga ignoriše i automatski prilagođava brzinu preuzimanja.

Besplatan alat · pokretanja: u vašem pregledaču · nalog nije potreban