SEO / Tarama
robots.txt Oluşturucu
Her tarama botu için kurallar, sitemap satırları ve her şeye izin verme, hazırlık sitesini engelleme ya da yapay zekâ eğitimi botlarını engelleme hazır ayarlarıyla bir robots.txt dosyası oluşturun.
robots.txt Oluşturucu: robots.txt, RFC 9309 standardına göre tarama botlarına hangi yolları getirebileceklerini bildirir: Her grup kullanıcı aracılarını, ardından Disallow ve Allow kurallarını belirtir; en özel eşleşen kural geçerli olur. Yapay zekâ eğitimi hazır ayarı, işleçlerinin eğitimden çıkmak için belgelediği adlar olan GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot ve meta-externalagent için bir grup ekler. Oluşturucu, başında eğik çizgi olmayan yollar, göreli sitemap URL'leri ve tüm tarama botlarını engelleyen kurallar hakkında uyarır. Sunucuya hiçbir dosya yüklenmeden tarayıcınızda %100 yerel olarak çalışır.
- Kategori
- Web araçları
- Çalıştırma sayısı
- Tarayıcınızda
- Maliyet
- Ücretsiz · kayıt gerekmez
- Kullanılabilirlik
- Kullanıma hazır
Tamamen tarayıcınızda çalışır
User-agent: * Disallow: /admin/ Disallow: /cart/ Sitemap: https://example.com/sitemap.xml
Dosyayı https://example.com/robots.txt gibi sitenizin kök dizinine yerleştirin. Tarayıcılardan dışarıda kalmalarını ister; hiçbir şeyi gizlemez veya korumaz ve Google, Crawl-delay'i yok sayar. AI tarayıcı adları 2 Ekim 2026'da kontrol edilmiştir; şirketler yenilerini eklediğinden belgelerini kontrol edin.
Yaygın hatalar
CSS ve JavaScript'i engellemek, arama motorlarının sayfaları düzgün biçimde oluşturmasını durdurur; kaldırmak istediğiniz bir sayfayı engellemek, tarayıcıların noindex etiketini görmesini önler; bir hazırlık sitesinin Disallow: / satırını yayından sonra kaldırmamak tüm siteyi gizler. Her dağıtımdan sonra canlı dosyayı kontrol edin.
Mevcut bir dosyayı test etmek için robots.txt kontrol aracını, dosyanın işaret ettiği sitemap'i kontrol etmek için sitemap kontrol aracını kullanın.
Joker karakterler
Google ve Bing, herhangi bir karakter için * ve URL'nin sonu için $ karakterini destekler: Disallow: /*.pdf$ her PDF'yi engeller. En uzun eşleşen kural geçerli olur; bu nedenle Allow: /shop/sale/, Disallow: /shop/ kuralının önüne geçer.
Nasıl kullanılır?
- Bir hazır ayarla başlayın veya kullanıcı aracısı ve yol gruplarını düzenleyin.
- Sitemap URL'lerinizi ekleyin.
- robots.txt dosyasını kopyalayın ya da indirin ve sitenizin kök dizinine yerleştirin.
Gizlilik ve sınırlamalar
Dosya tarayıcınızda oluşturulur.
İlgili araçlar
Sık sorulan sorular
robots.txt, sayfaların Google aramasında görünmesini engeller mi?
Tarama işlemini durdurur, dizine eklemeyi değil: Engellenen bir sayfa, başka siteler ona bağlantı verirse sonuçlarda yine görünebilir. Bir sayfayı arama sonuçlarından çıkarmak için taramaya izin verin ve noindex meta etiketi ekleyin.
Yapay zekâ tarama botlarını engellemek içeriğimi yapay zekâ araçlarından kaldırır mı?
Bu botlardan bundan sonra sayfalarınızı toplamamalarını ister; daha önce toplanan hiçbir şeyi kaldırmaz ve yalnızca robots.txt kurallarına uyan botlar buna riayet eder.
Crawl-delay çalışır mı?
Bing ve bazı diğer tarama botları bu kurala uyar; Google ise bunu yok sayar ve tarama hızını otomatik olarak ayarlar.
Ücretsiz araç · tarayıcınızda kez çalıştırma · hesap gerekmez