Web aracı / 02

Robots.txt Kontrol Aracı

Bir sitenin robots.txt dosyasını hızlı ve okunabilir bir gezgin politikası raporuna dönüştürün.

Robots.txt Kontrol Aracı: Bir sitenin robots.txt gezgin kurallarını, bot gruplarını, sitemap bildirimlerini ve ham kaynak kodunu okuyun. TOEA, dosyayı sitenin kökünden alır ve kök yol için joker karakter politikasını özetler. Bu, geniş kapsamlı engellemeleri ve yanlış konumlandırılmış kuralları fark etmenize yardımcı olur; her sayfanın dizine eklenip eklenemeyeceğini test etmez. İstek üzerine güvenle işlenir.

Kategori: Web araçları
Çalıştırma sayısı: TOEA sunucusunda
Maliyet: Ücretsiz · kayıt gerekmez
Kullanılabilirlik: Kullanıma hazır

Robots.txt okuyucuGüvenli herkese açık URL kontrolü

Kısa bir robots.txt örneği

Dosyayı /robots.txt olarak sunucunun köküne yerleştirin. User-agent bir tarayıcı grubunu seçer, Disallow bu gruptan eşleşen yolları getirmemesini ister ve Allow bir istisna oluşturabilir. Bu örnek, özel bir dizini herkese açık basın klasörü dışında engeller ve bir sitemap bildirir.

User-agent: *
Disallow: /private/
Allow: /private/press/

Sitemap: https://example.com/sitemap.xml

Eşleşen yolların en uzunu kazanır; eşitlikte Allow kazanır. Yollar büyük-küçük harfe duyarlıdır. Aynı tarayıcıyla eşleşen grupların kuralları birleştirilir; adı belirtilen bir tarayıcı, joker karakter grubunun kurallarını devralmaz. Protokol referansı: https://www.rfc-editor.org/rfc/rfc9309.html

Kontrol edilmesi gereken yaygın hatalar

Disallow: / her yolu engellerken boş bir Disallow değeri hiçbir şeyi engellemez. /blog/robots.txt altındaki bir dosya sitenin kökünü denetlemez ve bir sunucudaki kurallar alt alan adını kapsamaz. Arama motorunun bir sayfayı oluşturmak için ihtiyaç duyduğu varlıkları engellemekten kaçının.

Robots.txt taramayı denetler; erişimi veya arama sonuçlarından garantili kaldırmayı denetlemez. Özel içerik için kimlik doğrulama kullanın. Aramadan çıkarılması gereken herkese açık bir sayfa için taramaya izin verin ve noindex sunun. Bu kontrol aracı grupları ve joker karakterli kök politikasını özetler; her URL'yi test etmez. Arama rehberi: https://developers.google.com/search/docs/crawling-indexing/robots/intro

Nasıl kullanılır?

Kontrol etmek istediğiniz sitedeki herhangi bir sayfanın URL'sini girin.
“robots.txt'yi kontrol et” seçeneğini belirleyin.
Grupları, kural toplamlarını, sitemap bildirimlerini ve tam kaynak kodunu inceleyin.

Gizlilik ve sınırlamalar

Site URL'si TOEA tarafından sağlanan sınırlandırılmış getirme hizmetine gönderilir ve saklanmaz. robots.txt tavsiye niteliğinde bir dosyadır; bu rapor, her gezginin dosyadaki kurallara uyacağını kanıtlamaz.

İlgili araçlar

Sık sorulan sorular

robots.txt nereye konulmalıdır?

Kontrol etmek istediğiniz ana makinede /robots.txt konumuna koyun; örneğin https://example.com/robots.txt. /blog/ altındaki bir dosya sitenin tamamını kontrol etmez ve alt alan adının kendi dosyası gerekir.

Disallow bir sayfayı arama sonuçlarından kaldırır mı?

Hayır. Robots.txt taramayı kontrol eder; dizine eklemeyi veya erişimi kontrol etmez. Engellenen bir URL arama sonuçlarında yine görünebilir. Herkese açık bir sayfayı hariç tutmak için taramaya izin verin ve noindex yönergesi sunun; özel içeriği kimlik doğrulamayla koruyun.

Önce hangi hataları kontrol etmeliyim?

Disallow: / sitenin tamamını engellerken boş bir Disallow değeri hiçbir şeyi engellemez. Büyük-küçük harfe duyarlı yolları, grup sınırlarını ve temel öğelerin engellenip engellenmediğini kontrol edin. Adı belirtilen bir gezgin grubu, joker karakter grubundaki kuralları devralmaz.

Ücretsiz araç · toea sunucusunda kez çalıştırma · hesap gerekmez