SEO / Perayapan

Generator robots.txt

Buat file robots.txt dengan aturan untuk setiap crawler, baris sitemap, dan preset untuk mengizinkan semuanya, memblokir situs staging, atau memblokir crawler pelatihan AI.

Generator robots.txt: robots.txt memberi tahu crawler path mana yang boleh mereka fetch, sebagaimana distandardisasi oleh RFC 9309: setiap grup mencantumkan user agent, lalu aturan Disallow dan Allow; aturan yang paling spesifik dari aturan yang cocok akan berlaku. Preset pelatihan AI menambahkan grup untuk GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, dan meta-externalagent—nama yang didokumentasikan oleh operatornya untuk memilih keluar dari pelatihan. Generator ini memperingatkan path tanpa garis miring di awal, URL sitemap relatif, dan aturan yang memblokir semua crawler. Berjalan 100% lokal di browser Anda tanpa upload file ke server.

Kategori
Tools web
Dijalankan
Di browser Anda
Biaya
Gratis · tanpa daftar
Ketersediaan
Siap digunakan
Generator robots.txtPemrosesan lokal

Berjalan sepenuhnya di browser Anda

Grup 1
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

Letakkan file di root situs Anda, misalnya https://example.com/robots.txt. File ini meminta crawler untuk tidak masuk; file ini tidak menyembunyikan atau melindungi apa pun, dan Google mengabaikan Crawl-delay. Nama crawler AI diperiksa pada 2 October 2026; perusahaan dapat menambahkan nama baru, jadi periksa dokumentasi mereka.

Kesalahan umum

Memblokir CSS dan JavaScript membuat mesin pencari tidak dapat merender halaman dengan benar; memblokir halaman yang ingin dihapus membuat crawler tidak dapat melihat tag noindex; membiarkan Disallow: / dari situs staging setelah peluncuran akan menyembunyikan seluruh situs. Periksa file live setelah setiap deployment.

Untuk menguji file yang sudah ada, gunakan robots.txt checker; untuk memeriksa sitemap yang ditunjuknya, gunakan sitemap checker.

Wildcard

Google dan Bing mendukung * untuk karakter apa pun dan $ untuk akhir URL: Disallow: /*.pdf$ memblokir setiap PDF. Aturan yang paling panjang dan cocok akan berlaku, jadi Allow: /shop/sale/ mengesampingkan Disallow: /shop/.

Cara menggunakannya

  1. Mulai dari preset, atau edit grup user agent dan path.
  2. Tambahkan URL sitemap Anda.
  3. Salin atau download robots.txt, lalu letakkan di root situs Anda.

Privasi & batasan

File dibuat di browser Anda.

Alat terkait

Pemeriksa Robots.txtSitemapMeta Tagsgenerator CSP

Pertanyaan umum

Apakah robots.txt memblokir halaman dari pencarian Google?

robots.txt menghentikan crawling, bukan indexing: halaman yang diblokir tetap dapat muncul di hasil pencarian jika situs lain menautkannya. Agar halaman tidak muncul di pencarian, izinkan crawling dan tambahkan meta tag noindex.

Apakah memblokir crawler AI akan menghapus konten saya dari tool AI?

Ini meminta crawler tersebut untuk tidak mengumpulkan halaman Anda mulai sekarang; apa pun yang sudah dikumpulkan tidak akan dihapus, dan hanya crawler yang mematuhi robots.txt yang akan mengikutinya.

Apakah Crawl-delay berfungsi?

Bing dan beberapa crawler lain mematuhinya; Google mengabaikannya dan menyesuaikan laju crawling secara otomatis.

Alat gratis · berjalan di browser anda · tanpa perlu akun