SEO / クロール
robots.txtジェネレーター
クローラーごとのルールやサイトマップの行を含むrobots.txtを作成し、すべてを許可、ステージングサイトをブロック、AI学習クローラーをブロックするプリセットを利用できます。
robots.txtジェネレーター: robots.txtは、クローラーが取得できるパスを指定します。RFC 9309では、各グループにユーザーエージェントを記載し、その後にDisallowとAllowのルールを記載します。一致するルールが複数ある場合は、最も具体的なルールが優先されます。AI学習用のプリセットでは、GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot、meta-externalagentのグループを追加します。これらは、学習利用のオプトアウトに対応すると各運営元が文書で示している名称です。先頭にスラッシュがないパス、相対形式のサイトマップURL、すべてのクローラーをブロックするルールについて警告します。 サーバーへのファイルアップロードは一切なく、100%ブラウザ内でローカル実行します。
- カテゴリ
- Webツール
- 実行回数
- ブラウザ内で
- コスト
- 無料 · 登録不要
- 提供状況
- すぐに使えます
完全にブラウザ内で実行します
User-agent: * Disallow: /admin/ Disallow: /cart/ Sitemap: https://example.com/sitemap.xml
https://example.com/robots.txtのように、サイトのルートにファイルを配置してください。クローラーにアクセスしないよう求めるだけで、何かを隠したり保護したりするものではありません。また、GoogleはCrawl-delayを無視します。AIクローラーの名前は2026年10月2日に確認したものです。企業は新しいクローラーを追加するため、各社のドキュメントを確認してください。
よくある間違い
CSSとJavaScriptをブロックすると、検索エンジンがページを正しくレンダリングできなくなります。削除したいページをブロックすると、クローラーがそのnoindexタグを確認できなくなります。公開後もステージングサイトのDisallow: /を残しておくと、サイト全体が検索対象から外れます。デプロイのたびに、公開中のファイルを確認してください。
既存のファイルをテストするにはrobots.txtチェッカーを、そこから指定されたサイトマップを確認するにはサイトマップチェッカーを使用してください。
ワイルドカード
GoogleとBingは、任意の文字列を表す*とURLの末尾を表す$に対応しています。Disallow: /*.pdf$と指定すると、すべてのPDFをブロックできます。最も長く一致するルールが優先されるため、Allow: /shop/sale/はDisallow: /shop/を上書きします。
使い方
- プリセットを選択するか、ユーザーエージェントとパスのグループを編集します。
- サイトマップのURLを追加します。
- robots.txtをコピーまたはダウンロードし、サイトのルートに配置します。
プライバシーと制限事項
ファイルはブラウザ内で作成されます。
関連ツール
よくある質問
robots.txtはGoogle検索からページをブロックできますか？
robots.txtが停止するのはクロールであり、インデックス登録ではありません。他のサイトからリンクされている場合、ブロックされたページが検索結果に表示されることがあります。検索結果からページを除外するには、クロールを許可したうえでnoindexメタタグを追加してください。
AIクローラーをブロックすると、AIツールからコンテンツが削除されますか？
今後、対象のクローラーがページを収集しないよう求めるだけです。すでに収集されたものは削除されず、robots.txtに従うクローラーだけが対応します。
Crawl-delayは機能しますか？
Bingや一部のクローラーはCrawl-delayに従いますが、Googleは無視し、クロール速度を自動的に調整します。
無料ツール · ブラウザ内で · アカウント不要