Robots.txtジェネレーター

よくあるスターターテンプレート

すべて許可（ほとんどのサイト）:

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

staging / 管理画面をブロック:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?session=
Sitemap: https://example.com/sitemap.xml

AI学習クローラーをブロックし、検索エンジンを許可:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

知っておきたいuser-agent

AI学習ボットは慣習としてオプトアウト方式であり、法的義務ではありません。誠実な事業者はこれらの指示を尊重しますが、そうでない者は従いません。

パスマッチングのルール

• パスはドメインのルートからの相対で、/で始まります。
• *は任意の文字に一致します。Disallow: /*.pdf$はすべてのPDFをブロックします。
• $はURLの末尾に固定します。Disallow: /*/trash$は/foo/trashをブロックしますが、/foo/trashes/...はブロックしません。
• 最長一致が優先されます。そのサブパスでは、Allow: /admin/public/がDisallow: /admin/を上書きします。
• パスは大文字・小文字を区別します。

robots.txtにできないこと

• Googleからページを削除する。 ページ自体にnoindexメタタグを使ってください。
• URLを人間から守る。 robots.txtは公開されており、従順なボットへの提案にすぎません。
• Googlebotのクロール頻度を制限する。 Crawl-delayはGoogleに無視されます。Search Consoleを使ってください。
• robots.txtを無視するボットをブロックする。 迷惑スクレイパーはこのファイルを読みません。

公開チェックリスト

1. https://yourdomain.com/robots.txtに置きます。ルートのみです。
2. Content-Type: text/plainで配信します（ほとんどのサーバーは自動で行います）。
3. サイズ: 500 KB未満。Googleはそれより大きいファイルを切り詰めます。
4. 公開後、Google Search Consoleのrobots.txtテスターで取得されたファイルを確認します。
5. Disallowを外すとき、インデックス解除に数週間かかることがあります。