インデックス可能性チェッカー

インデックス可否を確認
次へ

ページ自体が完全に問題なく構成されているにもかかわらず、検索エンジンで見つからない可能性があります。その原因は、「noindex」と記載された単一のタグや、robots.txtファイルがクローラーのアクセスをブロックしているためです。URLを貼り付けると、このチェッカーはGoogleが使用するすべての情報(robots.txt、meta robots、X-Robots-Tagヘッダー、正規形式のターゲット、HTTPステータスなど)を評価し、そのページがインデックス可能かどうか、なぜインデックスできないのか、および修正すべき点を示します。

インデックス化可能性を確認する方法

  1. 1

    URLを入力してください

    チェッカーはGooglebotと同様にURLを取得します。

  2. 2

    リダイレクトを解決します

    301/302のホップからなるチェーンが追跡され、最終的に評価されたURLが選択されます。

  3. 3

    すべてのインデックス化可能な信号を読み取ります

    robots.txtのルール、meta robots、X-Robots-Tag、正規形(canonical)、ステータスコード。

  4. 4

    判決およびその理由

    インデックス可能な/インデックス不可能/部分的であり、判決を引き起こした正確な信号が含まれている。

インデックス化可能性の信号およびその優先順位

Googleは一連の信号を特定の順序で評価します。このチェーン内に1件の否定的な信号が存在するだけで、インデックス化がブロックされます。

シグナル評価の順序

  1. HTTPステータス:2xxが必要です。3xxチェーンが適用されます;4xxおよび5xxではインデックス化が終了します。
  2. robots.txt:そのURLがGooglebotのクロール対象外と設定されている場合、該当ページは一度もクロールされません。そのため、「noindex」タグも表示されません。
  3. X-Robotsタグヘッダー:HTTP応答ヘッダー内のnoindexはインデックス化をブロックします。
  4. メタロボット: <meta name="robots" content="noindex">はインデックス化をブロックします。
  5. 標準的な指し示し:他の場所への標準的な指し示しとは、GoogleがそのURLをインデックスとして扱うことを意味します。
  6. コンテンツの品質および重複検出:Googleは明示的な指示がない場合でもインデックス化をスキップする可能性があります。

これで検出される一般的な誤り

問題 原因
全セクションがインデックスされていません robots.txt内のDisallow:ルール
ターゲットページがインデックスされていません meta robotsファイル内のnoindex
間違ったURLでインデックス化されています カノニカルは別の場所にあります
5xxで停止 サーバーエラーによりクロールが中断しました
Disallow と noindex の競合 Robots.txtによりクロールがブロックされ、「noindex」タグは一切読み込まれない
生産環境へのステージングリース テスト環境から残ったX-Robots-Tag: noindex

robots.txt + noindex の罠

もしrobots.txtにDisallow:というURLを記載している場合、GoogleはそのURLをクロールしないため、noindexタグは検出されません。このURLは検索結果において「空白」の項目として表示される可能性があり、URLのみが記載されており説明情報がない状態です。URLをインデックスから適切に削除するには、まずクロールを許可しnoindexを使用した後、GoogleがそのURLをインデックスから除外した後にのみクロールをブロックしてください。

Googlebotの視点からのテスト

チェッカーはGooglebotのユーザーエージェントを送信するため、サーバー側で「クローラーはXのみを表示」するようなトリックも検出されます。常にステージ環境ではなく、本番環境のURLを確認してください。

よくある質問

インデックス可能な状態であるということは、技術的な障壁がないことを意味するだけであり、インデックス化が保証されるわけではありません。Googleはまた、コンテンツの品質、重複コンテンツの有無、およびクロール予算を考慮して判断を行います。確定的な回答を得るには、Search ConsoleのURL検査機能をご利用ください。

通常、適切な対応方法はmeta robots(またはX-Robots-Tag)の設定です。Robots.txtではクローリングをブロックし、meta robotsではインデックス化をブロックします。インデックス化したくないページについては、クローリングを許可することでGoogleがnoindexタグを読み取ることができます。

Googleはリダイレクトチェーンの最終目的地を評価します。AからBへの301リダイレクトの場合、Googleは最終的にBをインデックス化し、Aはインデックス化されません。チェック器は評価前にすべてのリダイレクトを解決することでこれをシミュレートします。

認証が必要なページは、定義上インデックス化できません。これらのページにSEO対策が必要な場合は、公開プレビュー版を検討してください。

関連ツール

このツールは他の言語でも利用できます