インデックス可能性チェッカー
ページ自体が完全に問題なく構成されているにもかかわらず、検索エンジンで見つからない可能性があります。その原因は、「noindex」と記載された単一のタグや、robots.txtファイルがクローラーのアクセスをブロックしているためです。URLを貼り付けると、このチェッカーはGoogleが使用するすべての情報(robots.txt、meta robots、X-Robots-Tagヘッダー、正規形式のターゲット、HTTPステータスなど)を評価し、そのページがインデックス可能かどうか、なぜインデックスできないのか、および修正すべき点を示します。
インデックス化可能性を確認する方法
-
1
URLを入力してください
チェッカーはGooglebotと同様にURLを取得します。
-
2
リダイレクトを解決します
301/302のホップからなるチェーンが追跡され、最終的に評価されたURLが選択されます。
-
3
すべてのインデックス化可能な信号を読み取ります
robots.txtのルール、meta robots、X-Robots-Tag、正規形(canonical)、ステータスコード。
-
4
判決およびその理由
インデックス可能な/インデックス不可能/部分的であり、判決を引き起こした正確な信号が含まれている。
インデックス化可能性の信号およびその優先順位
Googleは一連の信号を特定の順序で評価します。このチェーン内に1件の否定的な信号が存在するだけで、インデックス化がブロックされます。
シグナル評価の順序
- HTTPステータス:2xxが必要です。3xxチェーンが適用されます;4xxおよび5xxではインデックス化が終了します。
- robots.txt:そのURLがGooglebotのクロール対象外と設定されている場合、該当ページは一度もクロールされません。そのため、「noindex」タグも表示されません。
- X-Robotsタグヘッダー:HTTP応答ヘッダー内の
noindexはインデックス化をブロックします。 - メタロボット:
<meta name="robots" content="noindex">はインデックス化をブロックします。 - 標準的な指し示し:他の場所への標準的な指し示しとは、GoogleがそのURLをインデックスとして扱うことを意味します。
- コンテンツの品質および重複検出:Googleは明示的な指示がない場合でもインデックス化をスキップする可能性があります。
これで検出される一般的な誤り
| 問題 | 原因 |
|---|---|
| 全セクションがインデックスされていません | robots.txt内のDisallow:ルール |
| ターゲットページがインデックスされていません | meta robotsファイル内のnoindex |
| 間違ったURLでインデックス化されています | カノニカルは別の場所にあります |
| 5xxで停止 | サーバーエラーによりクロールが中断しました |
| Disallow と noindex の競合 | Robots.txtによりクロールがブロックされ、「noindex」タグは一切読み込まれない |
| 生産環境へのステージングリース | テスト環境から残ったX-Robots-Tag: noindex |
robots.txt + noindex の罠
もしrobots.txtにDisallow:というURLを記載している場合、GoogleはそのURLをクロールしないため、noindexタグは検出されません。このURLは検索結果において「空白」の項目として表示される可能性があり、URLのみが記載されており説明情報がない状態です。URLをインデックスから適切に削除するには、まずクロールを許可しnoindexを使用した後、GoogleがそのURLをインデックスから除外した後にのみクロールをブロックしてください。
Googlebotの視点からのテスト
チェッカーはGooglebotのユーザーエージェントを送信するため、サーバー側で「クローラーはXのみを表示」するようなトリックも検出されます。常にステージ環境ではなく、本番環境のURLを確認してください。
よくある質問
インデックス可能な状態であるということは、技術的な障壁がないことを意味するだけであり、インデックス化が保証されるわけではありません。Googleはまた、コンテンツの品質、重複コンテンツの有無、およびクロール予算を考慮して判断を行います。確定的な回答を得るには、Search ConsoleのURL検査機能をご利用ください。
通常、適切な対応方法はmeta robots(またはX-Robots-Tag)の設定です。Robots.txtではクローリングをブロックし、meta robotsではインデックス化をブロックします。インデックス化したくないページについては、クローリングを許可することでGoogleがnoindexタグを読み取ることができます。
Googleはリダイレクトチェーンの最終目的地を評価します。AからBへの301リダイレクトの場合、Googleは最終的にBをインデックス化し、Aはインデックス化されません。チェック器は評価前にすべてのリダイレクトを解決することでこれをシミュレートします。
認証が必要なページは、定義上インデックス化できません。これらのページにSEO対策が必要な場合は、公開プレビュー版を検討してください。
関連ツール
メタディスクリプション長チェッカー
メタディスクリプションの文字数と推定ピクセル幅を測り、編集上の目安やデスクトップ・モバイルのレイアウト例と比較します。
HTTPセキュリティヘッダーチェッカー
HTTPレスポンスヘッダーを貼り付け、HSTS、CSP、クリックジャッキング、MIME、リファラ、クロスオリジン設定をブラウザー内で確認します。
XMLサイトマップ検証ツール
ブラウザ上でサイトマップXMLを解析し、構文エラー、locの欠落、URLの重複、一般的なサイトマップ項目の値を確認します。
Google SERP シミュレーター
モバイルとデスクトップの文字数上限を使って、Google 風の検索スニペットを概算で確認します。下書きはこのブラウザーセッション内にのみ残ります。
Canonicalタグジェネレーター
任意のURLに対して有効なrel=canonical linkタグを生成します。URLの検証と、避けるべきよくあるミスも含みます。
Canonical URLチェッカー
ページのHTMLを貼り付けてrel=canonicalタグを確認:存在するか、有効な絶対URLか、ページURLと一致するか。
このツールは他の言語でも利用できます
- Pemeriksa Indeksabilitas [ID]
- Công cụ kiểm tra khả năng lập chỉ mục [VI]
- Verificador de Indexabilidad [ES]
- Vérificateur d'indexabilité [FR]
- 인덱스화 가능성 검사기 [KO]
- Indexerbaarheidscontrole [NL]
- Indexerbarhetskontroll [SV]
- เครื่องตรวจสอบความสามารถในการจัดทำดัชนี (Indexability Checker) [TH]
- مدقق قابلية الفهرسة [AR]
- Indexierbarkeitsprüfer [DE]
- Sprawdzacz indeksowalności [PL]
- Verificador de Indexabilidade [PT]
- Controllore di Indicizzabilità [IT]
- Инструмент проверки индексируемости [RU]
- İndekslenebilirlik Kontrolcüsü [TR]
- 可索引性检测器 [ZH]
- Indexability Checker [EN]