Webサイトの運営者やSEO担当者であれば、「クロール済み – インデックス未登録」というメッセージを目にしたことがあるかかと思います。これはGoogle Search Consoleに表示されるステータスで、GoogleがあなたのWebサイトのページを認識しているものの、検索結果には表示していない状態を示しています。
「クロールはされているのに、なぜインデックスしてくれないのか？」
この疑問を解決するために、本記事では「クロール済み – インデックス未登録」の原因の説明と、具体的な対策方法について解説します。
「クロール済み – インデックス未登録」の基本的な理解
まず、「クロール済み – インデックス未登録」とは具体的にどのような状態なのでしょうか。このステータスの意味と、Webサイトにどのような影響があるかを解説します。
Googleのクロールとインデックスの仕組み
1.クロール
Googlebotと呼ばれるクローラーが、インターネット上のWebページを巡回し、各サイトのコンテンツやリンクなどの情報を収集します。
2.インデックス
クロールで収集された情報をGoogleのデータベースに登録し、ユーザーの検索意図に応じて検索結果に表示させる準備が整えます。
「クロール済み – インデックス未登録」というステータスは、GooglebotがあなたのWebサイトのページを見つけて、コンテンツを読み取ったが、何らかの理由により、その情報がGoogleのインデックスに追加されていない状態を示しています。つまり、「ページの存在は認識しているが、検索結果には表示しない」とGoogleが判断しているということです。
「クロール済み – インデックス未登録」がサイトに与える影響
Webサイトのページがインデックスされないということは、そのページに対して、検索エンジンからのトラフィック（自然検索からの流入）が全く期待できないということになります。検索エンジンはWebサイトへの主要なアクセス経路の一つです。インデックスされない状態が続けば、以下のような悪影響が考えられます。
①トラフィックの減少
検索エンジンからの流入がなくなり、Webサイト全体のトラフィックが大幅に減少します。
②コンバージョン機会の損失
検索からの流入が見込めないため、商品購入や問い合わせなどのコンバージョンの機会損失に繋がります。
③ブランド認知度の低下
検索結果に表示されないため、ユーザーの目に触れる機会が減少し、ブランド認知度の向上を妨げます。
④SEO効果の消失
質の高いコンテンツを作成しても、インデックスされなければSEOの効果は全く期待できません。
このように、「クロール済み – インデックス未登録」はWebサイト運営において非常に深刻な問題です。放置すればするほど、ビジネスチャンスを失い、コンバージョンが遠のいてしまう可能性が高まります。
「クロール済み – インデックス未登録」となる主な原因
Googleがクロールしたにもかかわらず、ページをインデックスしない理由はいくつか考えられます。ここでは、主な原因を特定し、それぞれ詳しく解説していきます。
コンテンツの品質に関する問題
低品質なコンテンツは、インデックスされない最も一般的な原因です。Googleはユーザーにとって価値のある、高品質なコンテンツ提供を重視しています。
①重複コンテンツ
他のWebサイトや自サイト内の別のページと内容が同じまたは酷似している場合、最初に認識されたページが正規ページとして選択されやすい傾向がありますが、両ページともインデックスしないこともあります。
②内容が薄いコンテンツ
文字数が極端に少なかったり、情報量が不足していたりするページは、ユーザーのニーズを満たせないと判断され、インデックスされないことがあります。
③自動生成されたコンテンツ
ツールなどを用いて自動生成された独自性の低いコンテンツは、品質が低いとみなされやすくインデックスされないケースがあります。
④キーワードの詰め込みすぎ
不自然なほど多くのキーワードを詰め込んだコンテンツは、ユーザー体験を損なうと判断され、インデックスされにくく、ペナルティの対象となる可能性もあります。
⑤価値のないコンテンツ
誤字脱字が多い、文法が不自然、専門性に欠けるなど、ユーザーにとって価値がないと判断されるコンテンツはインデックスされにくいです。
技術的なSEOの問題
サイト内の技術的な設定に問題があると、クローラーがページを適切に評価できず、インデックスされないことがあります。それぞれ解説していきます。
①noindexタグ
<meta name=”robots” content=”noindex”> というメタタグがHTMLの<head>内記述されている場合、Googleにインデックスしないように指示することになります。意図せず設定されている場合があるので確認が必要です。
②robots.txtによるクローラーのブロック
robots.txtファイルでGooglebotのアクセスが拒否されている場合は、クロールされずにインデックスされません。意図せず誤った設定を一部のページだけにしてしまいブロックされている可能性も考えられます。
③正規化の問題
同じ内容または非常によく似た内容のページが複数存在する場合、GoogleはどのURLを正規のURLとしてインデックスすべきか判断に迷うことがあります。
canonicalタグ（<link rel=”canonical” href=”…”>）の設定ミスや、設定漏れが原因でインデックスされないことがあります。
主にURLの重複や色違いの商品ページなどで起こりやすいです。
④サイト構造の問題
複雑なサイト構造により、クローラーが重要なページに辿り着きにくい場合、インデックスが遅れたり、ページ自体を見落としてインデックスされない可能性があります。
内部リンクの不足や、適切でないサイトマップの構成などが原因として考えられます。
⑤ページの読み込み速度
ページの読み込み速度が極端に遅い場合、クローラーが途中でクロールを諦めてしまうことがあります。また、読み込み速度の遅いページはユーザーにとっても使い勝手の悪いサイトと判断されて評価が低くなる傾向があります。
⑥モバイルフレンドリー非対応
モバイルでの表示に最適化されていないページは、モバイルファーストインデックス（MFI）が導入されている現在において、評価が低くなる可能性があります。
⑦HTTPステータスコード
サーバーエラー（500番台）やリダイレクトエラー（300番台）など、不適切なHTTPステータスコードが返される場合、Googlebotが正常にページをクロール・インデックスできないことがあります。特に、400番台のエラーはページが存在しないことを示すため、インデックスから削除される原因となります。
新規サイトや公開直後のページ
公開したばかりのサイトや新しいページは、クロールやインデックスに時間がかかることがあります。特に、被リンクが少ない新規サイトは、クローラーが外部リンクを辿って見つけることができないため時間がかかる傾向があります。
Google側の問題
稀なケースではありますが、Google側のシステムエラーやアップデートの影響で、一時的にインデックス処理が遅延したり、誤ってインデックスされないこともあります。
「クロール済み – インデックス未登録」の確認方法
Google Search Consoleを利用することで、「クロール済み – インデックス未登録」となっているページを簡単に確認できます。
Google Search Consoleにログインし、ご自身のWebサイトのプロパティにアクセスします。
左側のメニューからインデックス＞ページをクリックすると以下の項目を確認できます。
赤枠部分をクリックすると「クロール済み – インデックス未登録」のURLの一覧が表示されます。
このレポートを確認することで、どのようなページがインデックスされていないのかを把握し、対策を打つことができます。
「クロール済み – インデックス未登録」への具体的な対策
「クロール済み – インデックス未登録」のページを確認後は、適切な対策を行いインデックスさせる必要があります。ここでは、主な原因に対する具体的な対策方法を解説します。
コンテンツの品質改善
コンテンツの品質を改善することでインデックスされる可能性があります。
主に3つに分けて解説します。
重複コンテンツの解消
同じようなコンテンツやページを統合、canonicalタグを設定して正規のURLはこっちとGoogleに分かりやすく伝えましょう。コンテンツをリライトし、独自性を高めることも重要です。
低品質なコンテンツの改善・削除
文字数を増やしたり、情報の加筆・修正したりして、コンテンツの質を高めましょう。
内容的に改善の見込みがない場合は、思い切って削除することも検討しましょう。
削除した場合は、404エラーを返さずに、関連性の高いページへのリダイレクトを設定することが望ましいです。
例：ブログページを削除した場合はブログの一覧ページにリダイレクトを設定
価値のある情報の提供
専門知識に基づいた正確な情報を提供したり、独自の視点や分析を加えることで、ユーザーにとって価値のあるコンテンツと判断されやすくなります。誤字脱字や文法ミスがないように、公開前にチェックすることも重要です。
技術的なSEOの修正
技術的なSEOの見直しを行うことで正しくインデックスされるケースがあります。
それぞれ解説していきます。
noindexタグの確認・修正
意図せずにnoindexタグが設定されていないか確認しましょう。
誤って設定されている場合は削除します。
robots.txtの設定確認・修正
robots.txtでGooglebotのクロールがブロックされていないか確認しましょう。
必要なページはクロールできるように修正します。
canonicalタグの設定
重複や類似したコンテンツが存在する場合は、canonicalタグを正しく設定し、正規のURLをGoogleにきちんと伝えましょう。設定漏れがないか、誤ったURLが指定されていないかを確認しましょう。
サイト構造の改善
サイト内で孤立しているページはクローラーに見つけてもらいにくいので内部リンクを適切に設置しましょう。
サイトマップを作成し、送信することで、クローラーがサイト内の重要なページを効率的にクロールできるようになります。パンくずリストの設置も有効です。
ページの表示速度の改善
画像の最適化、ソースコードの軽量化などを行い、ページの読み込み速度を改善しましょう。GoogleのPageSpeed Insightsなどのツールを利用すれば、改善点を見つけることができます。
ページ修正後の検証
インデックス登録させるための修正完了後は、Google Search Consoleから検証を行いましょう。
左メニュー内のインデックス作成 ＞ ページから「クロール済み – インデックス未登録」をクリックし「修正を検証」行いましょう。
検証は数日～1ヵ月程で、完了しステータスが更新されます。
まとめ
「クロール済み – インデックス未登録」は、Webサイトが持つ本来の力を発揮できない状態です。この問題を解決するためには、Googleのクロールとインデックスの仕組みを理解し、考えられる原因を一つずつ対策していく必要があります。
コンテンツの品質や技術的なSEO改善を行っていただき、皆様のサイトが「クロール済み – インデックス未登録」の状態を改善し、検索エンジンからのトラフィックを増やしていただければ幸いです。
コメント