Search Consoleの「robots.txt によりブロックされましたが、インデックスに登録しました」を対処した
どうもメーカー営業マン(@makereigyouman)です。
なんかサーチコンソールから以下のようなメールが急にきました。
なんか急にこういうメール来るとびっくりしますよね。
「もしかしてやらかした？」って一瞬ヒヤッとします。
内容はというと、当ブログで以下警告が出ている模様。
robots.txt によりブロックされましたが、インデックスに登録しました
結論としては放置でも問題ないようですが、なんか気持ち悪いので対処してみました。
私の場合のやり方を忘備録として残しておこうと思います。
目次
robots.txt によりブロックされましたが、インデックスに登録しました
そもそもですが、これがどういう警告なのかを簡単に解説しておきます。
robots.txtとは
robots.txtとはどのページをクロールさせるかさせないかをクローラーに判断させるためのファイルのことを指します。
「robots.txtにブロックされた」ということは、本来はクローラーによるクロール作業を禁止しているページっていうことです。
それが、なぜかインデックスに登録されてしまってますよ！っていうのがサーチコンソールから警告されている訳です。
なぜrobots.txt によりブロックしているのに、インデックスに登録されるのか
これはrobots.txtでブロックしているページが、他のページからリンクされている場合に起こるそうです。
ブロックされていないページから辿ることでそのページへとクローラーが侵入できてしまう訳ですね。
分かりやすく図解にすると以下のような感じ。
「robots.txt によりブロックされましたが、インデックスに登録しました」対処法
まずその該当ページを見てみましょう。該当ページによっては放置でも問題ありません。
私の場合は該当ページは「1」でURLはワードプレスの管理者画面に通じるものでした。
本来、アクセスするにはIDとパスワードが必要になるページですが、ちょっと気持ち悪いので対処したいと思います。
手順
本来の手順としては対象ページにnoindexタグを追記します。
noindexタグとは、クローラーに対してインデックスに登録しないように要求する記述です。
robots.txtでブロックしている状態のままではクローラーがnoindexタグを読み取れないため、noindexタグの追記とrobots.txtのブロック解除を行う必要があります。
私の場合、該当ページが存在しなかった
ただし私の場合、カバレッジで警告が出ていた該当ページが存在しませんでした。
URLから遷移したところ、以下のような画面が表示されました。
修正を検証後、3日で完了
該当ページが存在しなかったため、一度修正を検証することとしました。
場合によっては、サーチコンソールからURLの削除をリクエストすることも考えましたが、ものの3日で修正は検証されました。
まとめ
私の場合、単純な対処法でクリアしましたが、場合によってはタグやサーバー内のファイルを弄る必要が出てくるかもしれません。
その場合でも焦らずに状況を見て対応してみてください。
↓応援クリック励みになります！！
