Search Consoleの「robots.txt によりブロックされましたが、インデックスに登録しました」を対処した

どうもメーカー営業マン(@makereigyouman)です。

なんかサーチコンソールから以下のようなメールが急にきました。

なんか急にこういうメール来るとびっくりしますよね。
「もしかしてやらかした?」って一瞬ヒヤッとします。

 

内容はというと、当ブログで以下警告が出ている模様。

robots.txt によりブロックされましたが、インデックスに登録しました

結論としては放置でも問題ないようですが、なんか気持ち悪いので対処してみました。

私の場合のやり方を忘備録として残しておこうと思います。

robots.txt によりブロックされましたが、インデックスに登録しました

そもそもですが、これがどういう警告なのかを簡単に解説しておきます。

robots.txtとは

robots.txtとはどのページをクロールさせるかさせないかをクローラーに判断させるためのファイルのことを指します。

 

robots.txtにブロックされた」ということは、本来はクローラーによるクロール作業を禁止しているページっていうことです。

それが、なぜかインデックスに登録されてしまってますよ!っていうのがサーチコンソールから警告されている訳です。

なぜrobots.txt によりブロックしているのに、インデックスに登録されるのか

これはrobots.txtでブロックしているページが、他のページからリンクされている場合に起こるそうです。

ブロックされていないページから辿ることでそのページへとクローラーが侵入できてしまう訳ですね。

 

分かりやすく図解にすると以下のような感じ。

「robots.txt によりブロックされましたが、インデックスに登録しました」対処法

まずその該当ページを見てみましょう。該当ページによっては放置でも問題ありません。

私の場合は該当ページは「1」でURLはワードプレスの管理者画面に通じるものでした。

本来、アクセスするにはIDとパスワードが必要になるページですが、ちょっと気持ち悪いので対処したいと思います。

手順

本来の手順としては対象ページにnoindexタグを追記します。

noindexタグとは、クローラーに対してインデックスに登録しないように要求する記述です。

robots.txtでブロックしている状態のままではクローラーがnoindexタグを読み取れないため、noindexタグの追記とrobots.txtのブロック解除を行う必要があります。

私の場合、該当ページが存在しなかった

ただし私の場合、カバレッジで警告が出ていた該当ページが存在しませんでした。

URLから遷移したところ、以下のような画面が表示されました。

修正を検証後、3日で完了

該当ページが存在しなかったため、一度修正を検証することとしました。

場合によっては、サーチコンソールからURLの削除をリクエストすることも考えましたが、ものの3日で修正は検証されました。

まとめ

私の場合、単純な対処法でクリアしましたが、場合によってはタグやサーバー内のファイルを弄る必要が出てくるかもしれません。

その場合でも焦らずに状況を見て対応してみてください。

 

↓応援クリック励みになります!!
にほんブログ村 株ブログ 米国株へ

↓こちらもワンクリックして頂けると泣いて喜びます。