ある日Google Search Consoleを見ていたら、エラーが出ていました。
「プロパティの健全性に重大な問題が発見されました。」
この記事は、この問題を解決するためにrobots.txtの記述を編集した記録です。
エラーの原因
エラーの表示に従ってクリックしていくと、簡単にですが原因が書かれています。
今回は一部のページがクロールをブロックしている、とのこと。
具体的にはこちらのアドレス。
このページは、「Vaster2 カスタマイズ」というラベルを付けた記事だけを表示しています。
ラベル別のアドレスの中には「/search」が含まれていて、Bloggerの初期の設定だとこの文字列が含まれるアドレスは巡回を拒否しています。
今回「重要なページ」として指摘されたページは、このブログの中でもかなり訪問者の多いアドレスです。
初期にはエラーが出ていなかったと思うのですが（自信はない）しばらくしてからエラーが出たということは、訪問者が多いのにGoogleが巡回ができないからエラーが出たのでしょうか？
ということで、このアドレスを巡回できるように設定を変更しました。
修正方法
今回修正するにあたりいろいろと検索してみたのですが、「これ！」という決定的な方法がいまいちよくわからなかったんですよね。
サイトマップのアドレスが違うものを紹介しているところもありましたし…。
どうも古い記事だとサイトマップのアドレスが違うようです。
今回私が記述した内容
User-agent:*
Disallow: /search
Allow: /search/label/
Sitemap: http://akari-log.com/sitemap.xml
User-agent: Mediapartners-Google
Disallow:
目的と解説
1行目：すべてのクローラへの命令
2行目：/searchを含むアドレスへの巡回禁止
3行目：/search/labelを含むアドレスへの巡回許可
4行目：サイトマップ（そのままコピーして使う場合は太字部分を自分のサイトのアドレスに変更してください）
5行目・6行目：アドセンスの広告をよりサイトに合わせたものにするためにこの2行を書いておくとよいようです
検索していると「Disallow: /*archive」という記述が「月別アーカイブを巡回させない」という目的で追加されています。
私のサイトで確認したところ、月別アーカイブのアドレスに「archive」という文字が見当たらなかったので今回は削除しました。
記述する場所
bloggerの設定画面から「設定」→「検索設定」→「独自のrobots.txt」を有効にします。
白いボックスが出てくるので、内容を記述して「変更を保存」。
変更後
エラーが消えるのは数日後
robots.txtの記述を変更してから、エラーの表示が消えるまで数日かかります。
私の場合、今回は2日ほどでエラーが消えました。
ときどきリセットされる？
実は今回のrobot.txtの記述ですが、以前に1度変更しているのです。
しかしある日見たらまたエラーが出ていて、robots.txtを見てみたら初期の記述に戻っていました。
条件はよくわからないのですが、リセットされる時があるのでしょうか？
コメント