ページの有無をGoogleにどのように伝えるか
これまでGoogleの検索結果に表示させるには、まずGoogleにページを見つけてもらうこと。すなわち、ウェブクローラによるクローリングであなたのページを見つけてもらうことでした。その上で、どのようにして、Googleに見つけてもらうかを検索エンジンの仕組みを知ろうで解説しました。今回は逆にクロールされたくないページをGoogleに対してどのように伝えるかについて解説していきます。
クロールされたくないページとは
ウェブクローラにサイト全体をクロールされることは良いのですが、なかには、問い合わせページなど重要でないページがあります。その重要でないページをクロールしないよう、ウェブクローラにしっかりと伝えることで、重要度の高いページが最優先にクロールされます。その結果、サイト全体に対するSEOの効果が見込めます。一方、ウェブクローラに対して、クロールの指示をしていないと、不要なページまでクロールしてまい。サイト全体の質を下げてしまい、悪影響を及ぼしてしまう恐れがあるので設定することをおすすめします。
robots.txtでクローラをブロック
検索エンジンにあなたのサイトにアクセス、あるいはクロールするかしないかを、「robots.txt」のファイルで指示することができます。作成したファイルの置き場所は、ファイル階層の最上階の階層のルートディレクトリになります。つまり、あまり意味をなさないページはウェブクローラの過負荷を避けるため、見にこなくてもいいよ、飛ばしていいよと伝えるわけです。詳しくはrobots.txtファイルの使い方を参考にしてみてください。
より安全な方法とは
また、あるページは検索結果に表示させたくない場合は、「noindex」タグを設置します。そうすることで、検索結果には表示されない、だけど、URLを知っているユーザーにはアクセスができるといった状態になります。
まとめ
ウェブクローラにクロールされたいページ、クロールが不要なページを整理しながら、「robots.txt」ファイルを設置すること。設置することで、サイト全体の質も上がり、SEOの効果が見込める。また、検索結果に表示させたくない場合は、「noindex」タグを設置すること。
SEO対策船橋ドットコムは、内部対策において、クロール対象のページを選別しながら過負荷にならないよう、サイト全体の質を高めています。詳しくは料金案内をご覧ください。
