クローラーを拒否するメタの記述
メタタグに下のような記述をすることで、検索エンジンロボット(クローラー)の行動を制御することができます。
noindex(インデックスの拒否)
<meta name=”robots” content=” noindex”>
noarchive(検索エンジンデータベースへの保存の拒否)
<meta name=”robots” content=” noarchive”>
none(インデックスとリンク先へのクロールの両方を拒否)
<meta name=”robots” content=” none”>
これらの表記は、自分のウェブページを検索エンジンや第三者に知られたくない場合に記述するものです。
seoマスターをお使いの方は、如何にして検索エンジンに認められ、さらに希望するキーワードで上位表示を果たしたい方だと思いますので、間違っても上記のような記述をウェブページ内にしている人はいないでしょう。seoマスターは、ページ内にクローラーを制御する記述をしているかどうかをチェックします。
※意図的に、特定のファイルやディレクトリに対してクローラーの制御を行っている場合は修正する必要はありません。
