ロボットテキストについて

seoマスターProfessionalではサーバーの最上階層にクローラーを制御する記述(robots.txt)がないかをチェックします。

 

検索エンジンのロボットは、Webページに記述されているリンクを辿ってサイトを巡回し、情報収集、インデキシングをおこなっています。Webサーバの管理者やWebサイトの運営者は、自分たちが管理・運営するWebページをWeb検索エンジンに登録されたくない場合などに、robots.txtを用いてロボットを排除することができます。
意図的にrobots.txtを設置しているのであれば問題ありませんが例えば記述ミスで、ディレクトリ全体をブロックしてしまった場合はそのディレクトリ直下のページ全てが検索エンジンに表示されなくなってしまう事もありますので十分注意しましょう。

 

ヘルプ一覧に戻る