seo news:10万URLは普通はクロールバジェットに影響しない

2021年12月24日2021年12月24日 seomasterdailynews 0件のコメント

【重要度：★★★】

Search Engine Roundtableから情報です。

Google: 100,000 URLs Usually Won’t Impact Crawl Budget

「Google：10万URLは普通はクロールバジェットに影響しない」

という記事です。

さて、今回は★が３つですが、この記事にはクロールバジェットというSEOの用語の重要な考え方が含まれているからです。
そもそもクロールバジェットとは何でしょう？

バジェットとは日本語に訳すと「予算」のことです。

GoogleはそれぞれWebサイトごとに何ページクローリングするか？という割当量を確保しています。
この割当量のことをクロールバジェットというのです。
Googleはこのクロールバジェットを超えて通常はクローリングを行いません。

そのため、クロールバジェットはとても重要なのです。
クロールバジェットへの対処は2つあります。

クロールバジェットを節約する
クロールバジェットを増やす

この2つです。
後者のクロールバジェットを増やすということは、WebサイトのGoogleからの評価を高めることによって可能になるのですが、これは簡単なことではありません。
そこで前者のクロールバジェットを節約することだけが対応策となるわけです。

クロールバジェットを節約しようとするためには、nofollowを使ってクロールを抑制したり、robots.txtでクローラーをはじくページを設定するといった対策を取ります。
しかし、これが本当に必要なのか？というのが今回の記事です。

100k URLs is usually not enough to affect crawl budget (it's <1/minute over 3 months), and if it's noindex/404, we won't crawl them that often. With robots.txt it's rare we'd show them in search, site:-queries don't matter.

— ❄️ John ❄️ (@JohnMu) December 21, 2021

nofollowやrobots.txtによるクローラーの動作の制限は、通常はSEOにとってよい結果をもたらさないことが多いです（セキュリティの観点からクローラーを制限する場合を除く）。
ごく一部のSEOをよく熟知したうえで行うのであれば良い結果につながるのですが、あまりよく知らない人が行うのはむしろマイナスになります。
現在のGoogleのクローラーは個々のページの更新頻度を、AIを活用した高度な統計処理によって決めているため、クローラーを制限することはAIによる統計処理の妨げとなる可能性が高いのです。
また、クローラーを制限する施策は、設定を間違えると検索インデックスから重要なページを削除してしまうという事故につながるのです。

といったわけでできる限りクローラーを制限しないほうがよいわけです。
そこでクロールバジェットの話に戻ってくるのですが、Googleのスポークスマンであるジョンミュラー氏によれば、「10万ページのサイトであれば、クロールバジェットの影響を受けることは普通はない」と言っています。

10万ページというとかなり大きいサイトになってきますが、この程度の規模であってもクロールバジェットの影響は軽微なものであって通常は気にする必要はないのです。
それ以下の規模のサイトがほとんどであって、そのようなサイトを運用している方にとってはクロールバジェットは関係ありません。
むしろ忘れたほうがいいぐらいのことです。

これ以下のサイトを運営している方にとって重要なことは、クロールバジェットという言葉を見聞きしたときに「これは私には関係ない」ということを理解しておくことです。
クロールバジェットについての記事などを読んで、その必要がないのに「対策しなくては」と思われる方が時折いらっしゃるので、是非ここで書いたことを覚えておいていただければ幸いです。

～DCCが満を持して提供するSEOツール～
■□■『SEO極～KIWAMI cloud～』■□■

プロのSEOコンサルタントが自分で使いたいツールを作った。

それが「SEO極」です。
この金額でSEOプロのコンサルタント並みの具体的なアドバイスを受けられます。

▼詳細についてはコチラ
SEOツール『SEO極～KIWAMI cloud～』

～【SEOの極意を伝授】無料で学べる！各種オンラインセミナーのご案内～
SEOセミナーご参加者様がのべ50,000名を突破いたしました！
参加者の99.7％の方から「満足」「大満足」のお声をいただいております。

各種セミナーは無料となりますので、是非お気軽にご参加ください。
※本セミナーは『ZOOM』を使用したWebセミナーとなります。

▼参加申し込みはこちらから
■SEOセミナー【無料】

■SEOツール SEO極使い方セミナー【無料】

■Googleアナリティクス&サーチコンソールセミナー【無料】

■コンテンツマーケティングセミナー【無料】

■ウェブサイト高速化セミナー【無料】

■Googleマイビジネスセミナー【無料】