新規コンテンツ(新しいURL)が検索エンジンから評価されるまでにかかる時間
Updated / Published
新規ドメイン取得、新規作成のページなど新しいURLで作られたコンテンツは検索エンジンから評価される基準を満たせるようになるまで時間を要します。特に期間限定のイベント等であれば、その時間がビジネス上の生命線にもなり、検索エンジンからの流入が期待できる順位に至るまでは、ある程度の期間を見越した上でコンテンツ作りをしていくことが肝要になります。ここでは新規コンテンツ(新しいURL)が検索エンジンから評価されるまでにかかるおよその時間などについても探ってみたいと思います。
何をもって評価していると考えるか
検索エンジンも人と同じで出会う行為をもって、親交を深めていくことで、そのコンテンツ(URLで閲覧できる内容)が規定の信頼値に達すると、検索エンジンからの流入が期待できるぐらいの掲載順位を与えられるようになってくると考えられます。検索エンジン側としても、信頼に至っていないコンテンツをたくさんのユーザに見せるわけにはいかないという働きがあって然るべきだからです。
そして、検索エンジンでいうところのコンテンツ(URL)との出会いとは、クローラーのクロールにあたります。クローラーをGoogle公認キャラクターのGooglebotくんで擬人化するとすれば次のようなやりとりを想像してもらうとわかりやすいのではないかと思います。
この考えのもとでいくと、検索エンジンから評価されるまでにかかる時間において重要なのはクロール頻度ということになります。
なお、Search Console(旧称ウェブマスターツール)からクロール速度を変更できますが、Googleのジョン・ミュラー氏がクロール速度とクロール頻度は別物であり、クロール速度を「高」に変更してもクロールが増えることはないことをフォーラムで回答していますので、別物であることをあらかじめ認識しておく必要があります。
クロール頻度を決定する要因
Googleのマット・カッツ氏が2010年にエリック・エンゲ氏から受けたインタビューで、クロール頻度を決める要因について回答していますので、その要約を書き出してみましょう。
クロールページ数は、ページランクにほぼ比例する。多くのリンクを獲得しているページランクが高いページほど頻繁にクロールされ、階層が深くなりページランクが減るに連れて、同様にクロール頻度も少なくなる。
Webサーバーが処理できる同時接続の最大数の問題で、クロールで負荷をかけることがないように同じIPアドレスの共有サーバーで運用されている状況では、クロールを制限することがありえる。
同じ内容のコンテンツが複数あると、ひとつだけしか保存しないし、良いコンテンツを揃えていないと判断して、そのサイトへのクロール頻度そのものを少なくするかもしれない。
といったところです。つまり、2010年時点ではページランクが高いほどクロール頻度は高くなり、あとはクロール頻度を下げてしまうことがないように、ひとつのサーバに同じIPアドレスで運用しているドメインは少ない方が制限を受けなくて済むことと、重複コンテンツのような低品質なコンテンツがないように気をつけておくのがポイントでした。
クロール頻度に比例するページランクは、もはやGoogleの過去の遺産であり2013年に更新を終了、代わりとなるものをGoogleは公には発表していませんが、Google内部でだけページランクに代わる別の指標をもっていると考えるのが妥当でしょう。クロール頻度が下がる要因については、どちらも今でも有効と考えられます。
そして、インタビュー中で一度にクロールできるページ数は決められているのかということでクロールバジェット(クロール予算)という概念でエリック・エンゲ氏はGoogleのマット・カッツ氏に対して話していましたが、その概念にならうと、クロールできる絶対量は決まっていることから、各々のサイトでは決められた量の中でいかにクロールを最適化してやるかが重要になってくると言えます。
クロール最適化
新規コンテンツ(新しいURL)のページに対して、クローラーが流入してくる経路は次の3つです。
- XMLサイトマップを通じて訪れる。
- 外部リンクを通じて訪れる。
- 上記2つのいずれか経由の上で内部リンクを通じて訪れる。
このうち外的要因でクロール頻度を高められるのは、外部リンク経由だけですから、質の高い外部リンクを多く獲得しているページ、そこから内部リンクしているページほどクロール頻度は高くなります。
通常、多くのサイトで外部リンクが集まりやすいのはトップページであることから、自ずとトップページはクロール頻度が高くなっており、そこからの内部リンクを上手くコントロールすることこそがクロール最適化の要となります。
クロール最適化としてもうひとつ重要なのが、クロールバジェット概念で言うところの一度にクロールできるページ数が決まっているために、無駄なページへのクロールで消耗させないことです。これは、サイトを制作するうえで守るべきルールとしてGoogleが発表しているウェブマスター向けガイドラインにも、間接的な内容が記載されています。
- Google ウェブマスター向けガイドラインより
技術に関するガイドライン
robots.txt を使用して、検索結果ページや、検索エンジンからアクセスしたユーザーにとってあまり価値のない他の自動生成ページをクロールしないよう制御します。
無駄にクロールを消耗させない点については、Web制作者は抑えておくべき低品質コンテンツがもたらす悪影響への注意喚起をあわせて参照ください。
経験則から見るおよそかかる時間
クロールという出会う行為を繰り返し、親交を深めていく中で規定の信頼値に達すると、検索エンジンからの流入が期待できるぐらいの掲載順位を与えられるようになる、この考えであれば、新規ドメイン取得の場合や、新規作成ページの場合で評価されるようになるまでの時間にそれぞれバラつきがでることにも上手く説明が付きます。
新規ドメインの場合
新規ドメインの場合、外的要因としてクロール頻度を高められる外部リンクが0からスタートすることから、規定の信頼値に達するまで当然ながら時間は最大限かかります。
そのため幻想もでてきやすく、できたばかりの新規ドメインのサイトは順位を通常よりかなり低く設定されることになるエイジングフィルタというアルゴリズムが存在しているかのように思われている節があります。
実態としてはそんなことはなく、新規ドメインの場合であっても新規作成ページの場合であっても新規コンテンツ(新しいURL)としての扱いは同じであって、単純に信頼を得られる規定のクロール回数に到達するまでに時間がかかっているだけと考えられます。
つまり、新規ドメインの場合は、外部リンクが0からのスタートのため、質の高い外部リンク獲得の有無が信頼の評価に至るまでの時間を大きく左右し、質の高い外部リンクを多く獲得できているサイトであれば1ヶ月ぐらいで極端に早いでしょうし、外部リンクの全くないサイトでは1年以上かかるとも考えられます。通常、外部リンクが数件にとどまるサイトが一般的には多いと思われますので、外部リンクが数件のサイトだとおよそ3ヶ月〜6ヶ月かかると見込んでおくと良いでしょう。
また期間に幅が出るのは、2010年時点で要因になっていたページランク重視からコンテンツの善し悪しで数ヶ月の差が生じるぐらい、コンテンツそのものによってクロール頻度を決める判断基準も変わってきていることが考えられます。良質なコンテンツを順序よく更新できるようにコンテンツを段階的に展開する手法もクロール頻度を高める上では有効であり、信頼の評価に至るまでの期間がビジネス上重要な役割を占めるのであれば、新規ドメインの場合に限らずですが、ティーザーサイト手法を考慮するのも良いでしょう。
新規作成ページの場合
新規作成ページの場合は、当該ページへの直接の外部リンクに加えて、そのドメイン内の他のページへの外部リンクから当該新規作成ページへクローラーが到達できるように内部リンクをどれだけ上手くコントロールできているかが、規定の信頼値に達するまでの時間を大きく左右します。
当該ページに直接の外部リンクはないが、数年運用してきているドメインでトップページに数十件の外部リンクがあり、そのトップページからの内部リンクを上手くコントロールしているサイトでは、およそ丸1ヶ月近くの時間は最低かかる感触です。ただし、当該ページへの直接の質の高い外部リンクがある場合は、規定の信頼値に達する時間は2週間〜3週間へと大幅に短くなる感触で、外的要因としてクロール頻度を高められる質の高い外部リンクの効力の大きさが伺えます。
また、新規作成ページの場合は、サイトの階層による影響も受けやすく、階層が増えるに連れ、内部リンクのコントロール精度も落ちることから、クロール頻度は下がり余計に時間をかけかねないので、できる限り1階層・2階層あたりまでに留めておくのが無難な印象です。階層による影響で関連するところでは、2014年末から検索結果ページで付くようになったスマホ対応のラベルについても、ラベルがつくようになるまでにかかる時間は階層に応じたクロール頻度の影響を大きく受けているようで、トップページだと2〜3日、1階層下がると1〜2週間、もう1階層下がった2階層あたりで約2週間かかるという感触です。
突発的に上位表示される場合
例外として、TwitterやFacebookなどのSNSで多くシェアされて話題となった(バズる)コンテンツの場合は、フレッシュネスアルゴリズムやQDF(Query Deserves Freshness)アルゴリズムの働きによって、突発的に上位表示されることがあります。これらのアルゴリズムはタイムリーな情報を検索結果の上位に表示するもので、この場合は、新しいURLであっても上位表示されることになります。
ただし、これらのアルゴリズムによる働きかけは一時的であって、SNS上での話題性が終息していくに連れて、掲載順位は落ち着くことになります。それでも話題となった際に多くの外部リンクが獲得できている場合は、クロール頻度が高くなり、信頼足り得る規定のクロール回数へとその分早く到達できるので、通常よりも短期間で検索エンジンからの評価が得られるようになることが期待できます。