クローラーの意味とクローラビリティ改善の基礎【SEO用語解説】

1412
Pocket

あまりに耳慣れない「クローラー」という言葉ですが、SEO対策を実施するうえでは理解しておかなければなりません。
今回は、言葉の意味からクローラーに関して知っておきたい周辺知識まで、解説していきます。

<登場人物>

小谷礼王

小谷れお[16卒内定者]

新人Webマーケター。16卒の内定者インターン。
入社と同時にぶっちぎりの成果を上げるために、Webマーケティング、主にSEOコンテンツマーケティングについて勉強している。

藤森雅人

藤森雅人

新卒1年目のアカウントプランナー。れおと同じように内定者インターンをしていたこともあり、れおの勉強の手伝いをしている。

クローラーとは

comment_photo

クローラーってなんですか?

comment_photo

クローラーとは、Web上にあるあらゆるページを収集するプログラムのことです。ちょっと難しい言い方になるけれど、Googleを始めとする全文検索型サーチエンジンでは、Webページの情報を収集しインデックス化することで検索データベースを作成しています。それで検索要求があった時にはそのデータベースを検索して結果を表示するんです。イメージとしては、クローラーがひたすら集めてきたWebページの情報を整理して置いている場所があり、検索された時には、その場所から検索キーワードにあったものを取り出してくるという感じです。

 

comment_photo

仕組みはわかりました! とりあえず検索結果に表示されているものはすべてクローラーが集めてきたものってことですよね。てことはクローラーが自分のサイトを収集してくれなかったらどうなるんですか?

クロールされなければ検索エンジンには表示されない

comment_photo

サイトのページをクローラーに収集してもらえなければ検索結果に表示されません。データベースに入っていないわけですから。「検索エンジンにうちのホームページが出てこない(泣)」とおっしゃっている方のサイトを調べてみると、そもそもサイトにクローラーがほとんどきていなくて、ページがインデックスされてないこともあるんですよ。

comment_photo

それは残念すぎますね。クローラーにページを収集してもらえているかって、どうやって確かめるんですか?

 

クロールの統計情報で、クロール状況をチェック

comment_photo

サイトにクローラーが来ているかどうかはGoogleサーチコンソールで見ることができます。クロール>クロールの統計情報を開くと、1日あたりのクロールされたページ数等の情報を見ることができます。ページ数が少なく、ほとんど更新もされていないサイトだと、1ページもクロールされていない日もちらほらあります。

更新していないサイトのクロールの統計情報

comment_photo

これに対して、2日に1回ほどの頻度で更新されているサイトは以下の様な数値になっています。

ブログメディアのクロールの統計情報

comment_photo

サイトのページ数にもよりますが、全体のページ数に対して1日あたりのクロールされたページ数がかなり低い場合、クローラーがサイトを上手くまわれていない可能性があります。

 

クローラビリティを改善する方法

comment_photo

クローラーがサイトをしっかり巡回できるようにするためには、どうしたらいいんですか?

comment_photo

クローラーが回遊しやすいサイトにするためにすべきことはかなり広範囲に渡りますが、大きく分けて、以下の3つです。それぞれについて解説していきますね。
  1. ディレクトリ構造
  2. リンク階層
  3. URLの設定

comment_photo

ちなみに、クローラーにとっての回遊しやすさ、サイトのわかりやすさのことを「クローラビリティ」と言います。SEO対策において、クローラビリティは非常に重要です。クロールでつまずいてしまうと、他の部分をどれだけ整えても、それを検索エンジンに認識してもらうことができないからです。というわけで、クローラビリティを高める方法を学んでいきましょう!

1.ディレクトリ構造

内容が近しいコンテンツを同一ディレクトリにまとめることで、サイト構造がわかりやすくなり、クローラーがコンテンツを理解する助けになります

たとえば「サービスの紹介ページ」と「社内ブログ」を同じディレクトリにおいてしまったり、ディレクトリがなく、トップページの直下にあらゆるコンテンツが並列で置かれていると、何について書いているページなのかわかりにくくなってしまいます。

近しいテーマは同一ディレクトリにまとめるイメージ

上図のように、似ているテーマを同一ディレクトリにまとめることで、クローラーにとってはもちろん、ユーザーにとってもわかりやすいサイトになります。

2.リンク階層

リンク階層とはリンクの深さ、つまり、トップページから何回リンクをクリックすればそのページに辿り着くのかです。

何度もクリックしないと到達しないページが多くある場合は危険信号です。クローラーはリンクを辿ってページを読み込んでいくので、奥まった場所にあるページほどクロールされない可能性が高まります。
サイト規模にもよりますが、クローバルナビゲーションやフッターなども活用し、クロールして欲しいページにはかならず1、2回のクリックで到達できるように設計するとよいでしょう。

3.URLの設定

できる限りシンプルでわかりやすいURLの方がクローラビリティは高いといえます。
URLの表示方法は大きく2つあります。「?」や「&」などでパラメーターがついた「動的URL」とパラメーター等がついていない「静的URL」がありますが、この2つは基本的にどちらでもかまいません。

<参考記事>
不必要に静的化したURLよりもパラメータ付きURLをGoogleは好む | 海外SEO情報ブログ

しかしながら、不要なパラメーターで長いURLになっていたり、コンテンツの内容は同一なのにパラメータの順序が違うだけで別URLになってしまっていたりなどは、避けるべきです。長く複雑なURLは読み込みが大変なのでクローラビリティを下げる要素になります。

comment_photo

クローラビリティの改善は、サイト全体に関わることなので、細かい部分まで含めるとやるべきこともかなり多くなってきます。まずは上記のようなポイントをチェックして最適化することから始めてみてください。

クローラーについてまとめ

クローラーとは、Web上にあるあらゆるページを収集するプログラムのこと。
クローラビリティとは、クローラーにとってのサイトのページの収集しやすさ、回遊性の高さのこと。どんなに良いコンテンツを作ったとしても、クローラビリティが低かったら検索エンジンに認識してもらいにくくなってしまうので、クローラビリティを高める施策は、非常に重要。
まずはディレクトリ構造、リンク階層、URL設定に注意すること。

Pocket

無料ebook

【超実践編】実際のGoogleアナリティクス画面を見ながら学べるアクセス解析入門講座
姓(必須)
名(必須)
会社名(必須)
電話(必須)
メールアドレス(必須)
個人情報のお取り扱いについて

競合比較ができるSEOツール SEOカウンセラー

最大10項目(順位/被リンク数など)の競合調査が無料でできます。

プロモニスタ編集部
プロモニスタでは、コンテンツマーケティングとコンテンツSEO、SEO対策を中心にwebマーケティング関連の最新情報やノウハウ、当社の事例を発信しています。