ブログ運営になくてはならないもの、それがSEOです。SEOとは簡単に言うと「検索エンジンの最適化」。
ブログで集客力を上げるには、SEOを理解していかに検索流入で集客できるかがカギを握っています。
【クローラーがSEOで重要な理由】
公開した記事にはクローラーが巡回することでインデックスされ検索結果に表示されます。
その検索結果を見たユーザーが記事タイトルをクリックしてはじめて検索流入につながるのです。
SEO対策で言うところのクローラーは、ほとんどの場合Googleクローラーです。
この記事では「クローラー＝Googleクローラー」ということで話を進めていきます。
そんな検索エンジンに集まる膨大な数の情報を集めて回るのがクローラー。SEO対策を行うとよく耳にするかと思います。
クローラーにブログの記事がインデックス（検索結果に表示）されるまでの流れ。
そしてクローラーの巡回効率を上げる方法を見てみましょう。
▼クローラーの動き（インデックスの流れ）
- ①クローラーがWeb上を回遊。見つけた記事情報を持ち帰る
- ② 記事情報をカテゴリ分けしてインデックスする
- ③ Googleのアルゴリズムによって記事の検索順位が決まる
▼クローラーの巡回効率を改善する方法
- ①XMLサイトマップの登録
- ②被リンクを獲得する
- ③リンク切れをなくす
- ④パンくずリストを設定
- ⑤ナビゲーションメニューを設置
- ⑥全ページに2クリック以内で到達できるサイト設計
- ⑦ページの読み込み速度を上げる
「検索エンジンの仕組み」クローラーとは
クローラーは、Web上の情報を読み取るロボット（プログラム）です。英語の「crawl（クロール）」が語源で、はって行くという来ています。
いくつかの呼び方がありますが今回の記事ではクローラーで統一するとします。
- ロボット
- スパイダー
- ボット
クローラーは1回巡回しただけではページ情報のすべてを読み取ることができません。何度も何度も巡回してページの全体を把握します。ちなみにブログの集客を伸ばすには高い頻度で巡回してもらう必要があります。
また、クローラーはリンクを辿ってサイトを巡回するという習慣があります。
- Web上を回遊する
- 読み取った情報を Google のサーバーに持ち帰る
- その情報をもとに検索順位を決めている
公開したブログ記事に集客するためにはクローラーに巡回してもらう必要があるのです。
クローラーが集める情報
- テキストファイル
- 画像ファイル
- PDFファイル
- CSSファイル
- Flash
- JavaScriptファイル
「実はたくさんある」クローラーの種類
クローラーはGoogleだけではありません。他にもいくつか存在します。
日本ではGoogleやYahoo!が圧倒的なシェアを占めていますので、他のクローラーを意識する機会があまりないことかと思います。
- Googlebot（グーグルボット）
- Bingbot（ビング・ボット）
- Yahoo Slurp（ヤフースラープ）
- Baiduspider（バイドゥスパイダー/ 中国）
- Yetibot（NAVER/ 韓国）
Googlebot（グーグルボット）
Googleが採用するロボット（プログラム）です。
Web上を回遊して、集めたページ情報をGoogleのデータベースに格納します。
クローラーといえばGooglebotになっているほどの知名度ですが、そのアルゴリズムは一般向けに公開されていません。
Googlebotの特徴
- 「デスクトップクローラー（PC）」と「モバイルクローラー（スマホ）」の2種類ある
- 平均で数秒に1回を超える頻度で巡回することはない
- 数千台のマシンで同時に稼働している
- ページのサーバにできるだけ負担をかけないように1回のアクセスでできるだけ多くのサイトページをクロールすることを目標とする
参考 : Googlebot | Google検索セントラル
Googlebot他にも種類がある
メインはあくまでもGooglebotですが、Googlebotには色々な種類があります。
ちなみにaltタグを正しく設定しないと画像検索されにくくなります。
Googlebot-Image（画像用）
Googlebot-Video（動画用）
Googlebot-News（ニュース用）
Bingbot（ビング・ボット）
マイクロソフトが2010年10月より提供開始したクローラー。
Bing検索にインデックスされます。検索流入のほとんどがGoogleやYahoo!ですから、Googleほど重要視されていません。
クロール頻度が多すぎるという場合、ページのパフォーマンスに影響が出る可能性もあります。
そんな時はBingウェブマスターツールでクロール頻度を調整することができます。
Yahoo Slurp（ヤフースラープ）
Yahoo!JapanはGoogle。米Yahoo!はマイクロソフトのBingに委託しているため、現在は使われていないクローラーです。
ただしこれは契約期間があるので、今後委託先が変更される可能性もあります。
ご存じの方も多いかと思いますが、Yahoo!の検索結果とGoogleの検索結果はほぼ同じです。Yahoo!はGoogleの検索技術を使っています。
今は稼働していないクローラーですが、こんなクローラーもあったということで覚えておくといいでしょう。
このように一言にクローラーと言っても、数多くのクローラーが存在します。
ブログ運営におけるSEO対策で言うところのクローラーは、ほとんどの場合Googlebotになるかと思います。
この記事で言うところのクローラーもGooglebotです。
クローラーがSEOで重要な理由
公開する記事はクローラーが巡回してインデックスすることで、はじめて検索流入につながります。逆に、クローラーが正しく巡回を行わないとデータベースに登録されないため検索結果に表示されません。
つまりブログの「集客力を上げる＝SEO効果を高める」ためにはクローラーをいかにページに呼び込むかが重要になってきます。
TwitterやインスタグラムなどのSNSを使った集客も有効です。ですがブログ運営をしている場合、SNSに時間を取られてブログにかけれる時間が少なくなってしまいますしそれが何年も継続できるのかが焦点になってきます。
検索流入とSNSによる流入どちらが安定するかを考えた時、長期的では検索流入にシフトした方が安定性が高いかと思われます。
ただし最近ではGooogleアルゴリズムのアップデートが頻繁にあるため「検索流入＋それを補うSNSによる流入」が大事だという見方も多いことでしょう。
とはいえ、ブログで集客をするといえばクローラーを意識したSEO（検索流入）が王道と言えます。
NTTドコモの社会科学系の研究所が公開している資料を見てみましょう。
2020年代に入った現在も日本国内のスマホ普及率が右肩上がりで上がっています。
ここ10年でいっきにスマートフォンが普及していきました。今後、ますますスマートフォンの比率が高まっていくことが想定されます。引き続き調査していきたいと思います。
参考元 : スマートフォン比率92.8%に：2010年は約4％ ここ10年でいっきに普及（2021年4月14日）| モバイル社会研究所
このことからスマホを使った検索による需要はまだまだ見込めると言えます。クローラーにいかに巡回されインデックスされるか、そして検索流入につながるかがブログ運営において重要です。
XMLサイトマップを作成してクローラーに記事の存在を知らせる
XMLサイトマップは「sitemap.xml」で作成できるファイルです。XMLとは、人間の言葉を機械でもわかるようにしたもの。
ブログ運営者はXMLサイトマップを通知してクローラーにブログのコンテンツ内容を伝えます。
XMLサイトマップは登録してなくてもいずれはGoogle はインデックスしてくれます。ですが、登録しておいた方がインデックスまでの時間が早くなるでしょう。
リンクを辿って巡回するという習性があるので、開設したてで内部リンクや被リンクがつながっていないようなブログはXMLサイトマップを通知することでクローラーの巡回度が上がるかと思います。
インデックスされるまでの流れ
続いて、ブログ記事がインデックスされるまでの流れを見ていきましょう。
大きく分けて3つのステップで、公開した記事が検索結果に表示されます。その検索結果を見たユーザーが記事タイトルをクリックしてはじめて検索流入によるアクセスにつながります。
- クローラーがWeb上を回遊。見つけた記事情報を持ちかえる
- 記事情報をカテゴリ分けしてインデックスする
- Googleのアルゴリズムによって記事の検索順位が決まる
クローラーの巡回効率を改善する7つの方法
冒頭でもふれた通り、クローラーをいかに効率よく巡回させるということはSEOにおいて重要になります。
巡回効率を改善する方法を7つまとめました。
- ①XMLサイトマップの登録
- ②被リンクを獲得する
- ③リンク切れをなくす
- ④パンくずリストを設定する
- ⑤ナビゲーションメニューを設置する
- ⑥全ページに2クリック以内で到達できるようにする
- ⑦ページの読み込み速度を改善する
①XMLサイトマップの登録
XMLサイトマップの登録はブログ開設時に大抵の方がやっているかと思います。
XMLサイトマップは手動でも作成することができますが、ブログ内全てのURLを書き込んで更新し続ける必要があるため現実的ではありません。登録はWordPressのプラグインを使うとあとは自動で更新してくれますしそれでいいでしょう。
②被リンクを獲得する
2つ目の被リンク（外部リンク）は他のブログやサイトから自分のブログにリンクを貰うことです。
改善するにもこれは自分で行うことではないので、有益なコンテンツを発信する方法が主だと思います。どうしても被リンクが欲しい場合は他サイトに自ら連絡し営業をかけるという方法もあります。
③～⑥リンクを正しく設定する
これらの項目は全てリンクに関わることです。クローラーはリンクを辿って巡回するという習性があります。
Webページはハイパーリンクがあって成り立っているものですから、適切なリンク設定をすることでそれがクローラーの巡回効率を改善することに直結します。
- リンク切れをなくす
- パンくずリストを設定する
- ナビゲーションメニューを設置する
- 全ページに2クリック以内で到達できるようにする
またURLの正規化もクローラーの巡回効率を上げるために大事な要素と言われます。URLの正規化はURLの「wwwあり」や「wwwなし」のこと
です。
これに関してはWordPressではインストール時に自動的に設定してくれるため特に気にすることはないでしょう。
⑦ページの読み込み速度を改善する
ブログ運営においてかなり重要なのがページの読み込み速度です。表示速度が遅いとクローラーが効率的に巡回を行えなくなってしまいます。
また、あまりにも読み込み速度が遅いと読み込む前にユーザーが離脱してしまいます。クローラーにおいても、ユーザーにおいてもSEO的にページ速度はかなり大事ということになります。
関連記事も合わせてご覧ください
まとめ
最後にまとめです。今回の記事はクローラーの基礎知識、またクローラーの巡回効率を改善する7つの方法を解説しました。
クローラーの仕組み
- クローラーが記事情報を持ち帰る
- 記事情報をインデックスする
- 記事の検索順位を決める
巡回効率を改善する7つの方法
- XMLサイトマップの登録
- 被リンクを獲得する
- リンク切れをなくす
- パンくずリストを設定する
- ナビゲーションメニューを設置する
- 全ページに2クリック以内で到達できるようにする
- ページの読み込み速度を改善する
クローラーの仕組みを理解することはとても大切なことです。
クローラーが効率的に巡回することをしっかり考えたブログ＝SEOに強いブログと言っても過言ではありません。しっかりと理解してSEOに強いブログを目指しましょう。