運営ノウハウ ネットショップ運営に役立つ、様々なノウハウを提供しています 運営ノウハウ ネットショップ運営に役立つ、様々なノウハウを提供しています

クローラー

クローラーとは?

クローラー(Crawler)とは、インターネット上のWebサイトの情報(文書や画像など)を定期的に取得し、自動的にデータベースに登録するプログラムのことです。

単に「ロボット」、「検索ロボット」とも呼ばれます。Google・Yahoo!・Bing(Microsoftの検索エンジン)など、検索サイトの運営会社がそれぞれ運営してます。

クローラーの役割

クローラーは、検索エンジンがネット上の各サイトの内容を調べ、ランク付けする際などに使われています。

クローラーが収集した情報は、ラベルを付けてデータベースに登録され(=インデックス化)、検索サイトの検索結果に表示されます。

インターネットに公開したばかりのWEBページは、すぐには検索結果に表示されません。
クローラーによってデータベースに登録されることで、初めて検索エンジンの検索結果に表示されるようになります。

そのため、SEO対策として、クローラーが巡回してくれるように、サイトマップを送信したり、インデックス登録のリクエストをしたり、といった対策があります。

また、検索結果に表示させたくないページは、クローリングしないように設定することもできます。

クローラーが収集する情報

クローラーが取得する情報には、以下のようなものがあります。

  • HTMLファイル
  • テキストファイル
  • CSSファイル
  • JavaScriptファイル
  • 画像ファイル
  • PDFファイル