クローラーとは、ページ情報を収集するためにWebページを巡回する検索エンジンのロボット(巡回プログラム)のことを言います。
クローラーはHTMLファイルだけでなく、画像データや動画データ、PDFやExeleなどのアプリケーション形式のファイルデータも収集しています。
多くの場合、クローラーはリンクをたどってWebページを巡回しています。GoogleではGoogle Search Console(グーグル サーチ コンソール)からクロールリクエストすることができます。
クローラーの種類
- Googlebot(Google)
- Bingbot(Microsoft)
- AppleBot(Apple)
- Baiduspider(百度※中国の検索サイト)
- Yahoo Slurp(Yahoo!※Yahoo!Janpanを除く)
カテゴリー:Webマーケティング 開始文字:「く」一覧 ホームページ制作トップ ホームページ制作のご相談