クローラー

Crawler

−

コンピタント株式会社

クローラーとは、サーチエンジンの検索データベースを作成するために、あらゆるWebページの情報を回収するプログラムのことを言う。
クローラは、全文検索型サーチエンジンの検索処理に必要なデータベースを作成するプログラムであり、未収録のページや更新後のページ情報をデータベースに回収していく。
スパイダーと呼ばれることも多い。

深層ウェブ