WWWの検索エンジンは巨大なデータベースを持っていて、そこから目的のサイトを探し出してくれます。では、このデータベースはどうやって作るのでしょう。人手で登録していてはとても間に合いません。そこで出てくるのがクローラーです。
検索ロボットとかスパイダーとも呼ばれます。クローラーは世界中のあらゆるサイトを見て回り、データベースに登録するプログラムです。プログラムですからすべて自動的に行われます。crawlには「這い回る」という意味があります。人知れずネットを渡り歩く様子をcrawlerという言葉で表したのでしょう。スパイダー(蜘蛛)も似たようなイメージですね。悪いことをしているのではないけれど、なんとなく気持ちが悪いということはあるでしょう。
とはいっても、自分のホームページを広めたい人にとっては、クローラーに見つけてもらわなければなりません。気持ちが悪いなんて言ってられません。 --- Y.O. ---