WWWの検索エンジンは巨大なデータベースを持っていて、そこから目的のサイトを探し出してくれます。では、このデータベースはどうやって作るのでしょう。人手で登録していてはとても間に合いません。そこで出てくるのがクローラーです。
　検索ロボットとかスパイダーとも呼ばれます。クローラーは世界中のあらゆるサイトを見て回り、データベースに登録するプログラムです。プログラムですからすべて自動的に行われます。crawlには｢這い回る｣という意味があります。人知れずネットを渡り歩く様子をcrawlerという言葉で表したのでしょう。スパイダー（蜘蛛）も似たようなイメージですね。悪いことをしているのではないけれど、なんとなく気持ちが悪いということはあるでしょう。
　とはいっても、自分のホームページを広めたい人にとっては、クローラーに見つけてもらわなければなりません。気持ちが悪いなんて言ってられません。　　--- Y.O. ---