Поисковый робот / Паук / Червь / Search Robot / Crawler

Программа, являющаяся составной частью поисковой машины. Именно благодаря работе роботов поисковые системы выдают в ответ на поисковые запросы списки релевантных ссылок.

Роботы постоянно сканируют сеть Интернет, посещают веб-страницы сайтов, считывают (индексируют) их содержимое и далее следуют по ссылкам, найденным на данной странице. Роботы возвращается через определенные периоды времени и индексируют сайты (страницы) снова. Вся информация заносится роботом в индексы поисковой системы. Порядок обхода страниц, частота визитов регулируется алгоритмами поисковой машины.