Комплексный профессиональный подход к созданию веб-сайтов.
Комплексный профессиональный подход к созданию веб-сайтов.
Главная / Веб-словарь / Веб-краулер (поисковый робот).
Веб-краулер (поисковый робот) – программа, интегрированная в каждую поисковую систему. Главная ее задача – сканирование содержимого веб-страниц, которые известны системе поиска, для того, чтобы обновить информацию о том, что находится на сайте, провести индексацию.