Краулер

Краулер – это термин из области seo и интернет технологий, который означает: программа поисковой системы, отвечающая за сбор ссылок с веб-документа. Собранные ею ссылки передаются на управление другой программе, так называемому пауку – роботу, аккумулирующему уже содержимое самой страницы.