Пошуковий робот
З Вікіпедії, безкоштовно encyclopedia
Пошуковий робот (також англ. web crawler, англ. web spider) — програма для краулінгу, тобто збору контенту в інтернеті. Є складовою частиною пошукової системи та призначена для перегляду сторінок інтернету з метою введення інформації про них до бази даних.
Пошукові роботи завантажують сторінки, зберігають їх зміст, індексують його і добувають підсумкову інформацію. Вони також переглядають заголовки, деякі посилання і відправляють проіндексовану інформацію до бази даних пошукового механізму.