เว็บครอว์เลอร์
From Wikipedia, the free encyclopedia
เว็บครอว์เลอร์ (อังกฤษ: Web Crawler) เป็นบอตอินเทอร์เน็ตที่ทำงานท่องไปบนเวิลด์ไวด์เว็บ โดยปกติแล้วมีจุดประสงค์เพื่อทำการจัดทำดัชนีเว็บ
เว็บครอว์เลอร์อาจเรียกว่าเว็บสไปเดอร์ (web spider)[1] มด (ant) ตัวจัดทำดัชนีอัตโนมัติ (automatic indexer)[2] ในโปรแกรม FOAF มีชื่อเรียกว่า Web scutter[3]
เสิร์ชเอนจินและบางเว็บไซต์ใช้เว็บครอว์เลอร์ในการปรับปรุงเนื้อหาเว็บหรือดัชนีของเนื้อหาเว็บอื่น ๆ ตัวเว็บครอว์เลอร์นั้นสามารถคัดลอกหน้าที่มันผ่านเข้าไปประมวลผล เพื่อที่การค้นหาเว็บด้วยเสิร์ชเอนจินหลังจากนั้นจะสามารถใช้ดัชนีเข้ามาช่วยทำให้ได้ผลลัพธ์เร็วขึ้นเป็นอย่างมาก