Rastreator de rete

Un rastreator de rete (etiam: rastreator web), a vices appellate un aranea o araneabot e frequentemente abbreviate a rastreator, es un bot de Internet que naviga systematicamente le Rete Informatica Mundial e que es typicalmente operate per motores de recerca pro le intention de indexar le rete (exploration de rete). Motores de recerca de rete e alcun altere sitos electronic usa programmario de exploration de rete pro actualisar lor contento electronic o indices del contento electronic de altere sitos. Le rastreadores de rete copia paginas pro esser processate per un motor de recerca, que indexa le paginas downloadate pro que usatores pote cercar plus efficientemente. Le rastreadores consume ressources de systemas visitate e visitar frequentemente sitios sin prompte. Problemas de programma, carga, e "politesse" entra in ludos quando grandes collectiones de paginas es accedite. Mechanismos existe pro sitos public que non desira esser rastreate a facer isto cognoscite al agentes de exploration. Per exemplo, includer un file robots.txt pote requestar que bots indexa solmente partis de un sito web, o niente del toto. Le numero de paginas Internet es extrememente grande; mesmo le rastreadores plus grande non arriva a facer un indice complete. Pro isto, motores de recerca struggiva a dar resultatos pertinente in le annos initial del World Wide Web, ante 2000. Hodie, resultatos pertinente es datate quasi instantaneemente. Rastreadores pote validar hyperligamines e codice HTML. Illes pote etiam esser usate pro web scraping e programmation con datos.