![cover image](https://wikiwandv2-19431.kxcdn.com/_next/image?url=https://upload.wikimedia.org/wikipedia/commons/thumb/d/d1/Schicksale_j%25C3%25BCdischer_Hofer_-_Kr%25C3%25A4ftebasiertes_Verzeichnisbaumdiagramm_20230611_001_FIX.svg/langde-640px-Schicksale_j%25C3%25BCdischer_Hofer_-_Kr%25C3%25A4ftebasiertes_Verzeichnisbaumdiagramm_20230611_001_FIX.svg.png&w=640&q=50)
Webcrawler
Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert / aus Wikipedia, der freien encyclopedia
Liebe Wikiwand-AI, fassen wir uns kurz, indem wir einfach diese Schlüsselfragen beantworten:
Können Sie die wichtigsten Fakten und Statistiken dazu auflisten Webcrawler?
Fass diesen Artikel für einen 10-Jährigen zusammen
ZEIGE ALLE FRAGEN
![](http://upload.wikimedia.org/wikipedia/commons/thumb/e/ea/Disambig-dark.svg/25px-Disambig-dark.svg.png)
Dieser Artikel behandelt Webseitenanalyse-Programme, für die gleichnamige Suchmaschine siehe WebCrawler.
Ein Webcrawler (auch Spider, Searchbot oder Robot) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Webcrawler werden vor allem von Suchmaschinen zur Indexierung von Webseiten eingesetzt. Weitere Anwendungen sind das Sammeln von Web-Feeds, E-Mail-Adressen oder von anderen Informationen.
![Das Foto zeigt einen Graphen eines Webcrawls einer kleineren Webseite](http://upload.wikimedia.org/wikipedia/commons/thumb/d/d1/Schicksale_j%C3%BCdischer_Hofer_-_Kr%C3%A4ftebasiertes_Verzeichnisbaumdiagramm_20230611_001_FIX.svg/640px-Schicksale_j%C3%BCdischer_Hofer_-_Kr%C3%A4ftebasiertes_Verzeichnisbaumdiagramm_20230611_001_FIX.svg.png)
Webcrawler sind eine spezielle Art von Bots, also Computerprogrammen, die weitgehend automatisch sich wiederholenden Aufgaben nachgehen.