Crawler

Was ist ein Crawler?

Crawler oder auch Webcrawler, sind Programme die im Internet genutzt werden. Diese Crawler gehen Links nach und sammeln Daten von Webseiten zum Beispiel für Suchmaschinen wie Google.