Crawling


Ein Programm der Suchmaschine z.B. Spider oder Bots, analysieren vollautomatisch alle Webseiten und legen die Ergebnisse in der Datenbank ab.

8. Februar 2019

Crawling

Webseiten wie Google, also primär Suchmaschinen in unserem Fall, crawlen Webseiten. Ein Programm der Suchmaschine z.B. Spider oder Bots, analysieren vollautomatisch alle Webseiten und legen die Ergebnisse in der Datenbank ab. Wenn Ihre Seite gecrawlt wurde ist sie im Verzeichnis von Google angekommen. Wenn Ihre Webseite noch nicht gecrawlt wurde ist sie noch nicht bei der Googlesuche zu finden.

Mit der robots.txt oder speziellen Meta Tags im Header Ihrer Seite wie noindex, kann man die Aufnahme einer Seite im Googleindex verhindern. Dies ist sinnvoll wenn es sich um nicht relevante Daten handelt wie Datenblätter oder die AGBs.

About Brockschmidt
Hier schreibt Patrick Brockschmidt Inhaber der Werbeagentur Rockstarroom. Ich arbeite seit mehr als 15 Jahren im Bereich Webdesign, SEO sowie SEA. Neben Webseiten und WordPress kümmere ich mich am liebsten um die SEO-Optimierung und SEA-Vermarktung der Projekte.