Crawling

Webseiten wie Google, also primär Suchmaschinen in unserem Fall, crawlen Webseiten. Ein Programm der Suchmaschine z.B. Spider oder Bots, analysieren vollautomatisch alle Webseiten und legen die Ergebnisse in der Datenbank ab. Wenn Ihre Seite gecrawlt wurde ist sie im Verzeichnis von Google angekommen. Wenn Ihre Webseite noch nicht gecrawlt wurde ist sie noch nicht bei der Googlesuche zu finden.

Mit der robots.txt oder speziellen Meta Tags im Header Ihrer Seite wie noindex, kann man die Aufnahme einer Seite im Googleindex verhindern. Dies ist sinnvoll wenn es sich um nicht relevante Daten handelt wie Datenblätter oder die AGBs.