Crawling


Ein Programm der Suchmaschine z.B. Spider oder Bots, analysieren vollautomatisch alle Webseiten und legen die Ergebnisse in der Datenbank ab.

Crawling

Webseiten wie Google, also primär Suchmaschinen in unserem Fall, crawlen Webseiten. Ein Programm der Suchmaschine z.B. Spider oder Bots, analysieren vollautomatisch alle Webseiten und legen die Ergebnisse in der Datenbank ab. Wenn Ihre Seite gecrawlt wurde ist sie im Verzeichnis von Google angekommen. Wenn Ihre Webseite noch nicht gecrawlt wurde ist sie noch nicht bei der Googlesuche zu finden.

Mit der robots.txt oder speziellen Meta Tags im Header Ihrer Seite wie noindex, kann man die Aufnahme einer Seite im Googleindex verhindern. Dies ist sinnvoll wenn es sich um nicht relevante Daten handelt wie Datenblätter oder die AGBs.

Wer schreibt hier? Brockschmidt
0800 64 80 890
Der Autor ist Spezialist für WordPress Webseiten, SEO und SEA Maßnahmen. Rockstarroom ist eine inhabergeführte Marketingagentur und Werbeagentur, die Unternehmen hilft, sich wirkungsvoll zu präsentieren. Unser Agenturschwerpunkt ist die Konzeption und Realisierung von komplexen Projekten mit kurzer Time-to-Market und die Platzierung und Steigerung der Umsätze im E-Commerce.