Dass Suchmaschinen das gesamte Internet durchforsten und die meisten Seiten indexieren, ist allgemein bekannt. Doch wie funktioniert das Crawling und die Indexierung eigentlich? Welche Crawler und Suchmaschinenbots Eure Webseiten besuchen, könnt Ihr in den Logfiles Eures Servers erkennen. Dort hinterlässt jeder Crawler oder Besucher „Fußspuren“. Ihr seht, mit welcher IP-Adresse zu welcher Uhrzeit welche Seite […]
↧