Branchenbuch

Firma eintragen

Logfile-Analysen: Was tun Crawler auf der Website?

F√ľr die Suchmaschinenoptimierung/SEO ist es wichtig zu wissen, wie sich der Crawler der Suchmaschine auf der eigenen Website verh√§lt: welche URL wird oft gecrawlt, welcher HTTP-Statuscode ausgegeben, was behindert die Indexierung der Website? Logfile-Analysen k√∂nnen hier hilfreiche Antworten liefern.

Logfiles, die Spuren der Besucher

Logfiles sind die aufgezeichneten Zugriffe auf einen Server. Ob Suchmaschine, User oder Tool, alle Zugriffe hinterlassen einen Eintrag im Logfile des Servers. W√§hrend das Nutzerverhalten mittlerweile besser mit Tools wie Google Analytics interpretiert werden kann, sind Logfiles f√ľr die Crawler-Analyse immer noch ein guter Ausgangspunkt.

Wenn der Crawler die Datei nicht findet

Werden Website-Inhalte vom Crawler erst spät gefunden und indexiert, ist dies ein Wettbewerbsnachteil, der durch SEO-Maßnahmen korrigiert werden kann. Dazu muss der Crawling-Engpass aber erst erkannt werden. Meist handelt es sich dabei um ein Mix verschiedener Probleme, die den Bot an der Indexierung hindern.

Logfiles des Crawlers können gefiltert werden

√úber die Reverse-DNS-Lookup der Windows Console kann √ľber die Server-IP die Herkunft einer Anfrage als Googlebot bestimmt werden. Da die Zahl der Zugriffe aber Regionen erreichen kann, die kaum noch zu validieren sind, wird bei √ľber 10 Mio. Zugriffen des Googlebot innerhalb eines Monats nur noch der IP-Bereich 66.249.*.*. analysiert. Ein Vergleich der Zugriffe mit den ‚ÄöCrawl Statistiken‚Äė der Google-Search-Console empfiehlt sich an dieser Stelle. Je l√§nger der Betrachtungszeitraum und je umfangreicher die Daten, desto aussagekr√§ftiger sind Auff√§lligkeiten und ‚ÄöBottlenecks‚Äė im Crawling-Verhalten.

Userdaten zusammenfassen und extrahieren

Mit der Windows Console, GREP oder Terminal f√ľr Mac-User lassen sich die Daten zusammenfassen und auswerten. Dabei sind insbesondere Zugriffsdatum und Zeit, die vollst√§ndige Anfrage, Statuscode, Gr√∂√üe und der Useragent interessant. Mit Logfile-Analyse-Tools wie Screaming-Frog-Analyzer k√∂nnen die Datenelemente in weitere Bestandteile zerlegt werden.

Statuscode signalisiert strukturelle Schwierigkeiten

Der Statuscode ist die erste Antwort, die ein Crawler bei einem Seitenabruf erh√§lt. Er teilt die Erreichbarkeit oder eine Weiterleitung einer URL mit, aber auch, wenn √ľberm√§√üig viele URL nicht mit dem regul√§ren 200er-Code aufgerufen werden. Weiterleitungen mit 301-Code sind zwar √ľblich, belasten aber das Crawelbudget. Tempor√§re 302-Weiterleitungen werden oft f√ľr permanente Weiterleitungen benutzt, wodurch die Ranking-Signale nicht auf die Ziel-URL √ľbertragen werden. Zahlreiche 404-Codes f√ľr nicht auffindbare Inhalte k√∂nnen auf strukturelle Probleme der Website hinweisen. Weitere Statuscodes im 5er-Bereich deuten auf Schwierigkeiten mit der Serverarchitektur hin.

Parameter können Crawlereffizienz schwächen

Parameter f√ľr die Generierung spezieller Inhalte werden vom Crawler case-sensitiv interpretiert. Das bedeutet, dass jede Abweichung wie Gro√ü- oder Kleinschreibung neu mit den einzelnen URL kombiniert wird. Solche URL m√ľssen von der Indexierung ausgeschlossen werden, da sie Duplicate Content erzeugen und die Crawlereffizienz einschr√§nken.

Weitere Spuren des Bots verraten viel √ľber die Website-Sichtbarkeit

Weitere interessante Punkte, die sich aus einer Logfile-Analyse ergeben sind die Crawlfrequenz, die Crawltiefe in den Verzeichnissen, der Aufruf irrelevanter URLs oder die Frage ob Bing und Google beim Crawlen zu unterschiedlichen Ergebnissen kommen. Auch das h√§ufigere Crawlen responsiver Websites im Rahmen von Googles Mobile-First-Index ist feststellbar. Weitere Analysedaten zu Traffic oder Backlinks lassen je nach Analyseziel weitere R√ľckschl√ľsse √ľber das Crawl-Verhalten zu.

Logfile-Analyse ist nur ein Teil der SEO-Optimierung

Um Websites im Hinblick auf ihre Indexierung zu optimieren, ist neben einer Logfile-Analyse aber stets ein enger Zusammenhang mit SEO-abgestimmten Content und weiteren On- und Offpage-Maßnahmen erforderlich.

Die Kommentarfunktion ist geschlossen.

¬© 2006‚Äď2018 European Business Connect