Am 14. September 2017 haben wir eine überarbeitete Fassung unserer Datenschutzrichtlinie veröffentlicht. Wenn Sie video2brain.com weiterhin nutzen, erklären Sie sich mit diesem überarbeiteten Dokument einverstanden. Bitte lesen Sie es deshalb sorgfältig durch.

Google Search Console Grundkurs

Auswertung der Crawling-Statistik

LinkedIn Learning kostenlos und unverbindlich testen!

Jetzt testen Alle Abonnements anzeigen
Da es keine "gute" Crawling-Frequenz gibt, betrachtet man bei der Auswertung dieser Statistik in erster Linie steigende oder sinkende Crawling-Frequenzen. In diesem Video lernen Sie mögliche Gründe für einen Anstieg oder einen Abfall kennen.

Transkript

Die Crawling-Statistiken stellen Informationen zur Aktivität des Googlebotes bereit, und die finden Sie hier durch ein Klicken dieses Menüpunktes. Sie zeigen, wie oft und in welcher Frequenz innerhalb der letzten 90 Tage Ihre Website gecrawlt wurde. Zur Erfassung dieser Statistik werden alle relevanten Inhaltstypen einbezogen, die von einem Webserver heruntergeladen werden könnten, also auch beispielsweise CSS-Dateien, JavaScript-Files, Grafiken et cetera. Da dieser Menüpunkt keine wirklich relevante Interaktion ermöglicht, geht es also hier lediglich um die Auswertung dieser Diagramme, und diese möchte ich in diesem Video kurz beschreiben. Wir haben also drei Diagramme: einmal die pro Tag gecrawlten Seiten, dann die pro Tage heruntergeladenen Kilobyte und die Dauer des Herunterladens einer Seite (in Millisekunden). Oft werde ich gefragt, welche Crawling-Frequenz denn eigentlich die richtige sei oder wie oft der Bot denn vorbeischauen müsse. Und dazu kann man keine Antwort geben, denn es gibt keine gute Crawling-Frequenz. Die einzige Aussage, die man treffen kann, bezieht sich auf die Gleichmäßigkeit dieser Diagramme. Und aus diesem Grund werden Ihnen auch die Werte in Zahlen hier rechts neben dem Diagramm angezeigt. Hier sollte es immer ein gleichmäßiges Verhältnis geben, und das ist genau das, was Sie eventuell auch noch separat in einer Tabelle beispielsweise sich über einen längeren Zeitraum wie 90 Tage notieren sollten. Sie halten also an dieser Stelle Ausschau nach signifikantem Anstieg oder Abfall der Crawling-Frequenz, Und sobald diese auftauchen, müssen Sie versuchen, die Ursache zu finden. Betrachten wir zunächst einmal die Gründe, warum die Besuche des Crawlers nach unten gehen können. Gründe dafür können vielfältig sein, und aus diesem Grund habe ich eine Präsentation vorbereitet, die ich Ihnen an dieser Stelle kurz zeigen möchte. Die Senkung der Crawling-Frequenz kann, und das ist ganz häufig sogar der Fall, durch technische oder syntaktische Fehler Ihrer Webpräsenz entstehen. Gemein sind also hier Fehler, die beispielsweise durch fehlerhaften HTML-Code oder fehlerhafte Programmierung entstehen, denn wenn der Googlebot die Seite nicht pausen, also nicht interpretieren kann, so kann er sie auch nicht crawlen. Und möglicherweise kann ein solcher Fehler durch nicht unterstützte Medientypen hervorgerufen werden, also die der Crawler eben nicht interpretieren kann. Oder aber die Website besteht nur aus einer Grafik. Es gibt gar keinen Text, und damit auch wieder keine Interpretationsmöglichkeit. Ein weiterer Grund ist die Geschwindigkeit Ihrer Webpräsenz. Wenn diese sich senkt oder diese grundsätzlich zu langsam ist, dann verringert auch der Bot seine Zugriffsfrequenz einfach aus dem Grund heraus, um den Server nicht weiter zu belasten. Und genau das passiert auch im Wesentlichen, wenn Crawling-Fehler über einen längeren Zeitraum nicht beseitigt werden. Auch hier muss man jetzt herausfinden, woher die Crawling-Fehler kommen. Dafür gibt es hier den entsprechenden Menüpunkt. Und wenn diese über einen längeren Zeitraum bestehen bleiben oder sogar gravierend sind, also fehlerhafte robots. txt-Einträge, der Webserver ist nicht erreichbar und dergleichen, dann sagt der Crawler sich, natürlich auch der Bot sagt sich: "Dann brauche ich auch nicht so häufig vorbeikommen, wenn die Fehler nicht beseitigt werden". Sie senken manuell die Crawling-Frequenz beispielsweise in der sitemap.xml. Ich habe in einem vorherigen Video dazu schon Stellung bezogen und gesagt, dass man die Zugriffshäufigkeit einstellen sollte. Pauschal jetzt an dieser Stelle möchte ich das aber noch einmal ein wenig revidieren. Ich bin persönlich der Meinung, dass man dem Bot selber die Entscheidungen, mit welcher Frequenz er darauf zugreift, überlassen sollte. Weil man sonst, wenn man das manuell definiert, ob an dieser Stelle oder auf einer Art und Weise man eben diese signifikanten Ausschlägen nicht so einfach oder nicht so relevant herausfinden kann. Also diese Werte möglichst dem Crawler selber überlassen, ist in den meisten Fällen die bessere Variante, es sei denn, und das ist die Ausnahme, die ich auch in dem vorherigen Video meinte, Sie wissen ganz genau, was auf der Website geschieht, und Sie wissen, es gibt nur eine Änderung in einem Monat, dann kann man das überlegen, aber pauschal würde ich Ihnen davon abraten, lassen Sie den Crawler selbst entscheiden, wann er vorbeikommt und wann nicht. Wenn Ihre Website nicht aktuell genug ist, also nicht regelmäßig aktualisiert wird oder die inhaltliche Qualität Ihrer Seite eher zweifelhaft ist, dann wird der Crawler ebenfalls seine Zugriffsfrequenz senken. Ich denke mal, bei dem ersten Grund wird es direkt deutlich, wenn der Crawler x-mal vorbeikommt und feststellt, dass sich nichts verändert, dass die Seite seit einem halben Jahr, seit zwei Jahren, seit drei Jahren nicht mehr aktualisiert wird, dann sagt sich GOOGLE auch: "Okay, hier brauchen wir nicht mehr so viel Wert drauf zu legen." "Wir senken einfach die Crawling-Frequenz". Und da sieht man auch, wie schlecht das im Großen und Ganzen ist, denn das hat auch Einfluss auf den PageRank, und damit muss man auch immer wieder sagen: "Wenn Sie Online-Präsenzen haben, pflegen Sie sie, und pflegen Sie sie regelmäßig". Man kann schlecht eine Aussage darüber treffen, wie oft das geschehen muss. Aber wöchentliche Aktualisierungen sind sicherlich nicht verkehrt, wenn man sie leisten kann. Und dann gibt es natürlich noch die auch schon im Großen und Ganzen bei den Crawling-Fehlern angesprochenen Probleme, die durch die robots.txt hervorgerufen werden. Auch das findet in der Praxis sehr häufig statt. Es wird ein Verzeichnis beschränkt oder der Zugriff in der robots.txt wird für ein Verzeichnis verboten, und diesen Zugriff braucht aber der Bot, um korrekt Mediendaten abrufen zu können beispielsweise, und auch dann, wenn dieser Fehler nicht beseitigt wird, dann senkt der Crawler die Zugriffsfrequenz. So weit zu den Gründen der Senkung der Crawling-Frequenz. Kommen wir noch ganz kurz auf eine ansteigende, auf Gründe für ansteigende Crawling-Frequenz. Nun die sind im Grunde relativ einfach zu beantworten. Meistens liegt der Grund darin, dass Sie mehr und neue Informationen veröffentlichen. Und wenn das auch noch sehr hilfreiche Informationen sind, die Besucherzahlen steigen, die Besuchsdauer steigt, dann wird der Crawler auch darauf aufmerksam und sagt, es ist alles klar. Hier muss ich öfters vorbeischauen, weil hier passiert ja auch etwas. Es gibt ein paar negative Gründe. Das kann, zum Beispiel, auch sein, dass die Zugriffe nicht durch den Googlebot, sondern durch einen anderen Bot hervorgerufen werden. Und um sicherzustellen, dass der Googlebot und kein anderer Anforderungssteller auf Ihrer Website zugreift, sollten Sie in die Crawling-Statistiken überprüfen in Ihrer Websitenstatistik. Hier kann man herausfinden, wer greift denn wirklich extrem auf meine Seite zu, denn es zu viele sind oder wenn es sogar Spambot sind, dann sinkt sich natürlich auch die Leistung Ihrer Website, und wir haben eben gelernt, dass bei fallender Leistung des Webservers auch der Crawler seine Tätigkeit wieder einstellt. Das wollen wir im Grunde vermeiden. Diverse Möglichkeiten in der Analogie gibt es natürlich auch, dass man dem Bot seine Zugriffe verweigern muss gerade dann, wenn es auch zu häufig wird. Und Gründe sind hier halt, dass man, zum Beispiel, Websitenkalender in Form von Plug-ins implementiert hat, also sogenannte unendliche Kalender oder unendliche Suchseiten. Und solche Zugriffe, solche Seiten sollten in der robots.txt dann blockiert werden, dass der Crawler da nicht durcheinander wird. Ja, und im Wesentlichen kennen Sie nun die Gründe, die Basisgründe zur Interpretation, und das Ganze muss natürlich ein wenig individuell jeweils auf die persönliche Seite umgesetzt werden.

Google Search Console Grundkurs

Lernen Sie mit der Google Search Console, auch als Webmaster Tools bekannt, Ihre Websites zu optimieren und Ihr Suchmaschinenranking zu verbessern.

2 Std. 57 min (30 Videos)
Derzeit sind keine Feedbacks vorhanden...
 
Exklusiv für Abo-Kunden
Erscheinungsdatum:02.05.2017

Dieser Online-Kurs ist als Download und als Streaming-Video verfügbar. Die gute Nachricht: Sie müssen sich nicht entscheiden - sobald Sie das Training erwerben, erhalten Sie Zugang zu beiden Optionen!

Der Download ermöglicht Ihnen die Offline-Nutzung des Trainings und bietet die Vorteile einer benutzerfreundlichen Abspielumgebung. Wenn Sie an verschiedenen Computern arbeiten, oder nicht den ganzen Kurs auf einmal herunterladen möchten, loggen Sie sich auf dieser Seite ein, um alle Videos des Trainings als Streaming-Video anzusehen.

Wir hoffen, dass Sie viel Freude und Erfolg mit diesem Video-Training haben werden. Falls Sie irgendwelche Fragen haben, zögern Sie nicht uns zu kontaktieren!