Google Search Console Grundkurs

robots.txt-Tester

LinkedIn Learning kostenlos und unverbindlich testen!

Jetzt testen Alle Abonnements anzeigen
Ein wichtiges Analyse-Tool ist die Funktionsprüfung robots.txt-Tester. Erhalten Sie in diesem Video einen Überblick über diese Funktion und weiterführende Informationen zur robots.txt.

Transkript

Ich habe bereits Gründe für Crawling-Fehler mehrfach angesprochen, und ein sehr häufiger Fehler, da sieht man auch daran, dass GOOGLE diesem Bereich eine eigene Funktion widmet, sind unkorrekte oder falsche Einträge in der robots.txt-Datei. Und dafür gibt es hier diese Funktion "robots.txt-Tester". Stören Sie sich nicht daran, dass die Inhalte hier maskiert sind. Wichtig ist eigentlich eher, dass man hier unten erkennt, dass es 0 Fehler und 0 Warnmeldungen gibt. Eine weitere Information ist aber auch, dass Sie sich diese verfügbare robots.txt Ihrer Website-Live ansehen können. Aber in der Regel ist das sowieso das, was hier drinsteht. Sie können auch Einträge vornehmen und diese dann über den Button "Senden" neu an GOOGLE übermitteln und dann eben wieder schauen, entstehen Fehler oder nicht. Ich möchte an dieser Stelle gar nicht auf diese Funktion eingehen, obwohl sie wichtig ist, also viel kann man hier nicht machen. Man sieht nur, ob man Fehler hat oder nicht. Man muss diese beseitigen. Ich möchte Ihnen aber zusätzlich noch eine Informationsrede zur robots.txt überhaupt aufzeigen, und zwar finden Sie die unter der Website "wiki.selfhtml.org/wiki/ Grundlagen/Robots.txt/". Und hier ist es wirklich sehr schön aufgebaut. Im Übrigen ist das grundsätzlich eine tolle Seite, um HTML, CSS, JavaScript zu verstehen, sich da näher einzulesen, unter Anderem eben auch hier die robots.txt sich mal genauer zur Brust zu nehmen. So, hier finden Sie allgemeine Informationen, was es überhaupt ist und wo man das abspeichert und wie, zum Beispiel, auch eine solche robots.txt aufgebaut sein kann. Und hier sehen Sie, da gibt es also den Hinweis auf den User-agent, und diese Agents, User-agents, das sind die Webcrawler oder Bots, die sind damit gemeint, also hier in dem Beispiel auch mit meinem Robot. Hier können Sie also für ganz spezielle Suchmaschinenbots auch ganz spezielle Einschränkungen definieren. Das ist sehr viel. Aber ich würde jetzt mal aus der Hüfte geschossen behaupten, das machen sicherlich weniger Webmaster bei normalen Seiten, hat aber durchaus seine Berechtigung unter bestimmten Voraussetzungen. Ein ebenfalls sehr wichtiger Befehl ist an dieser Stelle "Disallow". "Disallow" bedeutet also, dass man einem User-agent, in dem Falle angegeben durch das Sternchen, allen Robots, also allen Bots verbietet, auf "fotos", "temp" und "fotoalbum.html" zuzugreifen. In der Kombination, wie es jetzt hier steht, ist das voraussichtlich so, dass es kein Problem verursacht, wenn in der HTML-Datei "fotoalbum" die einzigen Zugriffe auf die Datei "fotos" stattfinden. Und dann ist es richtig gemacht. Wenn man also sagt, dass diese HTML-Datei nicht indexiert werden soll und auch gar nicht etwas hier in diesem Ordner drin sich befindet und das die einzigen Zugriffe sind, dann ist es okay. Schwierigkeiten würde das aber machen, wenn viele weitere Fotos noch auf anderen Websiten, die in Ihrer Präsenz vorhanden sind, angezeigt werden und aus Fotos geladen werden müssen, denn jetzt bekommt ja der Googlebot die Information, dass er nicht hier drauf zugreifen darf, tut das auch nicht in dem Falle, und das würde aber zu falschen Renderinformationen führen und damit zu Crawling-Fehlern. Also hier muss man wirklich sinnvoll überlegen, was sperrt man, was öffnet man, und sich damit auch ein ganz klein wenig wirklich auseinandersetzen. Gehen wir mal etwas weiter runter. Hier gibt es dann verschiedene Beispiele und Reihenfolgen, dann die Hinweise zum Erlauben, Wildcards, Sitemaps und so weiter und so fort. Da, glaube ich, findet man alles drunter, was man braucht, um sich mit der robots.txt anzufreunden. Also noch einmal. Das ist eine wichtige Datei, vielleicht an der Stelle eine letzte Information. Die Informationen oder die Einträge in einer robots.txt-Datei, die sind nicht zwingend. Also Sie können nicht davon ausgehen, dass wenn Sie einem Bot verbieten, auf ein Verzeichnen zuzugreifen, dass das auch technisch gesehen verhindert wird. Es sind nur Informationen, die die Crawler annehmen oder eben nicht annehmen. Das liegt an dem Betreiber dieses Bots, und man kann natürlich auch davon ausgehen, dass wenn Sie jetzt unseriöse Bots haben, die vorbeischauen, die gibt es natürlich auch, dass die sich nicht dadrum scheren, was Sie in robots.txt reinschreiben, also das sollte man wissen. Ein Bot wie GOOGLE orientiert sich natürlich dadran. Das hat auch durchaus eine Gründe, weil man ja Verzeichnisinhalte vielleicht nicht in den Index haben will und somit ganz ausschließen möchte, dass die überhaupt in GOOGLE gelistet werden. Sie entlasten auch den Bot damit. Wenn das Inhalte sind, die keinen Sinn machen, braucht der Bot sich da auch nicht drum zu kümmern. Aber man muss sich wirklich Gedanken machen und das sorgfältig eintragen, damit es da nicht zu Konflikten kommt, die dann hinterher wieder zu Crawling-Fehlern führen.

Google Search Console Grundkurs

Lernen Sie mit der Google Search Console, auch als Webmaster Tools bekannt, Ihre Websites zu optimieren und Ihr Suchmaschinenranking zu verbessern.

2 Std. 57 min (30 Videos)
Derzeit sind keine Feedbacks vorhanden...
Exklusiv für Abo-Kunden
Erscheinungsdatum:02.05.2017

Dieser Online-Kurs ist als Download und als Streaming-Video verfügbar. Die gute Nachricht: Sie müssen sich nicht entscheiden - sobald Sie das Training erwerben, erhalten Sie Zugang zu beiden Optionen!

Der Download ermöglicht Ihnen die Offline-Nutzung des Trainings und bietet die Vorteile einer benutzerfreundlichen Abspielumgebung. Wenn Sie an verschiedenen Computern arbeiten, oder nicht den ganzen Kurs auf einmal herunterladen möchten, loggen Sie sich auf dieser Seite ein, um alle Videos des Trainings als Streaming-Video anzusehen.

Wir hoffen, dass Sie viel Freude und Erfolg mit diesem Video-Training haben werden. Falls Sie irgendwelche Fragen haben, zögern Sie nicht uns zu kontaktieren!