Am 14. September 2017 haben wir eine überarbeitete Fassung unserer Datenschutzrichtlinie veröffentlicht. Wenn Sie video2brain.com weiterhin nutzen, erklären Sie sich mit diesem überarbeiteten Dokument einverstanden. Bitte lesen Sie es deshalb sorgfältig durch.

SEO: Onpage-Optimierung

Robots.txt

LinkedIn Learning kostenlos und unverbindlich testen!

Jetzt testen Alle Abonnements anzeigen
Lassen Sie sich erklären, wozu die Datei "robots.txt" dient und welche Informationen Sie darin hinterlegen können.
03:14

Transkript

Die robots.txt ist der erste Kontaktpunkt zwischen einer Suchmaschine und Ihrer Internetseite. Ich erkläre Ihnen in diesem Video was die robots.txt ist und worauf Sie bei der Einstellung achten sollten. Die robots.txt definiert den den Robots-Exlusion-Standard. Das bedeutet in der robots.txt werden Zugriffsregeln für unterschiedliche Crawler definiert. Als Betreiber einer Internetseite halten Sie mit der robots.txt die Möglichkeit einzelne Dokumente, Verzeichnisse oder sogar Ihre ganze Domain für Suchmaschine auszuschließen. Die Standards regeln, weil Sie keine robots.txt auf Ihrem Webserver abgelegt haben, daß jeder Crawler jedes Ihrer Dokumente indexieren und analysieren darf. Jedoch keines Vorkommens, daß Sie bestimmte Verzeichnisse, die, z.B. Bilder inhalten, nicht in Suchmaschinen im nächsten aufgelassen möchten. Über die Definition einfacher Regeln erreichen Sie innerhalb der robots.txt genau dieses Verhalten. Jedoch sollten Sie beachten, daß es auch großartige Crawler im Internet gibt. Aus diesem gründenden Ausschluss, z. B. von einem Administrationsoberflache in der robots.txt keine sichere Maßnahme um Zugriffe auf diesem Bereich zu verhindern Wenn Sie sible Daten auf Ihrem Server hosten, sollten diese nur nach Eingabe eines Nutzernamens und eines Passwords erreichbar sein. Doch welche Eingaben können Sie innerhalb der robots.txt vornehmen? Die robots.txt muss dabei in ihm hopf- verzeichnesten Domain abgelegten werden und zieht auch nur für diese Domain. Falls Sie Subdomain besitzen, muss auf jeder Subdomain eine weitere robots.txt abgelegt werden. In dieser Robotsdatei können zeilenweise Information für den Crawler abgelegt werden. Zeilen, die mit einem Raute- zeichen beginnen, werden als Kommentare gewertet und nicht weiter analysiert. Sie können diese Kommentare z.B. nutzen, um Information über die Regeln einzutragen. Anweisungen für den Crawler bestehen aus mindestens zwei Zeilen. In der ersten Zeile wird definiert für für welchen Crawler die Anweisung gelten sollen. Das im Bespiel verwendete Sternchen bedeutet, daß diese Regel für alle Crawler, die die robots.txt aufrufen, gilt. Über den Befehl Disallow mit dem Slash wird festgelegt, daß der Zugriff auf alle Dokumente durch jeden Crawler verboten ist. Die vorgestellte Beispielanweisung ist für eine Verwendung innerhalb einer robots.txt nicht empfehlenswert, weil Sie dadurch sämtlichen Crawlern den Zugriff auf Ihrer Seite verbitten. Sie besitzen zudem die Möglichkeit mehrere Regeln für unterschiedliche Crawler zu definieren. Wenn wir in diesem Beispiel die folgenden Wildzeichen zufügen, allowen wir der Suchmaschine Google den Zugriff auf das Blogverzeichnis und alle darin enthaltenen Dokumente unterteilen. Eine weitere sehr wichtige Angabe, die die Robotsdatei ermöglicht, ist die Definition einer Sitemapdatei. Sie können eine oder mehrere Sitemaps definieren, indem Sie die Dokumente, die auf Ihrer Internetseite zu finden sind, auflisten. Beim Verbot von Zugriffen innerhalb der robots.txt sollten Sie darauf achten, daß auch gesperrte URLs im Index erscheinen können, wenn auf diesen Endlink gesetzt wurde. Über die robots.txt können Sie den Zugriff von Crawlern einschränken. Und Sie sollten darauf achten, daß auf jeder Subdomain eine robots.txt zu Verfügung gestellt wird.

SEO: Onpage-Optimierung

Lernen Sie, wie Sie durch gezielte Maßnahmen am Quellcode Ihrer Website deren Sichtbarkeit für Suchmaschinen erhöhen. Sie erfahren auch, welche Analyse-Werkzeuge dabei helfen.

2 Std. 5 min (38 Videos)
Derzeit sind keine Feedbacks vorhanden...
 
Exklusiv für Abo-Kunden
Erscheinungsdatum:19.02.2015
Aktualisiert am:27.04.2016

Dieser Online-Kurs ist als Download und als Streaming-Video verfügbar. Die gute Nachricht: Sie müssen sich nicht entscheiden - sobald Sie das Training erwerben, erhalten Sie Zugang zu beiden Optionen!

Der Download ermöglicht Ihnen die Offline-Nutzung des Trainings und bietet die Vorteile einer benutzerfreundlichen Abspielumgebung. Wenn Sie an verschiedenen Computern arbeiten, oder nicht den ganzen Kurs auf einmal herunterladen möchten, loggen Sie sich auf dieser Seite ein, um alle Videos des Trainings als Streaming-Video anzusehen.

Wir hoffen, dass Sie viel Freude und Erfolg mit diesem Video-Training haben werden. Falls Sie irgendwelche Fragen haben, zögern Sie nicht uns zu kontaktieren!