Die robots.txt – Datei

Robots.txt ist eine Textdatei, die normalerweise von Webmastern erstellt (aber oft vergessen) wird, um Web-Robots (normalerweise Suchmaschinen-Robots) anzuweisen, Seiten auf ihrer Website zu crawlen. Die Datei robots.txt gibt an, wie Robots eine Website crawlen, auf Inhalte zugreifen und diese indexieren und diese Inhalte den Nutzern bereitstellen müssen. In der Praxis geben robots.txt-Dateien an, ob bestimmte User-Agents (Web-Crawling-Software) Teile einer Website crawlen können oder nicht. Diese Crawling-Anweisungen werden durch „Verbieten“ (diesallow) oder „Erlauben“ (allow) des Verhaltens bestimmter (oder aller) Benutzeragenten festgelegt.

Wo liegt die robots.txt?

Die robots.txt liegt idealerweise im Hauptverzeichnis einer Installation.

Aufruf der robots.txt

Die robots.txt rufen Sie wie folgt auf:

https://domain/robots.txt

robots.txt-Tester von Google

Vorabbemerkung: zur Nutzung dieses Tools sollten Sie die betreffende Seite bei der Google Search Console hinterlegt haben. Ist dies geschehen, dann erreichen Sie den robots.txt-Tester unter der Adresse

https://www.google.com/webmasters/tools/robots-testing-tool?utm_source=support.google.com/webmasters/&utm_medium=referral&utm_campaign=%206062598

Sie können nun eine Property auswählen, die Sie bei der Google Search Console hinterlegt haben. Anschließend testet das Tool ob eine robots.txt vorhanden ist, ob diese erreichbar ist und ob eventuell Fehler enthalten sind.

Das Ergebnis kann wie folgt aussehen: