Startseite » Robot.txt

Robot.txt

  • 2 min read
Robot.txt

Die Robot.txt ist eine Textdatei, in der alle Verzeichnisse hinterlegt sind, die von der Suchmaschine gelesen werden können. Im Gegenzug tauchen auch hier die Verzeichnisse auf, die der Suchmaschine verwehrt bleiben. Für den Crawler ist die Robot.txt Datei sehr wichtig. Sie werden als erstes diese Datei aufrufen, um sie aus zu lesen. Sie dient Ihnen als Anleitung, in welche Bereiche sie gehen und welche Bereiche sie auslassen. Von daher sollten Sie sich unbedingt mit der Robot.txt befassen und diese bestmöglich erstellen. In den Robot.txt Dateien können Unterverzeichnisse und Verzeichnisse sowie einzelne Dateien hinterlegt sein. In diesem Bereich hinterlassen Sie konkrete Informationen, welche Seiten der Googlebot durch suchen darf.

Woraus besteht die Robot.txt Datei?

Damit die Suchmaschinen die Robot.txt Datei wirklich finden können, sollte sie im Hauptverzeichnis jeder Domain angelegt werden. Wenn Sie die Datei an einer anderen Stelle speichern, wo die Suchmaschine diese nicht finden. Für jede Hauptthemen können Sie jeweils nur eine Robot.txt Datei anlegen. Die Robot.txt besteht aus zwei verschiedenen Bestandteilen zusammen, die eigentlich zusammen gehören. In einem ersten. Sprechen Sie den User Agenten an und benennen ihn beim Namen. Danach folgt dann der Befehl ebenfalls mit dem Namen der Verzeichnisse die nicht gelesen werden sollen oder gelesen werden sollen. Sie in einem ersten Punkt den Befehl, um den Google Board anzusprechen. Danach können Sie wiederum die exakte Bezeichnung einfügen. 

Wie erstellen Sie die Robot.txt Datei?

Mit dem Befehl disallow schließen Sie die betroffenen Dateien in der Robot.txt aus und mit allow Integrieren Sie alle Betroffenen Dateien. Dies dient als Unterstützung für den Crawler, der nun ganz sicher weiß, welche der Seiten er auf keinen Fall kraulen soll. Sie schützen ihre Webseite mit der Robot.txt Aber nicht grundlegend vor den Zugriffen. In diesem Fall sollten Sie ein Passwort für den Web Server festlegen und diese Bereiche abschirmen. Im Prinzip ist es einfach möglich die Datei im Browser aufzurufen. Sie tragen in der oberen Leiste die URL ein und dahinter folgt /robots.txt. Sie sollten sicherstellen, dass sie die Datei jeweils nur mit der Hauptthemen aufrufen können. Andernfalls kann es zu einer 404 Fehlermeldung kommen. Überprüfen Sie zunächst alle Weiterleitungen. Wenn eine Seite nicht erreichbar ist, sollte sie auch als solche ausgegeben werden, andernfalls wird sich das ganze negativ auf ihre Ranking aus.