Die Datei „robots.txt“ ist eine Textdatei, die Suchmaschinen-Robotern (Crawlers) Anweisungen gibt, welche Teile deiner Website sie durchsuchen und indexieren dürfen und welche nicht. Mit dieser Datei kannst du steuern, welche Seiten in den Suchergebnissen erscheinen und welche nicht. Du könntest beispielsweise verhindern, dass bestimmte private oder nicht relevante Seiten in den Suchergebnissen angezeigt werden. Die „robots.txt“-Datei liegt im Stammverzeichnis deiner Website und wird von Suchmaschinen gelesen, bevor sie mit dem Crawlen beginnen. Sie ist ein nützliches Werkzeug, um den Zugriff auf sensible oder irrelevante Bereiche deiner Seite zu kontrollieren, wie etwa Admin-Seiten oder Seiten, die gerade entwickelt werden. Beispiel: Du entwickelst einen neuen Bereich auf deiner Website, der noch nicht fertig ist und nicht in den Suchmaschinen erscheinen soll. Du trägst diesen Bereich in die „robots.txt“-Datei ein, damit Google und andere Suchmaschinen diesen Teil deiner Seite nicht indexieren und in den Suchergebnissen anzeigen.