Eine Datei im Hauptverzeichnis eines Webservers, die den Robots (auch Webcrawler oder Spider, kurz Bot) mitteilt, welche Robots welche Verzeichnisse und Dateien einer Website indizieren dürfen.