Robots Exclusion Protocol
Roboter-Ausschluss-Protokoll
Mit Robots sind hier Suchprogramme gemeint, die eigenständig die WWW-Seiten des Internets durchsuchen und indizieren können. Dabei belasten sie natürlich den abgefragten Server. Besonders außer Kontrolle geratene Robots können beträchtlichen Ärger verursachen. Außerdem sind nicht alle ins Internet gestellten Informationen wirklich für die breite Allgemeinheit bestimmt. Daher hat sich mit REP eine Art Quasistandard herausgebildet, mit dem Robots von eigenen Seiten ferngehalten werden können. Die Programmierer der Roboter müssen diese freiwillige Vereinbarung unterstützen. Will man den REP benutzen, so legt man in das Home-Verzeichnis des HTML-Servers eine Datei robots.txt. In dieser wird nach dem REP festgelegt, was ein Roboter auf der jeweiligen Website darf und was nicht.
