REP


Robots Exclusion Protocol

Roboter-Ausschluss-Protokoll

Mit Robots sind hier Suchprogramme gemeint, die eigenständig die WWW-Seiten des Internets durchsuchen und indizieren können. Dabei belasten sie natürlich den abgefragten Server. Besonders außer Kontrolle geratene Robots können beträchtlichen Ärger verursachen. Außerdem sind nicht alle ins Internet gestellten Informationen wirklich für die breite Allgemeinheit bestimmt. Daher hat sich mit REP eine Art Quasistandard herausgebildet, mit dem Robots von eigenen Seiten ferngehalten werden können. Die Programmierer der Roboter müssen diese freiwillige Vereinbarung unterstützen. Will man den REP benutzen, so legt man in das Home-Verzeichnis des HTML-Servers eine Datei robots.txt. In dieser wird nach dem REP festgelegt, was ein Roboter auf der jeweiligen Website darf und was nicht.

0-9|A|B|C|D|E|F|G|H|I|J|K|L|M|N|O|P|Q|R|S|T|U|V|W|X|Y|Z|alle

Suche im Lexikon nach im

 

Fachartikel

Ende-zu-Ende-Monitoring [22.01.2018]

Oft fällt ein Problem mit einer Anwendung erst dann auf, wenn Anwender die IT-Abteilung darauf hinweisen. Zwar setzen viele Unternehmen bereits Monitoringsysteme ein, allerdings überwachen diese in der Regel nur die Infrastruktur. Erst das Monitoring und Problemmanagement auf Applikationsebene verschafft den nötigen Durchblick. [mehr]

Grundlagen

Distributed File System Replication [1.12.2017]

Die Distributed File System Replication ist seit vielen Server-Versionen ein probates Mittel, um freigegebene Dateibestände hochverfügbar zu machen oder bandbreitenschonend zwischen Standorten zu replizieren. Die Distributed File System Replication ist seit vielen Server-Versionen ein probates Mittel, um freigegebene Dateibestände hochverfügbar zu machen oder bandbreitenschonend zwischen Standorten zu replizieren. Doch ganz ohne Hürden kommt die Technologie nicht daher. [mehr]