REP


Robots Exclusion Protocol

Roboter-Ausschluss-Protokoll

Mit Robots sind hier Suchprogramme gemeint, die eigenständig die WWW-Seiten des Internets durchsuchen und indizieren können. Dabei belasten sie natürlich den abgefragten Server. Besonders außer Kontrolle geratene Robots können beträchtlichen Ärger verursachen. Außerdem sind nicht alle ins Internet gestellten Informationen wirklich für die breite Allgemeinheit bestimmt. Daher hat sich mit REP eine Art Quasistandard herausgebildet, mit dem Robots von eigenen Seiten ferngehalten werden können. Die Programmierer der Roboter müssen diese freiwillige Vereinbarung unterstützen. Will man den REP benutzen, so legt man in das Home-Verzeichnis des HTML-Servers eine Datei robots.txt. In dieser wird nach dem REP festgelegt, was ein Roboter auf der jeweiligen Website darf und was nicht.

0-9|A|B|C|D|E|F|G|H|I|J|K|L|M|N|O|P|Q|R|S|T|U|V|W|X|Y|Z|alle

Suche im Lexikon nach im

 

Fachartikel

Einführung in das Monitoring mit Wireshark (4) [23.04.2018]

Das Monitoring inklusive der notwendigen Detailanalyse des Datenverkehrs im Netzwerk ist ohne ein leistungsfähiges Analysesystem unmöglich. Eines der wichtigsten Netzwerktools für jeden Administrator ist Wireshark – ein Open Source-Netzwerkanalysator, mit dem Sie alle Pakete im Netzwerk aufzeichnen und die Paketinhalte detailliert analysieren. Im vierten Teil der Workshopserie dreht sich alles darum, wie Sie VoIP-Verbindungen unter die Lupe nehmen. [mehr]

Grundlagen

Distributed File System Replication [1.12.2017]

Die Distributed File System Replication ist seit vielen Server-Versionen ein probates Mittel, um freigegebene Dateibestände hochverfügbar zu machen oder bandbreitenschonend zwischen Standorten zu replizieren. Die Distributed File System Replication ist seit vielen Server-Versionen ein probates Mittel, um freigegebene Dateibestände hochverfügbar zu machen oder bandbreitenschonend zwischen Standorten zu replizieren. Doch ganz ohne Hürden kommt die Technologie nicht daher. [mehr]