REP


Robots Exclusion Protocol

Roboter-Ausschluss-Protokoll

Mit Robots sind hier Suchprogramme gemeint, die eigenständig die WWW-Seiten des Internets durchsuchen und indizieren können. Dabei belasten sie natürlich den abgefragten Server. Besonders außer Kontrolle geratene Robots können beträchtlichen Ärger verursachen. Außerdem sind nicht alle ins Internet gestellten Informationen wirklich für die breite Allgemeinheit bestimmt. Daher hat sich mit REP eine Art Quasistandard herausgebildet, mit dem Robots von eigenen Seiten ferngehalten werden können. Die Programmierer der Roboter müssen diese freiwillige Vereinbarung unterstützen. Will man den REP benutzen, so legt man in das Home-Verzeichnis des HTML-Servers eine Datei robots.txt. In dieser wird nach dem REP festgelegt, was ein Roboter auf der jeweiligen Website darf und was nicht.

0-9|A|B|C|D|E|F|G|H|I|J|K|L|M|N|O|P|Q|R|S|T|U|V|W|X|Y|Z|alle

Suche im Lexikon nach im

 

Fachartikel

Loadbalancing in der AWS-Cloud [19.07.2017]

Pfad-basiertes Routing war bisher das Mittel der Wahl, um mit dem AWS Application Load Balancer ein Elastic Load Balancing für den Cloud-Traffic zu gewährleisten. Damit können Administratoren für jede Art Anfrage genau die passende Processing-Umgebung festlegen. Seit Kurzem gibt es jedoch im Kosmos von Amazon Web Services eine weitere Art des Routings. In unserem Fachartikel erklären wir im Detail, welche Funktionen sie bietet und wie die Administration aussieht. [mehr]

Grundlagen

Browser-Isolation mit Adaptive-Clientless-Rendering [27.06.2017]

Web-Browser gehören heute zu den wichtigsten Anwendungen in Unternehmen - damit allerdings auch zu den bedeutendsten Schwachstellen für Angriffe. Das simple Laden einer bösartigen Web-Site reicht aus, um das Endgerät des Nutzers zu kompromittieren und kann zur Installation von Malware, Datendiebstahl oder der Penetration von Firmennetzen führen. Neue Isolationstechniken versprechen Abhilfe. Dieser Grundlagen-Artikel erläutert, wie die Browser-Isolation mit Adaptive-Clientless-Rendering funktioniert. [mehr]