von Redaktion IT-A…
Lesezeit
3 Minuten
Alles im Blick durch aktives Logmanagement
Je komplexer IT-Umgebungen sind, desto schwerer ist es für Systemadministratoren und Entwickler, die Funktion und Sicherheit von Anwendungen und der damit verbundenen IT-Infrastruktur zu gewährleisten. Um dieser Herausforderung zu begegnen, wurde das Logmanagement mit dem Vorsatz entwickelt, die Überwachung und Fehlerbehebung für Systemadministratoren und Entwickler durch einen verbesserten Einblick zu vereinfachen und zu verbessern. Ziele sind eine verkürzte Reaktionszeit sowie eine Steigerung der Performance.
Alle Anwendungen eines Unternehmens müssen jederzeit einwandfrei arbeiten, ob nun die eigene Software auf Kundenrechnern oder selbst genutzte Applikationen wie etwa ein Mailing-Programm. Eventuelle Ausfälle müssen darüber hinaus sehr zeitnah behoben werden. Im Umfeld der IT-Sicherheit ist die Lage keineswegs besser. Auch hier stehen nicht ausreichend IT-Kräfte zur Verfügung. Trotzdem müssen IT-Teams auf die zunehmend raffinierteren Angriffe reagieren können. Ein guter Ansatz hierfür ist, die Infrastruktur mit ihren Bestandteilen und Prozessen so gut es geht transparent zu halten. Wesentlich hierfür sind Logdateien, die die Anwendungen während ihrer Funktion erstellen.
Logdateien fallen nicht nur gelegentlich an und die IT-Experten können Sie nicht in Ruhe einzeln analysieren. Dazu ist ihr Aufkommen in einer IT-Infrastruktur einfach zu hoch. Dies bedeutet, dass Administratoren um eine Automatisierung dieses Prozesses kaum herumkommen. Doch glücklicherweise sind bereits Werkzeuge hierfür auf dem Markt verfügbar. Diese wenden sich typischerweise an Systemadministratoren aber auch DevOps-Spezialisten, die die IT-Infrastruktur und Anwendungen instand halten und in der Fehlerbehebung tätig sind. Mit der effizienten Auswertung von Protokollen können Administratoren kritische Fehler, Bugs und Sicherheitsbedrohungen erkennen, die die Leistung und Benutzerfreundlichkeit der IT einschränken oder gefährden könnten.
Logwerkzeug basierend auf ELK-Stack
Ein Kriterium bei der Wahl einer Lösung zur Auswertung von Logdateien ist, ob sie auf Open-Source-Software basiert. Diese ist meist transparenter als proprietäre Lösungen und verhindert, dass der Anwender sich zu sehr an einen einzelnen Anbieter bindet. So kann er jederzeit von einem Open-Source-Anbieter zum nächsten wechseln und bleibt selber flexibel.
Wie kann eine solche Lösung aussehen? Ein Beispiel hierfür ist die Lösung des israelischen Anbieters Logz.io, den das Venture-Capital-Unternehmen Next47 als Teil des Siemens-Konzerns fördert. Technisch basiert sie auf der ELK-Plattform. Diese ist nach ihren Komponenten Elasticsearch, Logstash und Kibana benannt. Elasticsearch ist eine auf Lucene basierende Suchmaschine, die in Java erstellt wurde. Sie speichert Dokumente in einem NoSQL-Format und ist eine der am weitesten verbreiteten Suchmaschinen. Gleichzeitig kann sie auf einem Rechnerverbund ausgeführt werden.
Für die Verarbeitung zuständig sind die Module Logstash und Beats, die Protokolldaten aus verschiedenen Servern auslesen und die Resultate nach Kibana exportieren, wo diese unter anderem mittels Dashboards visualisiert werden. Dabei handelt es sich um ein Plug-in für Elasticsearch, das unter anderem große Datenmengen mittels Balken-, Linien-, Streu- oder Kreisdiagrammen verdeutlicht. Außerdem bietet Kibana mit Canvas ein Werkzeug, mit dem Benutzer Präsentations-Slides erstellen können, die ihre Daten direkt aus Elasticsearch beziehen. Logstash stellt dabei einen Input-Stream zu Elasticsearch zur Verfügung. Für die Darstellung von Metriken und Zeitreihenvisualisierungen kommt Grafana zum Einsatz.
Vielseitig integrierbar und cloudfähig
Die Entwickler des Werkzeugs haben bei der Konzeption ihrer Lösung auf eine hohe Interoperabilität geachtet. Sie lässt sich mit jeder Datenquelle integrieren, indem sie eine Vielzahl von verschiedenen Integrationen für verschiedene Anwendungen und Plattformen verwendet, etwa Appender und Native Data Shipper.
Zusätzlich kann Logz.io in mehreren Netzwerken gleichzeitig zum Einsatz kommen. Hier ist die Aggregation von Daten, die aus mehreren Quellen stammen, möglich. Dies schließt beispielsweise Anwendungen, die über Netzwerke verteilt sind, mit ein. Dabei ist der Einsatz in mehreren Regionen verschiedener Cloudsysteme wie etwa AWS und Azure denkbar.
Nutzung von künstlicher Intelligenz und Big Data
Um noch bessere Ergebnisse bereitstellen zu können, kombiniert Logz.io menschliche Interaktion mit maschinellem Lernen, das Hunderte von verschiedenen Datenarten und Repositorien online prüft und mit Protokollen abgleicht, die bereits im System aufgenommen wurden. Einmal identifiziert, werden diese Ereignisse markiert und zusammen mit ausführbaren und kontextbezogenen Informationen angezeigt, die den Administratoren bei der schnellen Problembehebung helfen.
Aber auch Big-Data-Methoden finden bei der Erkenntnisfindung Berücksichtigung. Hier dient der Data Optimizer der Integration von Big-Data-Systemen und nutzt die Terabytes an Maschinendaten, die ohnehin automatisch anfallen. Doch während einige dieser Daten wichtige Informationen über die Leistung des Systems enthalten, ist der überwiegende Rest nicht immer zielführend. Die relevanten unter den in der Cloud gespeicherten Daten müssen identifiziert werden, da die Vorhaltung irrelevanter Informationen extrem teuer und unnötig ist.
Aus diesem Grund ermöglicht der Data Optimizer es den Benutzern, relevante Daten ohne Ablaufdatum in Konten zu speichern und zu aggregieren. Dazu kommen erweiterte Analysen und maschinelles Lernen zum Einsatz, um kritische Ereignisse zu identifizieren und zusammenzufassen. Auf diese Weise können Teams wählen, welche Daten sie länger speichern und wiederkehrende Daten aggregieren, um unnütze Daten und damit den erforderlichen Speicherplatz zu reduzieren.
Fazit
Die Vorteile der Nutzung einer automatisierten Logauswertung liegen auf der Hand. So können Administratoren einen kontinuierlichen Überblick über Anwendungen und die Infrastrukturen, auf denen sie ausgeführt werden, gewinnen. Ferner können Administratoren durch eine verbesserte Logauswertung andere IT-Teams unterstützen. Nicht zuletzt kann eine Logauswertung auch das IT-Budget schonen, indem eine Reihe von Analyse- und Optimierungswerkzeugen die Kosten für die Überwachung der IT-Ressourcen senkt, während die IT-Infrastruktur immer komplexer wird und das Datenvolumen zusammen mit den verwendeten Anwendungen ansteigt.
ln/Roi Rav-Hon, Core Team Lead bei Logz.io
Logdateien fallen nicht nur gelegentlich an und die IT-Experten können Sie nicht in Ruhe einzeln analysieren. Dazu ist ihr Aufkommen in einer IT-Infrastruktur einfach zu hoch. Dies bedeutet, dass Administratoren um eine Automatisierung dieses Prozesses kaum herumkommen. Doch glücklicherweise sind bereits Werkzeuge hierfür auf dem Markt verfügbar. Diese wenden sich typischerweise an Systemadministratoren aber auch DevOps-Spezialisten, die die IT-Infrastruktur und Anwendungen instand halten und in der Fehlerbehebung tätig sind. Mit der effizienten Auswertung von Protokollen können Administratoren kritische Fehler, Bugs und Sicherheitsbedrohungen erkennen, die die Leistung und Benutzerfreundlichkeit der IT einschränken oder gefährden könnten.
Logwerkzeug basierend auf ELK-Stack
Ein Kriterium bei der Wahl einer Lösung zur Auswertung von Logdateien ist, ob sie auf Open-Source-Software basiert. Diese ist meist transparenter als proprietäre Lösungen und verhindert, dass der Anwender sich zu sehr an einen einzelnen Anbieter bindet. So kann er jederzeit von einem Open-Source-Anbieter zum nächsten wechseln und bleibt selber flexibel.
Wie kann eine solche Lösung aussehen? Ein Beispiel hierfür ist die Lösung des israelischen Anbieters Logz.io, den das Venture-Capital-Unternehmen Next47 als Teil des Siemens-Konzerns fördert. Technisch basiert sie auf der ELK-Plattform. Diese ist nach ihren Komponenten Elasticsearch, Logstash und Kibana benannt. Elasticsearch ist eine auf Lucene basierende Suchmaschine, die in Java erstellt wurde. Sie speichert Dokumente in einem NoSQL-Format und ist eine der am weitesten verbreiteten Suchmaschinen. Gleichzeitig kann sie auf einem Rechnerverbund ausgeführt werden.
Für die Verarbeitung zuständig sind die Module Logstash und Beats, die Protokolldaten aus verschiedenen Servern auslesen und die Resultate nach Kibana exportieren, wo diese unter anderem mittels Dashboards visualisiert werden. Dabei handelt es sich um ein Plug-in für Elasticsearch, das unter anderem große Datenmengen mittels Balken-, Linien-, Streu- oder Kreisdiagrammen verdeutlicht. Außerdem bietet Kibana mit Canvas ein Werkzeug, mit dem Benutzer Präsentations-Slides erstellen können, die ihre Daten direkt aus Elasticsearch beziehen. Logstash stellt dabei einen Input-Stream zu Elasticsearch zur Verfügung. Für die Darstellung von Metriken und Zeitreihenvisualisierungen kommt Grafana zum Einsatz.
Vielseitig integrierbar und cloudfähig
Die Entwickler des Werkzeugs haben bei der Konzeption ihrer Lösung auf eine hohe Interoperabilität geachtet. Sie lässt sich mit jeder Datenquelle integrieren, indem sie eine Vielzahl von verschiedenen Integrationen für verschiedene Anwendungen und Plattformen verwendet, etwa Appender und Native Data Shipper.
Zusätzlich kann Logz.io in mehreren Netzwerken gleichzeitig zum Einsatz kommen. Hier ist die Aggregation von Daten, die aus mehreren Quellen stammen, möglich. Dies schließt beispielsweise Anwendungen, die über Netzwerke verteilt sind, mit ein. Dabei ist der Einsatz in mehreren Regionen verschiedener Cloudsysteme wie etwa AWS und Azure denkbar.
Nutzung von künstlicher Intelligenz und Big Data
Um noch bessere Ergebnisse bereitstellen zu können, kombiniert Logz.io menschliche Interaktion mit maschinellem Lernen, das Hunderte von verschiedenen Datenarten und Repositorien online prüft und mit Protokollen abgleicht, die bereits im System aufgenommen wurden. Einmal identifiziert, werden diese Ereignisse markiert und zusammen mit ausführbaren und kontextbezogenen Informationen angezeigt, die den Administratoren bei der schnellen Problembehebung helfen.
Aber auch Big-Data-Methoden finden bei der Erkenntnisfindung Berücksichtigung. Hier dient der Data Optimizer der Integration von Big-Data-Systemen und nutzt die Terabytes an Maschinendaten, die ohnehin automatisch anfallen. Doch während einige dieser Daten wichtige Informationen über die Leistung des Systems enthalten, ist der überwiegende Rest nicht immer zielführend. Die relevanten unter den in der Cloud gespeicherten Daten müssen identifiziert werden, da die Vorhaltung irrelevanter Informationen extrem teuer und unnötig ist.
Aus diesem Grund ermöglicht der Data Optimizer es den Benutzern, relevante Daten ohne Ablaufdatum in Konten zu speichern und zu aggregieren. Dazu kommen erweiterte Analysen und maschinelles Lernen zum Einsatz, um kritische Ereignisse zu identifizieren und zusammenzufassen. Auf diese Weise können Teams wählen, welche Daten sie länger speichern und wiederkehrende Daten aggregieren, um unnütze Daten und damit den erforderlichen Speicherplatz zu reduzieren.
Fazit
Die Vorteile der Nutzung einer automatisierten Logauswertung liegen auf der Hand. So können Administratoren einen kontinuierlichen Überblick über Anwendungen und die Infrastrukturen, auf denen sie ausgeführt werden, gewinnen. Ferner können Administratoren durch eine verbesserte Logauswertung andere IT-Teams unterstützen. Nicht zuletzt kann eine Logauswertung auch das IT-Budget schonen, indem eine Reihe von Analyse- und Optimierungswerkzeugen die Kosten für die Überwachung der IT-Ressourcen senkt, während die IT-Infrastruktur immer komplexer wird und das Datenvolumen zusammen mit den verwendeten Anwendungen ansteigt.
ln/Roi Rav-Hon, Core Team Lead bei Logz.io
