von Redaktion IT-A…
Lesezeit
3 Minuten
Automatisierung bei der Storage-Verwaltung
Im Speicherumfeld werden Prozesse heutzutage immer stärker automatisiert, vor allem um Admins die Arbeit mit stetig wachsenden Datenmengen zu erleichtern – denn sonst können Migrationen im PByte-Bereich mitunter Jahre dauern. Die Automatisierung zumindest eines Teils der Migrationsprozesse verkürzt hingegen die Umzugsdauer. Auch beim Datenmanagement kommt Automatisierung immer stärker zum Einsatz. Lesen Sie im Artikel, wie sich dabei Fehler vermeiden lassen.
Mit der fortschreitenden Digitalisierung unserer Welt häufen sich täglich mehr und mehr Daten an. Im ersten Quartal 2022 waren es rund 1000 PByte täglich. Die derzeitig bereits vorhandene Menge von etwa 80 ZByte wird sich bei diesem Wachstum bis 2025 auf 175 Zettabyte vermehrt haben. Solche Datenmengen zukünftig sinnvoll zu verwalten, ist eine der größten Herausforderungen überhaupt. Denn in der Praxis kommen die meisten Unternehmen und ihre IT-Administratoren schon heute kaum hinterher, die Informationen sinnvoll zu verarbeiten, zu speichern oder zu migrieren. Eines steht somit fest: Von Menschenhand allein lässt sich diese Mammutaufgabe nicht bewältigen. Daher ist es schon jetzt notwendig, auf Automatisierung zu setzen.
Unstrukturierte Daten sind das Problem
Der größte Teil des Datenwachstums fällt auf unstrukturierte Daten – aktuell rund 90 Prozent. Dabei handelt es sich beispielsweise um große Mediendateien, Präsentationen, Textdateien und Data Lakes, Sensordaten sowie Milliarden kleiner Dateien von IoT-Geräten und Unternehmenssystemen, die Informationen in Protokolldateien ausgeben. Die meisten Unternehmen haben mittlerweile auch längst erkannt, dass die Verwaltung dieses Teils der Datenmenge das größte Problem darstellt.
In der Praxis zeigen sich die Probleme mit der Verwaltung unstrukturierter Daten beispielsweise bei den Themen Backup, Migrationen oder Datenanalyse. Solche Projekte dauern immer länger, weil die zu verarbeitende Datenmenge zwar exponentiell steigt, der Datendurchsatz – also die Menge der Daten, die sich pro Zeiteinheit verarbeiten oder verschieben lässt – allerdings gleichbleibt. Folglich wird die absolute Zeit für jedes Projekt immer länger. Migrationen im PByte-Bereich dauern mitunter Jahre und sind komplexe Projekte, die oft ganze Teams von Spezialisten erfordern.
Automatisierung verkürzt Datenmigrationen
Um diese Probleme in den Griff zu bekommen und Admins die Arbeit mit den stetig wachsenden Datenmengen zu ermöglichen, werden Prozesse im Storage-Umfeld immer stärker automatisiert. Das bedeutet, dass Werkzeuge zum Einsatz kommen, die Funktionen für Orchestrierung und Automatisierung beinhalten. Ein Beispiel hierfür sind Migrationstools, die Daten von A nach B verschieben.
Was im ersten Moment einfach klingt, ist auf den zweiten Blick allerdings äußerst komplex. Bei unzähligen Dateien und scheinbar unendlicher Kapazität ist es schwierig, Daten validiert zu bewegen, selbst wenn ein IT-Team genau weiß, wohin diese müssen. Es sind zahlreiche Teilbereiche des Projekts notwendig, von denen sich einige Schritte gut automatisieren lassen. Zeit lässt sich vor allem bei sich wiederholenden Aufgaben einsparen, wie es etwa das Kopieren einer langen Liste unterschiedlicher Quellordner darstellt. Tools, die diese einzelnen Schritte automatisiert abarbeiten können, und dies idealerweise nicht nur nacheinander sondern auch parallel, sind selbstredend schneller.
Neben der Verkürzung der Projektdauer, hilft Automatisierung darüber hinaus dabei, menschliche Fehler zu vermeiden und Projekte allgemein zu vereinfachen. Zudem können Unternehmen mit dem richtigen Werkzeug automatisierte Richtlinien für den Umgang mit Daten festlegen und damit Probleme wie Datenzugriff und Datenschutz entschärfen. Geeignete Protokolle zur Sicherung der Datenintegrität können dabei helfen, dass Daten am Ende des Prozesses verifiziert werden.
Auch beim Datenmanagement hilft Automatisierung
Ein wichtiger Bestandteil vieler Datenprojekte ist die detaillierte Analyse des Datenbestands zu Projektbeginn. Etwa zu Beginn einer Migration, wenn der Datenbestand analysiert wird, um das Migrationsprojekt von Anfang an richtig zu planen. In der Vergangenheit wurden Scandateien dieser Analysen meist nur für Datenmigration oder Datensicherheit verwendet. Da die Menge unstrukturierter Daten in den Netzwerken jedoch kontinuierlich ansteigt, nutzen Unternehmen solche Scans vermehrt, um unstrukturierte Data Lakes zu analysieren, zu reorganisieren und zu optimieren.
Moderne Systeme können große Dateisysteme mit Milliarden von Dateien automatisiert und kontinuierlich scannen. Jeder dieser Scans erzeugt Listen von Dateipfaden und deren Metadaten in einem proprietären Format, um eine performante und speichereffiziente Handhabung, Analyse und Vergleich der Dateien zu ermöglichen. So verbessert sich das Management der unstrukturierten Daten. Damit sich jedoch die Zusammensetzung der Daten analysieren lässt, ist eine erhebliche Datenreduzierung und -aggregation in diesen Milliarden von Dateien erforderlich. Daher bedarf es eines Tools, das auch in heterogenen Umgebungen, die Menge an Informationen über den Data Lake automatisiert abfragt, aggregiert und reduziert, sodass sie der IT-Administrator sinnvoll nutzen kann.
Fazit
Das Datenvolumen wird in den meisten Unternehmen in den nächsten Jahren weiter stark zunehmen. IT-Verantwortliche benötigen Werkzeuge, die ihnen dabei helfen, die riesige Datenmenge sinnvoll zu verwalten und nutzen zu können. Automatisierung muss ein wichtiger Bestandteil dieser Produkte sein, da sich Daten so schneller und sicherer verarbeiten lassen. Auch die Datenverwaltung verbessert sich durch Automatisierung, da sie Daten in verdauliches Material umwandeln können. Das ermöglicht fundierte Entscheidungen über Speicheroptionen für den Schutz oder die Migration von Daten. Unternehmen sollten daher bei der Auswahl von Angeboten darauf achten, dass sich diese zu einem großen Grad automatisieren lassen.
ln/Sascha Hempe, Regional Sales Manager DACH bei Datadobi
Unstrukturierte Daten sind das Problem
Der größte Teil des Datenwachstums fällt auf unstrukturierte Daten – aktuell rund 90 Prozent. Dabei handelt es sich beispielsweise um große Mediendateien, Präsentationen, Textdateien und Data Lakes, Sensordaten sowie Milliarden kleiner Dateien von IoT-Geräten und Unternehmenssystemen, die Informationen in Protokolldateien ausgeben. Die meisten Unternehmen haben mittlerweile auch längst erkannt, dass die Verwaltung dieses Teils der Datenmenge das größte Problem darstellt.
In der Praxis zeigen sich die Probleme mit der Verwaltung unstrukturierter Daten beispielsweise bei den Themen Backup, Migrationen oder Datenanalyse. Solche Projekte dauern immer länger, weil die zu verarbeitende Datenmenge zwar exponentiell steigt, der Datendurchsatz – also die Menge der Daten, die sich pro Zeiteinheit verarbeiten oder verschieben lässt – allerdings gleichbleibt. Folglich wird die absolute Zeit für jedes Projekt immer länger. Migrationen im PByte-Bereich dauern mitunter Jahre und sind komplexe Projekte, die oft ganze Teams von Spezialisten erfordern.
Automatisierung verkürzt Datenmigrationen
Um diese Probleme in den Griff zu bekommen und Admins die Arbeit mit den stetig wachsenden Datenmengen zu ermöglichen, werden Prozesse im Storage-Umfeld immer stärker automatisiert. Das bedeutet, dass Werkzeuge zum Einsatz kommen, die Funktionen für Orchestrierung und Automatisierung beinhalten. Ein Beispiel hierfür sind Migrationstools, die Daten von A nach B verschieben.
Was im ersten Moment einfach klingt, ist auf den zweiten Blick allerdings äußerst komplex. Bei unzähligen Dateien und scheinbar unendlicher Kapazität ist es schwierig, Daten validiert zu bewegen, selbst wenn ein IT-Team genau weiß, wohin diese müssen. Es sind zahlreiche Teilbereiche des Projekts notwendig, von denen sich einige Schritte gut automatisieren lassen. Zeit lässt sich vor allem bei sich wiederholenden Aufgaben einsparen, wie es etwa das Kopieren einer langen Liste unterschiedlicher Quellordner darstellt. Tools, die diese einzelnen Schritte automatisiert abarbeiten können, und dies idealerweise nicht nur nacheinander sondern auch parallel, sind selbstredend schneller.
Neben der Verkürzung der Projektdauer, hilft Automatisierung darüber hinaus dabei, menschliche Fehler zu vermeiden und Projekte allgemein zu vereinfachen. Zudem können Unternehmen mit dem richtigen Werkzeug automatisierte Richtlinien für den Umgang mit Daten festlegen und damit Probleme wie Datenzugriff und Datenschutz entschärfen. Geeignete Protokolle zur Sicherung der Datenintegrität können dabei helfen, dass Daten am Ende des Prozesses verifiziert werden.
Auch beim Datenmanagement hilft Automatisierung
Ein wichtiger Bestandteil vieler Datenprojekte ist die detaillierte Analyse des Datenbestands zu Projektbeginn. Etwa zu Beginn einer Migration, wenn der Datenbestand analysiert wird, um das Migrationsprojekt von Anfang an richtig zu planen. In der Vergangenheit wurden Scandateien dieser Analysen meist nur für Datenmigration oder Datensicherheit verwendet. Da die Menge unstrukturierter Daten in den Netzwerken jedoch kontinuierlich ansteigt, nutzen Unternehmen solche Scans vermehrt, um unstrukturierte Data Lakes zu analysieren, zu reorganisieren und zu optimieren.
Moderne Systeme können große Dateisysteme mit Milliarden von Dateien automatisiert und kontinuierlich scannen. Jeder dieser Scans erzeugt Listen von Dateipfaden und deren Metadaten in einem proprietären Format, um eine performante und speichereffiziente Handhabung, Analyse und Vergleich der Dateien zu ermöglichen. So verbessert sich das Management der unstrukturierten Daten. Damit sich jedoch die Zusammensetzung der Daten analysieren lässt, ist eine erhebliche Datenreduzierung und -aggregation in diesen Milliarden von Dateien erforderlich. Daher bedarf es eines Tools, das auch in heterogenen Umgebungen, die Menge an Informationen über den Data Lake automatisiert abfragt, aggregiert und reduziert, sodass sie der IT-Administrator sinnvoll nutzen kann.
Fazit
Das Datenvolumen wird in den meisten Unternehmen in den nächsten Jahren weiter stark zunehmen. IT-Verantwortliche benötigen Werkzeuge, die ihnen dabei helfen, die riesige Datenmenge sinnvoll zu verwalten und nutzen zu können. Automatisierung muss ein wichtiger Bestandteil dieser Produkte sein, da sich Daten so schneller und sicherer verarbeiten lassen. Auch die Datenverwaltung verbessert sich durch Automatisierung, da sie Daten in verdauliches Material umwandeln können. Das ermöglicht fundierte Entscheidungen über Speicheroptionen für den Schutz oder die Migration von Daten. Unternehmen sollten daher bei der Auswahl von Angeboten darauf achten, dass sich diese zu einem großen Grad automatisieren lassen.
ln/Sascha Hempe, Regional Sales Manager DACH bei Datadobi
