Fachartikel

Infrastrukturdesign für Big Data und Echtzeitanalysen (1)

Big Data und das Internet der Dinge sind mehr als nur Modeworte. Sie beschreiben komplexe Computertrends, die klassische Analyseplattformen wie Datenlager sowohl verdrängen als auch erweitern. Die damit verbundenen Ansprüche hinsichtlich Performance und Verfügbarkeit erhöhen den Druck auf die Storage-Systeme. Wie unser Beitrag zeigt, ist es selbst mit All-Flash-Arrays nicht immer einfach, die Anforderungen an Dichte und Kosten zu erfüllen. Im ersten Teil gehen wir auf die Faktoren ein, die zum Entstehen großer Datenmengen führen und streifen die zugrundeliegenden Technologien.
Immer mehr maschinengenerierte Daten und mehr Verkehr im Internet sorgen für ein gewaltiges Datenwachstum.
Gut vergleichbar mit dem Mooreschen Gesetz über die Verdopplung der Rechenleistung alle zwei Jahre hat sich der Umfang der auf Speicherarrays gespeicherten Daten exponentiell entwickelt. Eine IDC-Studie etwa geht davon aus, dass sich das "Datenuniversum" – also alle bekannten Daten der Welt – von 2010 bis 2020 von 300 auf 40.000 Exabyte (40 Milliarden TByte) erweitern wird. Dieses Wachstum ist auf unterschiedliche Quellen zurückzuführen:


  • Maschinengenerierte Daten (MGD) von intelligenten Geräten, Messgeräten und Computern.
  • Internetdatenverkehr von Anwendern, die das Internet mit verschiedensten Geräten nutzen.
  • Streaming von Logdaten für Analyse- und Sicherheitszwecke.
Keine dieser Daten werden dabei direkt von Menschen erzeugt. Da wir acht Stunden am Tag schlafen und eine begrenzte Schreibgeschwindigkeit haben, sind die von uns generierten Daten von Natur aus beschränkt. Für von Maschinen generierte Daten wiederum gibt es praktisch keine Grenzen. Daher ist Big Data zu einer Realität geworden, die auch in Zukunft noch an Bedeutung zunehmen wird.
Technologien im Wechselspiel
Mit dem wachsenden Datenvolumen und der zunehmenden Rechenleistung gibt es weitere grundlegende Entwicklungen bei den IT-Infrastrukturen, die das Wachstum weiter befeuern: Virtualisierung, Cloud Computing und Solid-State-Speicher.

Dabei ist wichtig zu wissen, dass diese Trends erst durch die Zunahme der Rechenleistung und Speicherdichte möglich geworden sind. Die Speicher erlauben heute eine dichtere Virtualisierung, Caching im Speicher und ganz allgemein eine bessere Systemleistung. Durch die wachsende CPU-Leistung können Solid-State-Geräte Technologien wie Komprimierung nutzen, um die Leistung und Speicherdichte weiter zu verbessern. Es ist also nicht überraschend, dass diese Trends sich über die Rechenleistung gegenseitig vorantreiben.

  • Virtualisierung: Die Virtualisierung hat eine lange Tradition in der Informatik, aber die x86-Virtualisierung ist es, die das 21. Jahrhundert definiert. Die Virtualisierung bietet hohe Flexibilität und ermöglicht die Software-basierte Definition von so gut wie allen Vorgängen. Dadurch hat sie die Entstehung der Cloud – sowohl privat als auch öffentlich – erst möglich gemacht. Die Virtualisierung hat durch die Konsolidierung von Workloads aber auch den Druck auf die Untersysteme von Speichern erhöht.

  • Cloud Computing: Cloud Computing ist mehr als nur Virtualisierung. Es bedarf zusätzlich einer guten Dosis Automatisierung und Deployment-Technologie. Dennoch läuft es am Ende sowohl bei der öffentlichen als auch der privaten Cloud darauf hinaus, dass die Workloads auf einer virtuellen Maschine in einem Rechenzentrum laufen.

  • Solid-State-Speicher: Trotz moderner CPUs und hoher Speicherdichte entstehen bei vielen Computersystemen auf der Speicherebene nach wie vor Flaschenhälse, da dort veraltete Festplatten mit rotierenden Scheiben zum Einsatz kommen. Diese können in Sachen I/O-Operationen pro Sekunde (IOPs), Durchsatz und Latenz nicht mit der Leistung einer CPU mithalten. Auch immer mehr konsolidierte Workloads und die Nachfrage nach Echtzeitanalysen haben zu mehr Bedarf an besserer Speicherleistung geführt. In der Vergangenheit ließ sich die Speicherleistung dann nur durch das Hinzufügen weiterer Festplatten steigern, was hinsichtlich des Stromverbrauchs, des Verwaltungsaufwands und des Hardware-Bedarfs aber sehr kostenintensiv war. Solid-State-Speicher lösen viele dieser Probleme.
Glücklicherweise gibt es einige Faktoren, die Solid State mittlerweile fast zum Mainstream gemacht haben. Der erste Faktor ist die allgemeine deutliche Verbilligung von NAND-Flash in den letzten Jahren. Zudem hat die zunehmende CPU-Leistung es Anbietern ermöglicht, Technologien wie Deduplizierung und Komprimierung einzusetzen, mit denen die Speicherdichte von SSDs beinahe der von Festplatten entspricht. Die höhere Dichte und niedrigeren Kosten haben SSDs zu einer ernstzunehmenden Option für beinahe alle Enterprise-Workloads und eine Voraussetzung für kritische Datensysteme gemacht.

Seite 1: Technologien im Wechselspiel
Seite 2: Datenstreaming für operativen Analysen


Seite 1 von 2 Nächste Seite >>
15.03.2017/ln/Tobias Engmann, SE Manager DACH bei Tegile Systems

Nachrichten

12 TByte im 3,5-Zoll-Format [26.04.2017]

Von Western Digital kommt mit der 'Ultrastar He12' eine neue heliumbasierte Festplatte auf den Markt. Die Neuvorstellung verfügt über eine Speicherkapazität von 12 TByte und wird unter der Marke HGST vertrieben. [mehr]

Cloud-Storage flexibel und hochverfügbar machen [25.04.2017]

Scality, Anbieter von Object- und Cloud Storage-Lösungen, meldet die Verfügbarkeit des neuen Open-Source-Release von 'Scality S3 Server' unter der Apache 2.0 Lizenz. Die neue Version soll für hohe Verfügbarkeit sorgen und unterstützt mehrere Daten-Backends in der Cloud. Durch die automatische Service-Wiederherstellung ist Scality S3 Server nun auch für Serverausfälle gewappnet. [mehr]

Tipps & Tools

Vorschau Mai 2017: Flash-Hardware & -Management [24.04.2017]

Flash-Speicher wird zunehmend günstiger und hält ungebremst Einzug in Clients wie Server. In der Mai-Ausgabe widmet sich IT-Administrator deshalb dem Schwerpunkt 'Flash-Hardware & -Management'. Darin zeigen wir, mit welchen Handgriffen Sie Windows 10 und Windows Server 2016 für den Einsatz von SSDs optimieren. Auch lesen Sie, wann sich die flotten Speichermedien für NAS-Systeme lohnen und wie Sie einen Netzwerkspeicher mit der Linux-Distribution Rockstor auf Btrfs-Basis aufbauen. Nicht zuletzt werfen wir einen Blick in die nahe Zukunft und schauen, welche Technologien nach Flash auf die IT-Welt warten. In den Tests tritt unter anderem das redundante All-Flash-Array T3600 von Tegile an. [mehr]

Synology-Zertifikat verlängern [20.04.2017]

Viele Nutzer eines Synology-NAS greifen auf das kostenloses SSL-Zertifikat von Let's Encrypt zurück. Was dabei jedoch fehlt, ist eine Wegleitung, wie sich das Zertifikat verlängern lässt – die Zertifikate von Let's Encrypt sind nur 90 Tage gültig. Weder in der Systemsteuerung des NAS noch auf der Webseite von Let's Encrypt findet sich eine einfache Möglichkeit zur Verlängerung. Wir erklären, warum Sie trotzdem nicht alle drei Monate ein neues Zertifikat anfordern müssen. [mehr]

Buchbesprechung

Datenschutz-Grundverordnung

von Niko Härting

Anzeigen