- Maschinengenerierte Daten (MGD) von intelligenten Geräten, Messgeräten und Computern.
- Internetdatenverkehr von Anwendern, die das Internet mit verschiedensten Geräten nutzen.
- Streaming von Logdaten für Analyse- und Sicherheitszwecke.
Fachartikel
Infrastrukturdesign für Big Data und Echtzeitanalysen (1)
Big Data und das Internet der Dinge sind mehr als nur Modeworte. Sie beschreiben komplexe Computertrends, die klassische Analyseplattformen wie Datenlager sowohl verdrängen als auch erweitern. Die damit verbundenen Ansprüche hinsichtlich Performance und Verfügbarkeit erhöhen den Druck auf die Storage-Systeme. Wie unser Beitrag zeigt, ist es selbst mit All-Flash-Arrays nicht immer einfach, die Anforderungen an Dichte und Kosten zu erfüllen. Im ersten Teil gehen wir auf die Faktoren ein, die zum Entstehen großer Datenmengen führen und streifen die zugrundeliegenden Technologien.
![]() |
Immer mehr maschinengenerierte Daten und mehr Verkehr im Internet sorgen für ein gewaltiges Datenwachstum.
|
Gut vergleichbar mit dem Mooreschen Gesetz über die Verdopplung der Rechenleistung alle zwei Jahre hat sich der Umfang der auf Speicherarrays gespeicherten Daten exponentiell entwickelt. Eine IDC-Studie etwa geht davon aus, dass sich das "Datenuniversum" – also alle bekannten Daten der Welt – von 2010 bis 2020 von 300 auf 40.000 Exabyte (40 Milliarden TByte) erweitern wird. Dieses Wachstum ist auf unterschiedliche Quellen zurückzuführen:
Technologien im Wechselspiel
Mit dem wachsenden Datenvolumen und der zunehmenden Rechenleistung gibt es weitere grundlegende Entwicklungen bei den IT-Infrastrukturen, die das Wachstum weiter befeuern: Virtualisierung, Cloud Computing und Solid-State-Speicher.
Dabei ist wichtig zu wissen, dass diese Trends erst durch die Zunahme der Rechenleistung und Speicherdichte möglich geworden sind. Die Speicher erlauben heute eine dichtere Virtualisierung, Caching im Speicher und ganz allgemein eine bessere Systemleistung. Durch die wachsende CPU-Leistung können Solid-State-Geräte Technologien wie Komprimierung nutzen, um die Leistung und Speicherdichte weiter zu verbessern. Es ist also nicht überraschend, dass diese Trends sich über die Rechenleistung gegenseitig vorantreiben.
Seite 1: Technologien im Wechselspiel
Seite 2: Datenstreaming für operativen Analysen
Mit dem wachsenden Datenvolumen und der zunehmenden Rechenleistung gibt es weitere grundlegende Entwicklungen bei den IT-Infrastrukturen, die das Wachstum weiter befeuern: Virtualisierung, Cloud Computing und Solid-State-Speicher.
Dabei ist wichtig zu wissen, dass diese Trends erst durch die Zunahme der Rechenleistung und Speicherdichte möglich geworden sind. Die Speicher erlauben heute eine dichtere Virtualisierung, Caching im Speicher und ganz allgemein eine bessere Systemleistung. Durch die wachsende CPU-Leistung können Solid-State-Geräte Technologien wie Komprimierung nutzen, um die Leistung und Speicherdichte weiter zu verbessern. Es ist also nicht überraschend, dass diese Trends sich über die Rechenleistung gegenseitig vorantreiben.
- Virtualisierung: Die Virtualisierung hat eine lange Tradition in der Informatik, aber die x86-Virtualisierung ist es, die das 21. Jahrhundert definiert. Die Virtualisierung bietet hohe Flexibilität und ermöglicht die Software-basierte Definition von so gut wie allen Vorgängen. Dadurch hat sie die Entstehung der Cloud – sowohl privat als auch öffentlich – erst möglich gemacht. Die Virtualisierung hat durch die Konsolidierung von Workloads aber auch den Druck auf die Untersysteme von Speichern erhöht.
- Cloud Computing: Cloud Computing ist mehr als nur Virtualisierung. Es bedarf zusätzlich einer guten Dosis Automatisierung und Deployment-Technologie. Dennoch läuft es am Ende sowohl bei der öffentlichen als auch der privaten Cloud darauf hinaus, dass die Workloads auf einer virtuellen Maschine in einem Rechenzentrum laufen.
- Solid-State-Speicher: Trotz moderner CPUs und hoher Speicherdichte entstehen bei vielen Computersystemen auf der Speicherebene nach wie vor Flaschenhälse, da dort veraltete Festplatten mit rotierenden Scheiben zum Einsatz kommen. Diese können in Sachen I/O-Operationen pro Sekunde (IOPs), Durchsatz und Latenz nicht mit der Leistung einer CPU mithalten. Auch immer mehr konsolidierte Workloads und die Nachfrage nach Echtzeitanalysen haben zu mehr Bedarf an besserer Speicherleistung geführt. In der Vergangenheit ließ sich die Speicherleistung dann nur durch das Hinzufügen weiterer Festplatten steigern, was hinsichtlich des Stromverbrauchs, des Verwaltungsaufwands und des Hardware-Bedarfs aber sehr kostenintensiv war. Solid-State-Speicher lösen viele dieser Probleme.
Seite 1: Technologien im Wechselspiel
Seite 2: Datenstreaming für operativen Analysen
Seite 1 von 2 | Nächste Seite >> |
Nachrichten
Mehr Ausfallsicherheit für Tiered Storage [23.04.2018]
PoINT gibt den Startschuss für Version 6.2. des 'PoINT Storage Manager'. Das neue Release der Software zum Data- und Storage-Management will vor allem mit einer verbesserten Ausfallsicherheit und einer höheren Verfügbarkeit von ausgelagerten und archivierten Daten punkten. Realisieren will dies der Hersteller unter anderem über ein automatisches Failover. [mehr]
Toshiba baut HDD-Familien aus [20.04.2018]
Toshiba erweitert sein Produktangebot an internen HDDs in den Serien 'N300', 'X300' und 'L200'. Die beiden Serien N300 für NAS-Geräte und X300 für High-Performance-PCs beinhalten nun ein 10-TByte-Modell und Produkte mit größerem Cache. Neu in der Serie L200 für Consumer- und Business-PCs und Notebooks sind eine 2TByte-HDD und Modelle mit bis zu 128 MByte Pufferspeicher. [mehr]
Mobile Datenverwaltung neu aufgelegt [16.04.2018]
Tipps & Tools
Kontrolle über Speicherplatz behalten [23.02.2018]

Bei der Verwaltung der Festplattenressourcen auf dem PC kann das kostenfreie Tool 'MeinPlatz' weiter helfen. Die Software durchleuchtet sowohl die fest verbauten Datenträger als auch externe Speichermedien und listet Ihnen den belegten Speicherplatz von Ordnern und Dateien auf. Neben der Größe, Datei- und Ordneranzahl stellt das Werkzeug die prozentuelle Belastung der Festplatte relativ zur Gesamtgröße grafisch dar. [mehr]
AWS-Kosten treffsicher kalkulieren [16.01.2018]

Wenn es nach den entsprechenden Anbietern geht, löst die Cloud alle IT-Probleme, ist flexibler als On-Premises-Installationen und obendrein natürlich günstiger. Wenn aber jede Minute und jedes GByte einzeln berechnet und ein Dutzend verschiedener Dienstleistungen in Anspruch genommen wird, geraten die Ausgaben schnell außer Kontrolle. Zumindest für AWS gibt es mit dem 'Simple Monthly Calculator' einen Kostenrechner, der den individuellen Bedarf skizziert und für mehr Planungssicherheit sorgt. [mehr]