- Maschinengenerierte Daten (MGD) von intelligenten Geräten, Messgeräten und Computern.
- Internetdatenverkehr von Anwendern, die das Internet mit verschiedensten Geräten nutzen.
- Streaming von Logdaten für Analyse- und Sicherheitszwecke.
Fachartikel
Infrastrukturdesign für Big Data und Echtzeitanalysen (1)
Big Data und das Internet der Dinge sind mehr als nur Modeworte. Sie beschreiben komplexe Computertrends, die klassische Analyseplattformen wie Datenlager sowohl verdrängen als auch erweitern. Die damit verbundenen Ansprüche hinsichtlich Performance und Verfügbarkeit erhöhen den Druck auf die Storage-Systeme. Wie unser Beitrag zeigt, ist es selbst mit All-Flash-Arrays nicht immer einfach, die Anforderungen an Dichte und Kosten zu erfüllen. Im ersten Teil gehen wir auf die Faktoren ein, die zum Entstehen großer Datenmengen führen und streifen die zugrundeliegenden Technologien.
 |
|
Immer mehr maschinengenerierte Daten und mehr Verkehr im Internet sorgen für ein gewaltiges Datenwachstum.
|
Gut vergleichbar mit dem Mooreschen Gesetz über die Verdopplung der Rechenleistung alle zwei Jahre hat sich der Umfang der auf Speicherarrays gespeicherten Daten exponentiell entwickelt. Eine IDC-Studie etwa geht davon aus, dass sich das "Datenuniversum" – also alle bekannten Daten der Welt – von 2010 bis 2020 von 300 auf 40.000 Exabyte (40 Milliarden TByte) erweitern wird. Dieses Wachstum ist auf unterschiedliche Quellen zurückzuführen:
Technologien im Wechselspiel
Mit dem wachsenden Datenvolumen und der zunehmenden Rechenleistung gibt es weitere grundlegende Entwicklungen bei den IT-Infrastrukturen, die das Wachstum weiter befeuern: Virtualisierung, Cloud Computing und Solid-State-Speicher.
Dabei ist wichtig zu wissen, dass diese Trends erst durch die Zunahme der Rechenleistung und Speicherdichte möglich geworden sind. Die Speicher erlauben heute eine dichtere Virtualisierung, Caching im Speicher und ganz allgemein eine bessere Systemleistung. Durch die wachsende CPU-Leistung können Solid-State-Geräte Technologien wie Komprimierung nutzen, um die Leistung und Speicherdichte weiter zu verbessern. Es ist also nicht überraschend, dass diese Trends sich über die Rechenleistung gegenseitig vorantreiben.
Seite 1: Technologien im Wechselspiel
Seite 2: Datenstreaming für operativen Analysen
Mit dem wachsenden Datenvolumen und der zunehmenden Rechenleistung gibt es weitere grundlegende Entwicklungen bei den IT-Infrastrukturen, die das Wachstum weiter befeuern: Virtualisierung, Cloud Computing und Solid-State-Speicher.
Dabei ist wichtig zu wissen, dass diese Trends erst durch die Zunahme der Rechenleistung und Speicherdichte möglich geworden sind. Die Speicher erlauben heute eine dichtere Virtualisierung, Caching im Speicher und ganz allgemein eine bessere Systemleistung. Durch die wachsende CPU-Leistung können Solid-State-Geräte Technologien wie Komprimierung nutzen, um die Leistung und Speicherdichte weiter zu verbessern. Es ist also nicht überraschend, dass diese Trends sich über die Rechenleistung gegenseitig vorantreiben.
- Virtualisierung: Die Virtualisierung hat eine lange Tradition in der Informatik, aber die x86-Virtualisierung ist es, die das 21. Jahrhundert definiert. Die Virtualisierung bietet hohe Flexibilität und ermöglicht die Software-basierte Definition von so gut wie allen Vorgängen. Dadurch hat sie die Entstehung der Cloud – sowohl privat als auch öffentlich – erst möglich gemacht. Die Virtualisierung hat durch die Konsolidierung von Workloads aber auch den Druck auf die Untersysteme von Speichern erhöht.
- Cloud Computing: Cloud Computing ist mehr als nur Virtualisierung. Es bedarf zusätzlich einer guten Dosis Automatisierung und Deployment-Technologie. Dennoch läuft es am Ende sowohl bei der öffentlichen als auch der privaten Cloud darauf hinaus, dass die Workloads auf einer virtuellen Maschine in einem Rechenzentrum laufen.
- Solid-State-Speicher: Trotz moderner CPUs und hoher Speicherdichte entstehen bei vielen Computersystemen auf der Speicherebene nach wie vor Flaschenhälse, da dort veraltete Festplatten mit rotierenden Scheiben zum Einsatz kommen. Diese können in Sachen I/O-Operationen pro Sekunde (IOPs), Durchsatz und Latenz nicht mit der Leistung einer CPU mithalten. Auch immer mehr konsolidierte Workloads und die Nachfrage nach Echtzeitanalysen haben zu mehr Bedarf an besserer Speicherleistung geführt. In der Vergangenheit ließ sich die Speicherleistung dann nur durch das Hinzufügen weiterer Festplatten steigern, was hinsichtlich des Stromverbrauchs, des Verwaltungsaufwands und des Hardware-Bedarfs aber sehr kostenintensiv war. Solid-State-Speicher lösen viele dieser Probleme.
Seite 1: Technologien im Wechselspiel
Seite 2: Datenstreaming für operativen Analysen
| Seite 1 von 2 | Nächste Seite >> |
Nachrichten
8-TByte-SSD in schlankem Gewand [21.06.2018]
Mit dem Modell 'NF1 SSD' stellt Samsung einen neuen NVMe-Flash-Speicher mit hoher Dichte vor. Insgesamt 8 TByte finden Platz auf dem Speicherriegel, der unter dem Formfaktor 'NGSFF' firmiert und damit nur geringfügig größer ausfällt als M.2-SSDs. [mehr]
Thomas-Krenn schmiedet hyperkonvergentes System [19.06.2018]
Thomas-Krenn nimmt mit der 'Proxmox Ceph Appliance' ein hoch skalierbares hyperkonvergentes System in sein Portfolio auf. Die Appliance besteht aus einem Cluster mit drei Nodes und einem 10-GBit-Switch. Die Software und der Ceph-Cluster werden dabei vorkonfiguriert ausgeliefert. [mehr]
Buffalo-NAS jetzt mit Windows Storage Server 2016 [11.06.2018]
Fujitsu aktualisiert Data-Protection-Appliance [8.06.2018]
Tipps & Tools
Einfache Synchronisierung von Ordnern [15.06.2018]
Für eine saubere Synchronisation von Ordnern auf dem lokalen System oder zwischen Servern lohnt ein Blick auf das kostenfreie Tool 'SimplySync Backup'. Bei dem Programm handelt es sich um eine intuitive Backup- und Synchronisierungssoftware, die Dateien zum entsprechenden Zielpfad kopiert. Das Werkzeug ist portabel sowie schnell und einfach zu bedienen. Insgesamt stehen vier Backup- beziehungsweise Sync-Methoden zur Auswahl. [mehr]
Speicherplatzwarnung einfach abschalten [7.06.2018]
Vor allem wer regelmäßig mit Recovery- oder anderen internen Festplattenpartitionen arbeitet, die in der Regel kleiner ausfallen als die Hauptpartition, stößt unter Umständen auf die Speicherplatzwarnung von Windows 10. Diese zeigt sich vor allem, wenn der Speicherplatz auf einer Partition mit verknüpften Laufwerksbuchstaben zur Neige geht. Mit ein paar Handgriffen können Sie diese Meldung bei Bedarf abschalten. [mehr]
