von Redaktion IT-A…
Lesezeit
2 Minuten
Seite 2 - Storage-Turbo für seismische 3D-Analyse
Storage-Technologie für hohe Anforderungen
VAST Data Universal Storage bietet einen einzigen, globalen Namespace, sodass jede Anwendung Zugriff auf alle zugehörigen Daten für die jeweilige Arbeitslast hat. Der Ansatz kombiniert die Leistung von All-Flash, flexible Skalierbarkeit, kosteneffiziente Archivspeichern und einfache Plug-and-Play-NAS-Konnektivität. Die Hardwarebasis dafür bieten SSDs von Intel.
Intels Kombination aus vertikaler Floating-Gate-Technologie und CMOS-Architektur (Complementary Metal-Oxide-Semiconductor) liefert maximale Flächendichte (GByte Speicherplatz pro Quadratmillimeter) bei gleichen Bits pro Zelle. Intel-QLC-3D-NAND-SSDs ermöglichen dabei eine größere Flächendichte als TLC-Medien (Triple-Level-Cell) der vorherigen Generation, aber auch gegenüber QLC-Designs (Quad-Level-Cell), die auf der Charge-Trap-Technologie basieren. Dies erlaubt es, mittlerweile alle Arten von Daten wirtschaftlich auf Flash-Laufwerken zu speichern. Die Kosteneffizienz und hohe Zuverlässigkeit moderner SSDs bilden die Grundlage für die Architektur von VAST Data. So sind die Kosten über einen Zeitraum von zehn Jahren mit denen von HDD-basierten Systemen vergleichbar.
Schnelles Schreiben mit Intel Optane und NVMe-oF
Intel-Optane-SSDs beschleunigen die Schreibleistung für Workloads, die auf VAST Data Universal Storage laufen, weiter. Entscheidend ist, dass die Schreibvorgänge dabei in den Speicher puffern, was vollständige QLC-Löschblock-Schreibvorgänge ermöglicht. Die niedrige Latenz, die hohe Ausdauer und die hohe 4K-Zufallsschreibleistung tragen dazu bei, dass Langzeit- und Kurzzeitdaten nicht in großen QLC-Blöcken zusammenlaufen.
Das Produkt von VAST Data unterstützt auch die Implementierung neuer Algorithmen, die eine völlig neue Ebene der Datenreduzierung und der Datenschutzeffizienz eröffnen. VAST Data Universal Storage vereint all diese architektonischen Aspekte mit Intel-Xeon-Scalable-Prozessoren der zweiten Generation, um eine neue Klasse von globalen Algorithmen in einem DASE-Cluster zu implementieren. Diese Prozessoren liefern die Rechenleistung, die dem Storage und wichtigen Beschleunigungsbibliotheken zugrunde liegt. Das "Storage Performance Development Kit" (SPDK) dient als Beschleuniger für VAST Data Universal Storage, um einen latenzarmen Zugriff von jeder CPU auf jede QLC- und Intel-Optane-SSD zu ermöglichen. Das SPDK macht damit komplexe und flüchtige Cache-Kohärenz-Operationen überflüssig, die andernfalls die Skalierung in älteren Shared-Nothing-Storage-Architekturen behindern können.
VAST Data Universal Storage verbindet CPUs mit NVM Express (NVMe)-Geräten über das NVMe-oF-Protokoll (NVMe over Fabrics), um eine verteilte Skalierung mit der Leistung und Latenz von Direct-Attached Storage (DAS) zu ermöglichen. NVMe-oF läuft über Standard-Ethernet- oder InfiniBand-Netzwerke, um die Disaggregation von Ressourcen und eine Shared-Everything-Architektur über handelsübliche Fabrics im Rechenzentrum zu realisieren. Die VAST-Data-Verbindung stellt das System über allgegenwärtige Protokolle wie Network File System (NFS), Server Message Block (SMB) und eine Amazon S3-kompatible API zur Verfügung, sodass Anwendungen, die universellen Speicher nutzen, keine speziellen Adapter, Formate oder Protokolle benötigen.
Skalierbare Storage-Basis für die nächste Wachstumsphase
Der Datenspeicherbedarf von DUG war schon immer groß. Typische Verarbeitungsprojekte für seismische Daten kommen bei DUG mit mehr als einem PByte an Daten an, die im Laufe der Verarbeitung um das sechs- bis achtfache wachsen. Während eines einzigen seismischen Verarbeitungsprojekts kopiert und schreibt DUG diese Daten bis zu 50 Mal. In der Regel laufen zu einem bestimmten Zeitpunkt mehr als 100 Projekte gleichzeitig. VAST Data Universal Storage hilft DUG dabei, sicherzustellen, dass konkurrierende Anwendungen auf einer gemeinsam genutzten HPC-Computing-Ressource eine faire Leistung erhalten.
Neben der effizienten Bewältigung großer Datenmengen ist die Datenreduzierung ein Vorteil, der für DUG Kostenreduzierung bedeutet. Selbst bei seismischen Daten, die schwer zu reduzieren sind, können die Datenreduzierungsfunktionen Speicherplatz und damit Kosten einsparen. Ein weiterer Vorteil ist, dass VAST Data den Speicher für DUG rund um die Uhr verwaltet. Das Unternehmen hat keine Ausfallzeiten für Updates, und die IT-Administratoren können sich darauf verlassen, dass VAST Data die Leistung und Verfügbarkeit ihrer Umgebung genau überwacht. Aus diesem Grund kann DUG seine Speicherkapazität erweitern, ohne sein Speicherteam vergrößern zu müssen.
Fazit
Die neue Speicherplattform bietet DUG die Kapazität, Leistung und Zuverlässigkeit, sodass sich das Unternehmen von HDDs endgültig verabschieden konnte. Sie erlaubte es DUG, sich von der komplexen HPC-File-Storage-Technologie zu lösen und Kunden innerhalb und außerhalb der Öl- und Gasindustrie eine positive Kundenerfahrung zu bieten. DUG ist somit in der Lage, seine mandantenfähige Cloudumgebung für die nächste Wachstumsphase effizient auszubauen. Storage ist seitdem zu einem strategischen Vermögenswert für das Unternehmen avanciert.
Seite 1: Völlig neuer Storage-Ansatz erforderlich
Seite 2: Schnelles Schreiben mit Intel Optane und NVMe-oF
ln/Sven Breuner, Field CTO International bei VAST Data
VAST Data Universal Storage bietet einen einzigen, globalen Namespace, sodass jede Anwendung Zugriff auf alle zugehörigen Daten für die jeweilige Arbeitslast hat. Der Ansatz kombiniert die Leistung von All-Flash, flexible Skalierbarkeit, kosteneffiziente Archivspeichern und einfache Plug-and-Play-NAS-Konnektivität. Die Hardwarebasis dafür bieten SSDs von Intel.
Intels Kombination aus vertikaler Floating-Gate-Technologie und CMOS-Architektur (Complementary Metal-Oxide-Semiconductor) liefert maximale Flächendichte (GByte Speicherplatz pro Quadratmillimeter) bei gleichen Bits pro Zelle. Intel-QLC-3D-NAND-SSDs ermöglichen dabei eine größere Flächendichte als TLC-Medien (Triple-Level-Cell) der vorherigen Generation, aber auch gegenüber QLC-Designs (Quad-Level-Cell), die auf der Charge-Trap-Technologie basieren. Dies erlaubt es, mittlerweile alle Arten von Daten wirtschaftlich auf Flash-Laufwerken zu speichern. Die Kosteneffizienz und hohe Zuverlässigkeit moderner SSDs bilden die Grundlage für die Architektur von VAST Data. So sind die Kosten über einen Zeitraum von zehn Jahren mit denen von HDD-basierten Systemen vergleichbar.
Schnelles Schreiben mit Intel Optane und NVMe-oF
Intel-Optane-SSDs beschleunigen die Schreibleistung für Workloads, die auf VAST Data Universal Storage laufen, weiter. Entscheidend ist, dass die Schreibvorgänge dabei in den Speicher puffern, was vollständige QLC-Löschblock-Schreibvorgänge ermöglicht. Die niedrige Latenz, die hohe Ausdauer und die hohe 4K-Zufallsschreibleistung tragen dazu bei, dass Langzeit- und Kurzzeitdaten nicht in großen QLC-Blöcken zusammenlaufen.
Das Produkt von VAST Data unterstützt auch die Implementierung neuer Algorithmen, die eine völlig neue Ebene der Datenreduzierung und der Datenschutzeffizienz eröffnen. VAST Data Universal Storage vereint all diese architektonischen Aspekte mit Intel-Xeon-Scalable-Prozessoren der zweiten Generation, um eine neue Klasse von globalen Algorithmen in einem DASE-Cluster zu implementieren. Diese Prozessoren liefern die Rechenleistung, die dem Storage und wichtigen Beschleunigungsbibliotheken zugrunde liegt. Das "Storage Performance Development Kit" (SPDK) dient als Beschleuniger für VAST Data Universal Storage, um einen latenzarmen Zugriff von jeder CPU auf jede QLC- und Intel-Optane-SSD zu ermöglichen. Das SPDK macht damit komplexe und flüchtige Cache-Kohärenz-Operationen überflüssig, die andernfalls die Skalierung in älteren Shared-Nothing-Storage-Architekturen behindern können.
VAST Data Universal Storage verbindet CPUs mit NVM Express (NVMe)-Geräten über das NVMe-oF-Protokoll (NVMe over Fabrics), um eine verteilte Skalierung mit der Leistung und Latenz von Direct-Attached Storage (DAS) zu ermöglichen. NVMe-oF läuft über Standard-Ethernet- oder InfiniBand-Netzwerke, um die Disaggregation von Ressourcen und eine Shared-Everything-Architektur über handelsübliche Fabrics im Rechenzentrum zu realisieren. Die VAST-Data-Verbindung stellt das System über allgegenwärtige Protokolle wie Network File System (NFS), Server Message Block (SMB) und eine Amazon S3-kompatible API zur Verfügung, sodass Anwendungen, die universellen Speicher nutzen, keine speziellen Adapter, Formate oder Protokolle benötigen.
Bild 2: Eine Von-oben-Ansicht des kommenden Ceres-Gehäuses von VAST Data. Im oberen Bereich
sind die insgesamt 22 QLC-Laufwerke im Ruler-Format zu sehen.
sind die insgesamt 22 QLC-Laufwerke im Ruler-Format zu sehen.
Skalierbare Storage-Basis für die nächste Wachstumsphase
Der Datenspeicherbedarf von DUG war schon immer groß. Typische Verarbeitungsprojekte für seismische Daten kommen bei DUG mit mehr als einem PByte an Daten an, die im Laufe der Verarbeitung um das sechs- bis achtfache wachsen. Während eines einzigen seismischen Verarbeitungsprojekts kopiert und schreibt DUG diese Daten bis zu 50 Mal. In der Regel laufen zu einem bestimmten Zeitpunkt mehr als 100 Projekte gleichzeitig. VAST Data Universal Storage hilft DUG dabei, sicherzustellen, dass konkurrierende Anwendungen auf einer gemeinsam genutzten HPC-Computing-Ressource eine faire Leistung erhalten.
Neben der effizienten Bewältigung großer Datenmengen ist die Datenreduzierung ein Vorteil, der für DUG Kostenreduzierung bedeutet. Selbst bei seismischen Daten, die schwer zu reduzieren sind, können die Datenreduzierungsfunktionen Speicherplatz und damit Kosten einsparen. Ein weiterer Vorteil ist, dass VAST Data den Speicher für DUG rund um die Uhr verwaltet. Das Unternehmen hat keine Ausfallzeiten für Updates, und die IT-Administratoren können sich darauf verlassen, dass VAST Data die Leistung und Verfügbarkeit ihrer Umgebung genau überwacht. Aus diesem Grund kann DUG seine Speicherkapazität erweitern, ohne sein Speicherteam vergrößern zu müssen.
Fazit
Die neue Speicherplattform bietet DUG die Kapazität, Leistung und Zuverlässigkeit, sodass sich das Unternehmen von HDDs endgültig verabschieden konnte. Sie erlaubte es DUG, sich von der komplexen HPC-File-Storage-Technologie zu lösen und Kunden innerhalb und außerhalb der Öl- und Gasindustrie eine positive Kundenerfahrung zu bieten. DUG ist somit in der Lage, seine mandantenfähige Cloudumgebung für die nächste Wachstumsphase effizient auszubauen. Storage ist seitdem zu einem strategischen Vermögenswert für das Unternehmen avanciert.
Seite 2: Schnelles Schreiben mit Intel Optane und NVMe-oF
| << Vorherige Seite | Seite 2 von 2 |
ln/Sven Breuner, Field CTO International bei VAST Data
