Fachartikel

Storage-Turbo für seismische 3D-Analyse

High Perfomance Computing gehört seit 20 Jahren zum Portfolio der DUG Technology. Das Unternehmen ermöglicht damit beispielsweise geowissenschaftliche Analysen für die Öl- und Gasindustrie. Um den flexiblen Bedarf der Kunden zu erfüllen und neue Märkte zu erschließen, bietet das Unternehmen nun HPC-as-a-Service an. Bei Projekten im PByte-Bereich stößt aber die HDD-basierte Infrastruktur rasch an ihre Grenzen. Abhilfe schafft eine neue All-Flash-Umgebung, die auf das Konzept "Disaggregated Shared Everything" setzt.
Extrem große Datenmengen im PByte-Bereich erfordern eine entsprechend performante Storage-Architektur.
Die seismische Analyse ist eine HPC-Disziplin, bei der es darum geht, aus der Reflexion von Schall zu erkennen, was sich unter der Erdoberfläche befindet. Um brauchbare 3D-Analysen zu erstellen, werden PBytes an Daten und Tausende von leistungsstarken Computern benötigt. Nicht einmal die großen Ölgesellschaften verfügen über die notwendigen Rechenressourcen, um diese Analysen intern durchzuführen. Daher wenden sie sich an Unternehmen wie DUG Technology, um Details aus ihren Datenbergen zu gewinnen.

Völlig neuer Storage-Ansatz erforderlich
HPCaaS steht für spezialisierte, vollwertige Exascale-Rechenleistung, die on demand verfügbar ist. Bisher waren diese Dienste von DUG nur für bestimmte Kunden, wie zum Beispiel große Öl- und Gasunternehmen, verfügbar. Als der Markt auf die Fähigkeiten aufmerksam wurde, hat das Unternehmen sein Angebot auf andere Branchen ausgeweitet, um eine Vielzahl von extremen Rechenanforderungen zu erfüllen. DUG beschloss, den gleichen einfachen Service für Unternehmen außerhalb des Energiesektors anzubieten, die nichts als ihre Daten mitbringen. Um eine belastbare und anpassungsfähige Speicherumgebung aufzubauen, die eine Expansion in neue Märkte ermöglicht, musste DUG jedoch den Umgang mit Storage grundlegend ändern.

In den ersten zehn Jahren seines Bestehens hatte das Unternehmen HDD-basierten Speicher eingesetzt, um die erforderliche Skalierung und Kosteneffizienz zu erreichen. In dieser Zeit musste das DUG viele Kompromisse eingehen. Wenn beispielsweise die Dateisystem-Clients bei einem bestimmten Workflow den maximalen Durchsatz erreichten, hatten andere Benutzer, die dasselbe Dateisystem nutzten, darunter zu leiden. Obwohl DUG seine Software so konzipiert hat, dass sie vor Festplattenausfällen schützt, war dem Unternehmen der wöchentliche Austausch ausgefallener Festplatten ein ständiger Dorn im Auge.

Die damaligen Anwendungen von DUG waren zwar für Festplattenspeicher optimiert, aber neue Anwendungen, die DUG unterstützen sollte, gingen mit dem Input/Output (I/O) von Speicherdaten anders um. Die Vielseitigkeit des Speichers und die Mehrmandantenfähigkeit wurden für DUG von entscheidender Bedeutung. Jede neue Implementierung musste eine breite Palette von Anforderungen und das alles im Exascale-Maßstab unterstützen. DUG benötigte außerdem eine Storage-Plattform, die vielfältige Durchsatzanforderungen erfüllen konnte. Der Dienstleister suchte deshalb nach einer SSD-basierten Speicherumgebung, um eine höhere Leistung und Zuverlässigkeit zu erreichen und die Kosteneffizienz zu gewährleisten.
Paralleles Dateisystem mit kosteneffizientem Flash-Speicher
Um sein Geschäft zu erweitern und die Anforderungen einer Vielzahl neuer Märkte und Kunden zu erfüllen, entschied sich DUG schließlich für VAST Data Universal Storage. Das Produkt kombiniert die Geschwindigkeit und Skalierbarkeit eines parallelen Dateisystems mit energieeffizientem Flash-Speicher und Multimandantenfähigkeit, was für DUG einen kompletten Technologiesprung darstellte. Die DASE-Architektur (Disaggregated Shared Everything) sorgt für eine konsistente Leistung, indem nicht optimierte I/Os isoliert werden, um andere Tenants nicht zu beeinträchtigen. Mit dem DASE-Ansatz beseitigt VAST Data die Probleme der parallelen Speicherung, um eine hohe Leistung für bestimmte Workloads zu liefern, die nicht zu Lasten anderer Workloads geht.

Bild 1: In der sogenannten DASE-Architektur hat jeder Protokollserver gleichzeitigen Zugriff auf
alle Laufwerke und damit alle Daten im System.

Die DASE-Architektur bietet die nötige Skalierbarkeit, die es DUG ermöglicht, auf Dutzende von PBytes an Flash-Speicher zu wachsen, ohne dass einzelne Fehlerpunkte in einer Architektur auftreten. Zudem lässt sich die Umgebung nach einem Ausfall schnell wiederherstellen. Die Zuverlässigkeit der Architektur ist ein Ergebnis der effizienten Datensicherung und der Stateless-Architektur von Universal Storage. Neben der Ausfallsicherheit vereinfacht der Ansatz auch die Bereitstellung und Verwaltung durch eine integrierte Scale-Out-Appliance. Diese stellt kontinuierlich neue Funktionen bereit, die automatisch angewendet werden, während das System online ist, so dass es keine Ausfallzeiten für DUG gibt.

Seite 1: Völlig neuer Storage-Ansatz erforderlich


Seite 1 von 2 Nächste Seite >>
7.09.2022/ln/Sven Breuner, Field CTO International bei VAST Data

Nachrichten

Videobearbeitung in der AWS-Cloud [9.09.2022]

Quantums Dateiystem "StorNext" ist ab sofort als Abonnement im AWS Marketplace verfügbar. Mit Quantum StorNext in AWS sollen Nutzer ihre Inhalte unter anderem für die Videoproduktion hochflexibel verwalten können. So lassen Videos in der Cloud von beliebigen Standorten bearbeiten, ohne dass Dateien zwischen einzelnen Benutzern kopiert oder übertragen werden müssen. [mehr]

Spürhund für Datenbanken [17.08.2022]

Die Überwachungs- und Sicherheitsplattform für Cloudanwendungen aus dem Hause Datadog erweitert ihre Fähigkeiten um das Monitoring von Microsoft SQL Server und Microsoft Azure. Die Unterstützung baut auf dem Produkt "Deep Database Monitoring" auf und will kostspielige und langsame Queries, falsche Indizes in SQL-Server- oder Azure-Datenbanken sowie Engpässe in Anwendungen aufzeigen. [mehr]

Tipps & Tools

Download der Woche: CheckDrive 2022 [28.09.2022]

Egal ob HDD oder SSD – auch im Jahr 2022 ist die Festplatte das anfälligste Verschleißteil eines Computers. Eine gelegentliches Durchleuchten ihres Zustands kann also nie schaden. Hier leistet das Windows-Tool "CheckDrive 2022" gute Dienste. Es erkennt auftretende Fehler und kann diese sogar beheben. [mehr]

Storage-Turbo für seismische 3D-Analyse [8.09.2022]

High Perfomance Computing gehört seit 20 Jahren zum Portfolio der DUG Technology. Das Unternehmen ermöglicht damit beispielsweise geowissenschaftliche Analysen für die Öl- und Gasindustrie. Um den flexiblen Bedarf der Kunden zu erfüllen und neue Märkte zu erschließen, bietet das Unternehmen nun HPC-as-a-Service an. Bei Projekten im PByte-Bereich stößt aber die HDD-basierte Infrastruktur rasch an ihre Grenzen. Unser Fachartikel online zeigt, wie eine neue All-Flash-Umgebung Abhilfe schafft, die auf das Konzept "Disaggregated Shared Everything" setzt. [mehr]

Buchbesprechung

The Security Culture Playbook

von Perry Carpenter und Kai Roer

Anzeigen