Fachartikel

Seite 2 - Infrastrukturdesign für Big Data und Echtzeitanalysen (1)

Datenstreaming für operativen Analysen und Social Media
Da die Datenvolumina immer größer werden, wollen die Unternehmen auch immer mehr Informationen aus diesen Daten sammeln. Eine der wichtigsten Quellen für Unternehmen sind Social Media, da die dort entstehenden und gesammelten Daten wichtig für Marketingzwecke und andere Business-Kampagnen sind. Die TV-Bewertungsorganisation Nielsen etwa sammelt und analysiert heutzutage Twitter-Daten, um Informationen über die Interaktion der Zuschauer während einer bestimmten Sendung zu erhalten und ihren Kunden so einen höheren Mehrwert zu bieten. Ein weiterer Bereich für das Entstehen hoher Datenmengen sind operative Informationen von den kombinierten Logdateien aus mehreren Systemen.

Operative Analysen in Echtzeit sind ein weiterer Bereich, in dem das Datenstreaming zur Anwendung kommt. Viele Organisationen haben Hunderte, wenn nicht Tausende Server, Switche, Firewalls und andere Geräte in ihren Rechenzentren und Produktionsflächen. Nehmen wir als Beispiel die Boeing 787, die auf jedem einzelnen Flug mehr als 500 GByte an Daten generiert. Dadurch erfahren die Boeing-Techniker lange im Voraus, wenn ein Problem auftritt, sodass sie die Teile für die Reparatur oft sogar schon bereithaben können, bevor das Flugzeug überhaupt landet.
Operative Analysen bieten vielfältige Nutzungsmöglichkeiten für zahlreiche Transaktionssysteme. Sie funktionieren als Echtzeit-Suchmaschinen für den Strom an eingehenden Daten. Ganz gleich, ob ungewöhnliche Login-Muster oder Meldung von möglicherweise betrügerischen Transaktionen: Diese Systeme können auf Maschinen-generierte oder von Menschen bearbeitete Daten in Bestellsystemen im großen Maßstab reagieren.

Die Zusammenführung aller Datenquellen einer Organisation kann sehr tiefgründige Einblicke in die Performance ihres Systems bieten. Im Gegensatz zu klassischen Business-Intelligence-Lösungen (die sich auf interne Daten konzentrieren) ermöglichen moderne Analysesysteme es Unternehmen, all ihre internen Datenquellen und externen Quellen in der Form von Social Media einzubeziehen. Um die Echtzeitanalyse dieser modernen Systeme zu ermöglichen, sind allerdings riesige, leistungsfähige und effektive Speicher notwendig.

Das Internet der Dinge
Es gibt immer mehr Geräte, die mit dem Internet verbunden sind, etwa Aktivitäten-Tracker wie FitBit, intelligente elektrische Messgeräte, die ihre Daten in Echtzeit übermitteln oder ein Thermostat, das die Temperatur dynamisch anpasst, wenn sich Personen zu Hause befinden. Die Gesamtheit dieser Geräte formt das Internet der Dinge (IoT). Viele denken, dass das IoT mit dem Aufkommen von Smartphones entstanden ist. Tatsächlich lassen sich seine Wurzeln aber zum Anfang des 21. Jahrhunderts zur Lieferkettenlogistik speziell für große Einzelhändler zurückverfolgen. Denn die Reduzierung von Lagerkosten kann sich direkt auf die Bilanz auswirken und dabei helfen, die Einzelhandelsmargen zu steigern. Daher lag es im Interesse großer Einzelhandelsketten, ihren Bestand so effizient wie möglich zu verwalten. Das wurde unter anderem durch RF-Etiketten ermöglicht, mit denen sich einzelne Warenpaletten nachverfolgen lassen. Zum Erreichen dieses Ziels war zunächst die Zusammenarbeit zwischen den Einzel- und Großhändlern nötig. Sobald das System aber eingerichtet war, konnten die Einzelhändler ihre Waren auf dem gesamten Weg durch die Lieferkette in Echtzeit nachverfolgen.

So entstanden riesige Datenmengen, insbesondere, wenn die Einzelhändler historische Trends nachverfolgen wollten. Wer dieses System auf ein Verbrauchermodell wie elektrische und mobile Geräte überträgt, kann leicht nachzuvollziehen, dass die Datenmenge begonnen hat, exponentiell zu wachsen. Es ist auch verständlich, dass es schnell problematisch werden kann, diese Daten zu speichern und abzurufen.

Moderne Datenlager- und Streaming-Analyse-Technologien können das effiziente Schreiben dieser Daten unterstützen und dabei die Vorteile der Komprimierung auf Datenebene nutzen. Durch Komprimierungstechniken können Daten schneller gelesen und in einigen Fällen sogar das Schreiben großer Datenmengen beschleunigt werden. Ein gutes Beispiel dafür sind Columnstore-Datenbanken, die eine hohe Datenkomprimierung zulassen und für das Laden von Bulkdaten optimiert sind. Da viele dieser Daten für Verbraucher gedacht sind und in Echtzeit aufgezeichnet werden müssen, damit sie einen Wert haben, ist die Speicherleistung extrem wichtig. Das gilt insbesondere für die geringen Latenzen, die die Benutzer mittlerweile von Breitband und 4G erwarten.

Im zweiten Teil des Fachartikels gehen wir konkret auf moderne Speicherarchitekturen ein, die im Zeitalter großer Datenmenge für Performance und Effizienz sorgen. Dabei werfen wir einen besonderen Blick auf Flash-Speicher und den aktuellen Technologiestand.

Seite 1: Technologien im Wechselspiel
Seite 2: Datenstreaming für operativen Analysen

<< Vorherige Seite Seite 2 von 2
15.03.2017/ln/Tobias Engmann, SE Manager DACH bei Tegile Systems

Nachrichten

Hybrides NAS [6.03.2020]

QNAP bringt mit dem "TS 1886XU-RP" ein neues NAS der Unternehmensklasse auf den Markt. Die Appliance dient als hybrides Speichergerät und bietet Platz für zwölf Festplatteneinschübe und sechs dedizierte SSDs. Das 2U-Rackmount-NAS ist mit einem Intel-Xeon-Prozessor der D-1600 Serie sowie DDR4-Error-Correcting-Code-Speicher ausgestattet. [mehr]

All-Flash-Speicher im Abo [6.03.2020]

Im Rahmen seines Subskriptionsmodells "Evergreen" stellt Pure Storage eine neue Version der Betriebsumgebung "Purity" für sein All-Flash-Produkt "FlashArray" vor. Laut Hersteller bietet Purity 5.3 unter anderem mehr Multi-Cloud-Unterstützung, eine verstärkte Sicherheitsfunktionalität und eine Verbesserungen der Quality-of-Service. [mehr]

Tipps & Tools

Das bringt 2020 für Flash-Speicher [12.03.2020]

In diesem Jahr wird Flash für noch mehr Workloads eingesetzt, die bisher auf HDD- oder Hybridsystemen betrieben wurden. Dazu gehören Tier-2-Anwendungsfälle, Big-Data-Analytik und die schnelle Wiederherstellung von immer größer werdenden geschäftskritischen Systemen und Datenbanken. Flash gewinnt außerdem in Hybrid-Cloud-Szenarien und als Scale-out-Speicherlösung mit Datei- und Objektspeicherung an Bedeutung. Der Fachartikel gibt einen Ausblick darauf, mit welchen Neuerungen im Bereich Flash 2020 zu rechnen ist. [mehr]

Download der Woche: Meld [15.10.2019]

Bei der Systemwartung finden sich immer wieder doppelt vorhandene Dateien und Ordner unter Windows. Diese sorgen nicht nur für Verwirrung, sondern rauben auch Zeit beim Säubern der Struktur auf dem Rechner. Mit dem kostenfreien Tool "Meld" lassen sich durch einen sogenannten "Zwei- und Drei-Wege-Vergleich" sowohl von Files als auch Verzeichnissen die nicht mehr benötigten Daten ermitteln. [mehr]

Buchbesprechung

Technik der IP-Netze

von Anatol Badach und Erwin Hoffmann

Anzeigen