ABOUT NORCOM

Aufbau und Betrieb einer hochverfügbaren Big Data Analytics Plattform

Die Aufgabe

Für die Bereitstellung einer zentralen Analytics Plattform für verschiedenste Use Cases aus unterschiedlichen Abteilungen ist eine Big Data Umgebung zu konzipieren, implementieren und in Betrieb zu nehmen. Für die Versorgung mit Daten soll diese Umgebung über Datenladestrecken an verschiedene Quellsysteme on-premise und in der Cloud angeschlossen werden.  

 

Die Herausforderung

Für die produktive Nutzung müssen alle relevanten Clusterdienste multi-mandantenfähig und hochverfügbar sein, die Daten dürfen aus Gründen der Datensicherheit nicht in der Cloud gehalten werden. Personenbezogenen Daten erfordern eine flexible Einrichtung von Regeln zur Speicherung, Nutzung und Löschung.

 

Unsere Lösung

Es wurde eine Big Data Umgebung auf Basis Hadoop konzipiert, implementiert und in Betrieb genommen. Zur Produktivsetzung wurden alle relevanten Clusterdienste kerberisiert und hochverfügbar konfiguriert, ein zusätzliches Testcluster für die Überführung von auf der Entwicklungsumgebung getesteten Frameworks und Prozessen in den Regelbetrieb etabliert und eine Spiegelumgebung zur Sicherung der Business Continuity definiert. Für Advanced Analytics auf großen Daten wurden GPU-Resourcen in das Hadoop Cluster eingebunden. Die Fachabteilungen wurden in mehreren Innovationsworkshops mit der Nutzung der neuen Plattform vertraut gemacht.

 

Der Kundennutzen

Verschiedenste Datenquellen können dank Einsatz von Big Data zum ersten Mal übergreifend analysiert werden. Automatisierte Mechanismen stellen dabei die Datenqualität sicher. Auswertungen sind dank Hochverfügbarkeit rund um die Uhr erreichbar. Eine transparente Dokumentation der Architektur und der Prozesse befähigt den Kunden zur Lösung auch komplexer Probleme in Self-Service.

Projekt-

steckbrief

Unsere Rolle

  • Consulting / Dev Ops / System Administration

Unsere Tätigkeiten

  • Planung, Installation, Betrieb von HDP (Hortonworks) Cluster Umgebungen

  • Setzen auf Hochverfügbarkeit aller relevanter Systeme (Hadoop, Postgres)

  • Automatische Spiegelung von wichtigen Daten zwischen Hadoop Clustern

  • Identity Management mit Integration auf Hadoop (Kerberos)

  • Beratung zu Technologie Stack

Technologien & Methoden

  • Applikationen: Hadoop, Hive LLAP, NiFi, PowerBI, DaSense, Oozie, Ranger, Ambari, Yarn, IPA, HAProxy, Keepalived, Postgres, PGBouncer

  • Datenbanken: Hive, Postgres

  • Sprachen / Frameworks: Python, Shell, SQL / Docker, CUDA, Map/Reduce, Tez, Spark, Kerberos, Jira, Git, UML, Jenkins

  • Methoden: Agil, ITIL, DevOps

KONTAKT AUFNEHMEN UND MEHR ERFAHREN: