ABOUT NORCOM

Aufbau und Betrieb einer hochverfügbaren Big Data Analytics Plattform

Die Aufgabe

Für die Bereitstellung einer zentralen Analytics Plattform für verschiedenste Use Cases aus unterschiedlichen Abteilungen ist eine Big Data Umgebung zu konzipieren, implementieren und in Betrieb zu nehmen. Für die Versorgung mit Daten soll diese Umgebung über Datenladestrecken an verschiedene Quellsysteme on-premise und in der Cloud angeschlossen werden.  

 

Die Herausforderung

Für die produktive Nutzung müssen alle relevanten Clusterdienste multi-mandantenfähig und hochverfügbar sein, die Daten dürfen aus Gründen der Datensicherheit nicht in der Cloud gehalten werden. Personenbezogenen Daten erfordern eine flexible Einrichtung von Regeln zur Speicherung, Nutzung und Löschung.

 

Unsere Lösung

Es wurde eine Big Data Umgebung auf Basis Hadoop konzipiert, implementiert und in Betrieb genommen. Zur Produktivsetzung wurden alle relevanten Clusterdienste kerberisiert und hochverfügbar konfiguriert, ein zusätzliches Testcluster für die Überführung von auf der Entwicklungsumgebung getesteten Frameworks und Prozessen in den Regelbetrieb etabliert und eine Spiegelumgebung zur Sicherung der Business Continuity definiert. Für Advanced Analytics auf großen Daten wurden GPU-Resourcen in das Hadoop Cluster eingebunden. Die Fachabteilungen wurden in mehreren Innovationsworkshops mit der Nutzung der neuen Plattform vertraut gemacht.

 

Der Kundennutzen

Verschiedenste Datenquellen können dank Einsatz von Big Data zum ersten Mal übergreifend analysiert werden. Automatisierte Mechanismen stellen dabei die Datenqualität sicher. Auswertungen sind dank Hochverfügbarkeit rund um die Uhr erreichbar. Eine transparente Dokumentation der Architektur und der Prozesse befähigt den Kunden zur Lösung auch komplexer Probleme in Self-Service.

Projekt-

steckbrief

Unsere Rolle

  • Consulting / Dev Ops / System Administration

Unsere Tätigkeiten

  • Planung, Installation, Betrieb von HDP (Hortonworks) Cluster Umgebungen

  • Setzen auf Hochverfügbarkeit aller relevanter Systeme (Hadoop, Postgres)

  • Automatische Spiegelung von wichtigen Daten zwischen Hadoop Clustern

  • Identity Management mit Integration auf Hadoop (Kerberos)

  • Beratung zu Technologie Stack

Technologien & Methoden

  • Applikationen: Hadoop, Hive LLAP, NiFi, PowerBI, DaSense, Oozie, Ranger, Ambari, Yarn, IPA, HAProxy, Keepalived, Postgres, PGBouncer

  • Datenbanken: Hive, Postgres

  • Sprachen / Frameworks: Python, Shell, SQL / Docker, CUDA, Map/Reduce, Tez, Spark, Kerberos, Jira, Git, UML, Jenkins

  • Methoden: Agil, ITIL, DevOps

Die NorCom Information Technology GmbH & Co. KGaA entwickelt und implementiert Big-Data-Lösungen für internationale Unternehmen. NorCom unterstützt Kunden dabei, ihre Daten in weltweit verteilten Rechenzentren mithilfe moderner Big-Data-, Machine-Learning- & Deep-Learning-Tools in einer produktiven Umgebung zu bearbeiten und analysieren.

NorCom Information Technology GmbH & Co. KGaA, Gabelsbergerstraße 4, 80333 München, T +49 (0) 89 939 48 0,

E info@norcom.de

  • LinkedIn - Weiß, Kreis,

© 2020 NorCom Information Technology GmbH & Co. KGaA. All rights reserved