ABOUT NORCOM
Betriebsdaten zur Produktverbesserung
Die Aufgabe
Zur Weiterentwicklung und gezielten Verbesserung von Produkten, ist für Unternehmen die Auswertung von Betriebsdaten relevant. Ziele sind die Optimierung von Wartungszeiten und eine Rückführung von Erkenntnissen zur Produktverbesserung. Die weltweit verteilten Geräte übertragen hierzu ihre Daten zunächst in die Cloud, wo erste Auswertungen erfolgen. Von dort werden sie für die Zusammenführung mit Bestandsdaten auf eine on-premise Big Data-Umgebung transportiert.
Die Analyse der Daten erfolgt interaktiv auf voraggregierten Tabellen, die Aggregationen werden in regelmäßigen Abständen über Big Data Workflows aktualisiert.
Die Herausforderung
Neben der riesigen, verteilt vorliegenden Datenmenge ist eine besondere Herausforderung der Umgang mit personenbezogenen Daten, die eine flexible Einrichtung von Regeln zur Speicherung, Nutzung und Löschung erfordert.
Unsere Lösung
Die Cloud-Daten wurden über skalierbare Datenladestrecken mit Bestandsdaten und externen Quellen (Wetterdaten, Geodaten) auf einer Big Data Analytics Umgebung zusammengeführt. Dort wurden sie für BI Analysen zugänglich gemacht. Dazu wurden die Daten vorab mit Big Data Analysen aggregiert und Muster mit Advanced Analytics extrahiert. Für spezielle Darstellungen, die nicht mit BI Standard-Tools umsetzbar waren, wurde ergänzend eine maßgeschneiderte interaktive Analyse-App mit umgesetzt.
Der Kundennutzen
Die Anbindung an Big Data ist durch das gesamte BI Team als Service nutzbar, die Daten werden dazu täglich bis wöchentlich regelmäßig automatisiert aktualisiert. Die eingerichteten Advanced Analytics Workflows mit interaktiver Visualisierung ermöglicht neue datengestützte Einsichten in die Gerätenutzung. Virtualisierung und Templating ermöglichen die schnelle, effiziente Anpassung an wachsende Datenmengen.
Projekt-
steckbrief
Unsere Rolle
Unterstützung/Schulung des Kunden durch Data Scientists, Data Engineers, Software-Entwickler und Architekten
Unsere Tätigkeiten
-
Konzeption der Big Data/Datenbank Architektur
-
Aufbau und Betrieb einer Hadoop Umgebung
-
Einrichten von Big Data Workflows zur Konvertierung und Analyse von Daten
-
Interaktive Analyse und Visualisierung auf Massendaten
Technologien & Methoden
-
Applikationen: DaSense, Powerbi, Qlik
-
Datenbanken: Hbase, MySQL, Hive on Tez (LLAP), GIS, DarkSky
-
Sprachen / Frameworks: Python (Anaconda Stack, bokeh), Java, Javascript, Hadoop/Hortonworks/Azure, Spark, Yarn, Oozie, Docker Swarm, Kerberos, Ranger, Xen, Overpass, Kylin, Hue
-
Methoden: Geodaten-, Zeitreihenanalysen, Machine Learning