ABOUT NORCOM
Big Data Analyse von Fahrverhalten
Die Aufgabe
Für Automobilhersteller birgt die datenbasierte Auswertung des Fahrverhaltens enormes Potential, um Kundenzufriedenheit zu erhöhen und Kosten zu senken.
Die Herausforderung
Um belastbare Schlussfolgerungen treffen zu können, müssen Statistiken aus extrem großen Datenmengen gezogen werden.
Unsere Lösung
In diesem Projekt wurde daher eine Big Data Analytics Umgebung für die Auswertung von Massendaten in der Cloud bereitgestellt. Die über eine Datenladestrecke neu in die Umgebung abgelegten Daten werden automatisch in ein Big Data Analyseformat konvertiert. Besonders zu berücksichtigen war hier die Bereinigung und Plausibilisierung der Daten. Zudem sollen erstellte Analysen einfach in regelmäßig ausführbare und programmatisch steuerbare Workflows überführt werden können. Diese Anforderungen wurden durch die Bereitstellung einer individuell konfigurierbaren, container-basierten Entwicklungsumgebung adressiert.
Der Kundennutzen
Die bereitgestellte Lösung ermöglicht Analyseteams den weltweiten, schnellen Zugriff auf die Daten kurz nach ihrer Entstehung.
Projekt-
steckbrief
Unsere Rolle
Unterstützung des Kunden durch Data Scientists und Data Engineers
Unsere Tätigkeiten
-
Aufsetzen einer Big Data/Hadoop Umgebung in der Cloud
-
Einrichten von Big Data Workflows zur Konvertierung von Daten
-
Erstellung und Produktivsetzung von Messdaten-Analysen
Technologien & Methoden
-
Applikationen: DaSense
-
Daten/-banken: Hbase, MF4, Parquet
-
Sprachen / Frameworks: Python (Anaconda Stack), Java, Javascript, Hadoop/Azure, HDInsight,Spark, Yarn, Oozie, Docker Swarm
-
Methoden: Zeitreihenanalysen