ABOUT NORCOM
Analyse weltweit verteilter Daten im Fahrzeugdauerlauf
Die Aufgabe
Im Fahrzeug-Dauerlauf werden in immer kürzerer Zeit immer mehr Messdaten aufgezeichnet, diese müssen zeitnah ausgewertet werden.
Die Herausforderung
Da die Fahrzeuge weltweit im Einsatz sind, wird es zunehmend schwieriger, die entstandenen Messdaten für die Analyse in die Zentrale zu übertragen.
​
Unsere Lösung
DaSense führt mit der Komponente „Distributed Query Engine“ die Hadoop-Leitidee “Bring the algorithm to the data“ auf einem globalen Netzwerk von Datenzentren zur Anwendung. Skalierbare Datenladestrecken sorgen dafür, dass neu ins System geladene Daten automatisch qualitätsgeprüft, vorprozessiert und in ein Big Data Analyseformat konvertiert werden. Innerhalb fest vorgegebener Zeitspannen stehen so erste Auswertungen auf dezentralen Messdatenstationen zur Verfügung. Durch Vernetzung von DaSense-Instanzen können die Auswertungen übergreifend über die Stationen für die globale Analyse aggregiert werden.
Im Hintergrund erfolgt durch einen dafür konzipierten Data Mover die kontinuierliche Überführung der Daten zur Sicherung im zentralen Datenspeicher im Einklang mit Data Governance Regeln.
Der Kundennutzen
Durch die sofortige Bereitstellung von Daten für die Auswertung sind Testläufe agiler planbar und Entwicklungskosten werden reduziert. Das intelligente Datenmanagement sorgt dafür, dass Analysen in Bezug auf Datenlokalität optimiert und bestehende Ressourcen effizienter genutzt werden.
PROJEKT-STECKBRIEF
Unsere Rolle
Unterstützung des Kunden durch Data Scientists, Data Engineers, Software-Entwickler und Architekten
Unsere Tätigkeiten
-
Installation mehrerer Hadoop Umgebungen mit DaSense
-
Einrichten von Big Data Workflows zur Konvertierung von Daten
-
Erstellung und Produktivsetzung von Messdaten-Analysen übergreifend über die Hadoop-Umgebungen
Technologien & Methoden
-
Applikationen: DaSense
-
Daten/-banken: Hbase, HDFS, MF4, Parquet, ORC, Avro
-
Sprachen / Frameworks: Python (Anaconda Stack), Java, Hadoop/Mapr/Hortonworks, Airflow, Spark, Yarn, Oozie, Nifi
-
Methoden: Zeitreihenanalysen, Ausreißererkennung, Machine Learning