ABOUT NORCOM

Analyse weltweit verteilter Daten im Fahrzeugdauerlauf

Die Aufgabe

Im Fahrzeug-Dauerlauf werden in immer kürzerer Zeit immer mehr Messdaten aufgezeichnet, diese müssen zeitnah ausgewertet werden.

 

Die Herausforderung

Da die Fahrzeuge weltweit im Einsatz sind, wird es zunehmend schwieriger, die entstandenen Messdaten für die Analyse in die Zentrale zu übertragen.

Unsere Lösung

DaSense führt mit der Komponente „Distributed Query Engine“ die Hadoop-Leitidee “Bring the algorithm to the data“ auf einem globalen Netzwerk von Datenzentren zur Anwendung. Skalierbare Datenladestrecken sorgen dafür, dass neu ins System geladene Daten automatisch qualitätsgeprüft, vorprozessiert und in ein Big Data Analyseformat konvertiert werden. Innerhalb fest vorgegebener Zeitspannen stehen so erste Auswertungen auf dezentralen Messdatenstationen zur Verfügung. Durch Vernetzung von DaSense-Instanzen können die Auswertungen übergreifend über die Stationen für die globale Analyse aggregiert werden.

Im Hintergrund erfolgt durch einen dafür konzipierten Data Mover die kontinuierliche Überführung der Daten zur Sicherung im zentralen Datenspeicher im Einklang mit Data Governance Regeln.

 

Der Kundennutzen
Durch die sofortige Bereitstellung von Daten für die Auswertung sind Testläufe agiler planbar und Entwicklungskosten werden reduziert. Das intelligente Datenmanagement sorgt dafür, dass Analysen in Bezug auf Datenlokalität optimiert und bestehende Ressourcen effizienter genutzt werden.

PROJEKT-STECKBRIEF

Unsere Rolle

Unterstützung des Kunden durch Data Scientists, Data Engineers, Software-Entwickler und Architekten

Unsere Tätigkeiten

  • Installation mehrerer Hadoop Umgebungen mit DaSense

  • Einrichten von Big Data Workflows zur Konvertierung von Daten

  • Erstellung und Produktivsetzung von Messdaten-Analysen übergreifend über die Hadoop-Umgebungen

Technologien & Methoden

  • Applikationen: DaSense

  • Daten/-banken: Hbase, HDFS, MF4, Parquet, ORC, Avro

  • Sprachen / Frameworks: Python (Anaconda Stack), Java, Hadoop/Mapr/Hortonworks, Airflow, Spark, Yarn, Oozie, Nifi

  • Methoden: Zeitreihenanalysen, Ausreißererkennung, Machine Learning

KONTAKT AUFNEHMEN UND MEHR ERFAHREN: