ABOUT NORCOM

Aufbau und Betrieb einer on-premise Automotive-Messdatenplattform

Die Aufgabe

Die Entwicklung und Testung von Powertrains wird durch explosiv anwachsende Datenraten, höhere Ansprüche an Innovation und Leistung und striktere Gesetzesvorgaben vor enorme Herausforderungen gestellt. Diesen soll mit einem Datenmanagement auf Big Data begegnet werden.

 

Die Herausforderung

Big Data Technologie wird bereits vielerorts erfolgreich für die Auswertung großer Datenmengen aus dem Powertrain erprobt. Der nächste Schritt, die Nutzung von Big Data in Produktivsystemen, stellt die Anwender nun aber vor ganz neue Herausforderungen, erfordert dies doch die Integration mit bestehenden Applikationen, Sicherheitssystemen, die Bereitstellung für den Endnutzer, uvm.  

 

Unsere Lösung

In diesem Projekt wurde eine Big Data Umgebung auf Basis Hadoop konzipiert und ein Hadoop-Cluster installiert und in Betrieb genommen. Das Cluster wurde über eine Datenladestrecke an eine kontinuierliche Datenquelle für die Analysen von Messdaten angebunden. Big Data Workflows konvertieren die Messdaten in ein Analyseformat und prüfen die Datenqualität, bevor sie für die Analyse bereitgestellt werden. Durch Nutzung von skalierbaren Datenbanken können Daten in Sekundenschnelle über Metadaten lokalisiert und für die Analyse gebündelt werden. Mittels einer eigens entwickelten Analysehochsprache für Zeitreihen erstellen Ingenieure selbst komplexe Datenanalysen auf Big Data in geringer Zeit und setzen diese mit einem zugehörigen SDK selbständig als Apps produktiv. 

 

Der Kundennutzen

Die Clusteranwender wurden im Rahmen von mehreren Workshops für die Clusternutzung mit modernen Methoden der Data Science befähigt. Dazu wurden Analysen auf Python/Spark umgesetzt, inkl. einer Suche nach Mustern in Messkanälen, mehrerer umfangreicher Reports über eine Dauerlauffahrzeugflotte (z.B., Dauerlaufendereport, Kaltstartreport, Tankreport, Aussetzerreport), Prüfstands- und Gütesicherungsauswertungen, sowie einer Rucklererkennung unter Verwendung von Spektralanalysen und Machine Learning/Deep Learning Klassifikatoren. 

Projekt-

steckbrief

Unsere Rolle

  • Unterstützung des Kunden durch Data Scientists, Data Engineers, Software-Entwickler und Architekten

  • Einweisungen in das System in Workshops und Schulungen

Unsere Tätigkeiten

  • Aufbau und Betrieb einer Hadoop Umgebung mit DaSense inkl. Monitoring

  • Einrichten von Big Data Workflows zur Konvertierung und Analyse von Daten

  • Entwicklung einer Analysesprache für Messdaten und Erstellung und Produktivsetzung von Analysen

  • Beratung zu Hardware, Technologie, Data Life Cycle Management und Anwendungsschichten/Algorithmen

Technologien & Methoden

  • Applikationen: DaSense, Jira Service Desk, Tableau

  • Daten/-banken: HDFs, Hbase, Isilon, Elastic, MF4

  • Sprachen / Frameworks: Python (Anaconda Stack), Java, Javascript, Hadoop/Hortonworks, Spark, Yarn, Oozie, Docker Swarm, KVM, Nifi, Check_MK

  • Methoden: Data Cleansing, Zeitreihenanalysen

KONTAKT AUFNEHMEN UND MEHR ERFAHREN: