ABOUT NORCOM
Deep Learning Infrastruktur für das Autonome Fahren
Die Aufgabe
Um autonomes Fahren zu ermöglichen, muss das Auto seine Umgebung fehlerfrei wahrnehmen und darauf basierend angemessene Entscheidungen treffen. Technisch gesehen ergibt sich die Wahrnehmung des Autos aus der Echtzeitfusion von Daten verschiedenster im Auto verbauter Sensoren. Die Entscheidung trifft das Auto mit Hilfe von Algorithmen auf Basis neuronaler Netze. Diese neuronalen Netze müssen entwickelt und trainiert werden, um Fehler zu vermeiden.
Die Herausforderung
Die IT-Infrastruktur für das Training neuronaler Netze muss zum einen hohe Datenmengen (im Terabyte-Bereich) verarbeiten, zum anderen neuronale Netze mit reproduzierbaren Workflows durch verteilte Entwicklerteams trainieren.
Unsere Lösung
DaSense schafft hierfür eine Deep Learning Umgebung, die Daten und Analysen zusammenführt und das Training von neuronalen Netzen automatisiert ermöglicht. Das DaSense Deep Learning Modul verpackt den aufwendigen Deep Learning-Arbeitsablauf in wenige, definierte Schritte. Dies führt zu einem einfachen und schnellen Workflow ohne jegliche Brüche.
Zunächst wird lokal ein neues neuronales Netz für den spezifischen Anwendungsfall entwickelt und mit wenigen Daten auf korrekte Ablauffähigkeit getestet. Zusammen mit den notwendigen Trainingsparametern wird daraus ein Experiment erstellt und in eine Deep Learning App verpackt. Die Deep Learning App sendet den Trainingscode an alle verfügbaren Cluster, bei Bedarf weltweit. Dies ermöglicht eine parallele Durchführung der Trainings – lokal oder in der Cloud. Zuletzt werden die Ergebnisse gesammelt, ausgewertet und das Modell entsprechend verbessert. Ein neuer Trainingszyklus kann beginnen.
Der Benutzer kann den Status und die Ausführungszeiten von Deep Learning Jobs, die Ressourcennutzung sowie die intelligente Verteilung der Arbeitslast zu jedem Zeitpunkt online verfolgen und jederzeit in den Ablauf eingreifen.
Der Kundennutzen
Neuronale Netze werden so deutlich schneller entwickelt, trainiert und auf Massendaten verifiziert. Betriebsausfälle werden auf ein Minimum reduziert.
Projekt-
steckbrief
Unsere Rolle
-
Unterstützung des Kunden durch Data Scientists, Data Engineers, SW-Entwickler, Architekten im Scrum-Prozess
Unsere Tätigkeiten
-
Konzeption der Big Data Architektur
-
Einrichten von Big Data Workflows zur Konvertierung und Analyse von Daten auf Dev/Prod
-
Entwicklung einer Deep Learning Plattform für Dev/Prod
Technologien & Methoden
-
Applikationen: DaSense, Grafana, ROS, Jira, Confluence
-
Daten/-banken: HDFS, Hbase, MySQL, Hive rosbg, matlab, HDF5
-
Sprachen / Frameworks: Python (Anaconda Stack), Java, Javascript, Hadoop/MapR/AWS, Spark, Yarn, Oozie, Docker Swarm, Mesos, Kubernetes, Caffe, Tensorflow, Kerberos,
-
Methoden: Job Scheduling, Data/Model Management, CI/CD