Um Bildfehler digital zu kompensieren, werden zuerst die beeinträchtigten Bereiche jedes einzelnen eingehenden Bildes algorithmisch erkannt und als Bildfehler markiert. Dazu wurden neuronale Netzwerke darauf trainiert, die Relation zwischen Bildausschnitten mit und ohne Fehler zu erlernen. Im Folgeschritt werden fehlerhafte Bildausschnitte durch das neuronale Netz rekonstruiert im Gesamtbild durch die Rekonstruktionen ersetzt.
Die Entwickler der EDAG Gruppe wählten aus verschiedenen Netzarchitekturen die geeignetsten aus und erzielten mit einer Kombination aus Partial-Convolutional Neural Network (CNN) und Recurrent Convolutional Neural Network (RCNN) die besten Ergebnisse. Durch den Einsatz eines von Lang- und Kurzzeit-Gedächtnis inspirierten RCNN ist die Software in der Lage, auch Informationen aus Vorgänger- und Nachfolgerbildern zur Rekonstruktion zu verwenden. Der Deep-Learning-Ansatz ermöglicht die robuste Rekonstruktion von Bildfehlern, die äußerst variantenreich auftreten können.
Die gewählte Netzarchitektur ermöglicht zudem, Informationen von zuvor gesehenen Objekten und Szenarien zu abstrahieren und grundlegende Zusammenhänge zu erkennen.
So können beispielsweise im Einzelbild verdeckte Objekte auf Basis von Erfahrungswerten aus den vorhergehenden Bildern rekonstruiert werden. Diese Erfahrungswerte werden im Trainingsprozess durch Analyse von Millionen verschiedener Bilder gesammelt; die Korrektheit der Abstraktion wird während des Trainingsprozesses ständig überprüft.
Die EDAG Gruppe hat die Software für die weit verbreiteten Nvidia Autonomous-Plattformen optimiert. Im Ergebnis profitieren Anwender von hochperformanten Algorithmen in Kombination mit einer gängigen Hardwareplattform für eingebettete Systeme.
Das System DiFoRem erhöht die Verfügbarkeit und Robustheit von kamerabasierten Signalen und verbessert so die Qualität der Eingangsdaten von aktuellen Fahrerassistenzsystemen oder automatisierten Fahrfunktionen.
DiFoRem ist kompatibel mit unterschiedlichen Hardwarekomponenten, die in RearView-, FrontView-, TopView- oder SurroundView-Kamerasystemen Verwendung finden.