https://www.fugro.com/our-services/asset-integrity/roadware/equipment-and-softwareGrundvoraussetzung für ein effektives Erhaltungsmanagement einer Straßeninfrastruktur ist die Kenntnis über deren Zustand. Dazu werden in Deutschland regelmäßig Oberflächenbilder der Bundesfernstraßen mit schnellfahrenden Messsystemen aufgenommen und hinsichtlich Fahrbahnschäden manuell ausgewertet. Der Auswerteprozess ist sehr zeitintensiv und unterliegt einer subjektiven Bewertung durch den jeweiligen Auswerter.

Zur Objektivierung und Beschleunigung dieses Vorganges wurden in der Vergangenheit Ansätze unter der Verwendung von künstlicher Intelligenz (KI) verfolgt. Aktuell wurde im Rahmen eines Forschungsprojektes für die automatisierte Lokalisation und Klassifikation von Fahrbahnoberflächenschäden der Einsatz von Neuronalen Netzwerken erprobt.

Die vorliegende Arbeit stellt die dabei erzielten Ergebnisse für die automatisierte Auswertung von Oberflächenbildern der Fahrbahn vor. Neben der Segmentierungsleistung des vorgestellten Ansatzes wird auch die automatisierte Bewertung eines Teils der deutschlandweiten Zustandserfassung und -bewertung (ZEB) der Bundesfernstraßen in den Jahren 2015/16 und 2017/18 betrachtet, um die Möglichkeiten zur automatisierten Bewertung zu untersuchen. Die zum Einsatz kommenden Neuronalen Netzwerke liefern eine räumlich hochgenaue Beschreibung des Oberflächenbilds, welche genaue Aussagen über die Lage und die geometrischen Eigenschaften von Schäden und Objekten ermöglicht. Damit ergeben sich auch neue Möglichkeiten für die Betrachtung der zeitlichen Entwicklung von Schadstellen.

Der Fachvortrag zur Veranstaltung ist im Volltext verfügbar. Das PDF enthält alle Bilder und Formeln.

1 Einleitung

Mit seinen rund 13.200 km Bundesautobahnen und ca. 37.800 km Bundesstraßen besitzt Deutschland eine der leistungsfähigsten Straßeninfrastrukturen des europäischen Verkehrssystems und trägt mit einem eheblichen Anteil zum Bundesvermögen bei. Eine systematische Erhaltung des bestehenden Bundesfernstraßennetzes ist aufgrund eines ständig wachsenden Verkehrsaufkommens, der damit einhergehenden steigenden Infrastrukturbelastung und dem hohen Alter großer Teile der Infrastruktur eine entscheidende Gegenwarts- und Zukunftsaufgabe zur langfristigen Sicherung der Mobilität und damit der wirtschaftlichen Leistungsfähigkeit Deutschlands.

Grundvoraussetzung für die Planung effektiver Erhaltungsmaßnahmen stellt die Kenntnis über den Zustand der Straßeninfrastruktur dar. Dazu werden in Deutschland im Rahmen der jährlichen Messungen zur ZEB der Bundesfernstraßen seit 1992 die Griffigkeit, die Ebenheit und die Substanzmerkmale (Oberfläche) netzweit mit schnellfahrenden, im Verkehr mitschwimmenden Messsystemen erfasst. Dies geschieht aufgrund der großen Netzlänge in einem Turnus von vier Jahren, so dass rund ein Viertel des Bundesfernstraßennetzes jährlich befahren wird. Während hierbei die Oberflächeneigenschaften Griffigkeit und Ebenheit funktionale Kenngrößen darstellen, die sich in erster Linie auf den Gebrauchswert der Straße beziehen, wird durch die Substanzmerkmale (Oberfläche) ein erster Hinweis auf die Beschädigung der Substanz der Straße gegeben. Die grundlegenden Regeln für den Erfassungs- und Bewertungsprozess inklusive der für die ZEB-relevanten Zustandsmerkmale und ihre zugehörigen Zustandsgrößen, die ein quantitativer Ausdruck für die Ausprägung eines Zustandsmerkmals darstellen, sind in (FGSV 2006) beschrieben.

Dieser Artikel beschäftigt sich mit dem Einsatz von künstlicher Intelligenz zur (teil-)automatisierten Detektion und Bewertung von Substanzmerkmalen (Oberfläche) im ZEB-Verfahren und den sich daraus ergebenden neuen Möglichkeiten (Bild 1). Zunächst wird im Abschnitt 2 der Erfassungsprozess der Substanzmerkmale (Oberfläche) vorgestellt. Im Anschluss erfolgt im Abschnitt 3 eine kurze Abhandlung zum Stand der Technik im Themenfeld. Darauf folgend werden in dem Abschnitten 4 und 5 aktuelle Ergebnisse des Forschungsprojektes ASFaLT (ASFaLT 2021), welches im Rahmen der D-A-CH-Kooperation im 2018er Call „Erhaltungsmanagement“ durch die Österreichische Forschungsförderungsgesellschaft mbH beauftragt worden ist und sich mit den Möglichkeiten der automatisierten Lokalisation und Klassifikation von Schäden an der Fahrbahnoberfläche basierend auf Convolutional Neural Networks (CNNs) beschäftigt hat. Der Artikel schließt mit einer kurzen Zusammenfassung und einem Ausblick.

Bild 1: Prozessablauf beim Einsatz von künstlicher Intelligenz zur (teil-)automatisierten Detektion und Bewertung von Substanzmerkmalen (Oberfläche) im ZEB-Verfahren

2 Erfassung der Substanzmerkmale (Oberfläche) in der ZEB

Die Ermittlung der Substanzmerkmale (Oberfläche) basiert auf der optischen Erfassung der Fahrbahnoberfläche mittels bildgebender Verfahren. Dabei kommen derzeit auf den Bundesfernstraßen Messsysteme mit Flächen- oder Zeilenkameras zum Einsatz, wobei die externen Messsystembetreiber einer durch die Bundesanstalt für Straßenwesen (BASt) erteilten Zeitbefristeten Betriebszulassung (ZbBz) bedürfen.

Das von der BASt betriebene Messsystem MEFA (Multifunktionales Erfassungssystem zur Fahrbahnoberflächenanalyse) (Bild 2) verfügt über zwei Zeilenkameras mit einer Auflösung von je 2.048 Pixeln, mittels derer ein Bild der Fahrbahn als 8-Bit-Graustufenbild aufgezeichnet wird. Die Beleuchtung erfolgt über eine gepulste rote LED-Beleuchtung. Je ca. 1,25 mm Fahrstrecke erfolgt eine Zeilenaufnahme, was bei einer Messgeschwindigkeit von 80 km/h ca. 18.000 Zeilenaufnahmen pro Sekunde entspricht. Die Bilder der beiden Zeilenkameras werden digital zusammengesetzt („stiching“) und ermöglichen so eine Erfassungsbreite von 4,60 m. Die beiden Kameras sind unter einer am Kofferaufbau befindlichen Abdeckung rechts und links am Fahrzeugheck jeweils in ca. 2,4 m Höhe montiert. In Fahrtrichtung entsteht somit ein theoretisch unendlich langes Abbild der Fahrbahn, welches ZEB-formatgerecht in 10 m lange Oberflächenbilder überführt wird. Das Messsystem verfügt außerdem über einen Laserscanner zur Ermittlung des Querprofils, der ebenfalls am Fahrzeugheck (mittig) verbaut ist, und über vier Einzellasersensoren (in der rechten Rollspur nach dem HRM-Prinzip angeordnet) zur Ermittlung der Längsebenheit.

Das Messsystem S.T.I.E.R.2 der Lehmann und Partner GmbH, welches zwei monochrome CMOS-Flächenkameras besitzt, ist im Bild 3 dargestellt. Hier erfassen die Sensoren die Oberfläche hinter dem Fahrzeug auf einer Gesamtmessbreite von 4,60 m quer zur Fahrtrichtung und 0,9 m in Fahrtrichtung. Die Auflösung eines Rohbildes (0,9 m lang und 2,35 m breit) beträgt 2560 x 1024 Pixel, die des 10-m-Oberflächenbildes 5030 x 11505 Pixel. Um Einflüsse durch Sonnenlicht oder Schatten größtenteils auszuschließen, wird der Aufnahmebereich durch vier Stroboskopblitzleuchten (sichtbares Licht) ausgeleuchtet. Das Messsystem ist darüber hinaus analog zur MEFA mit vier Laserdistanzsonden und mit einem Laserscanner ausgestattet.

Bild 2: MEFA mit eingeschalteter LED-Beleuchtung; Aufnahmebereich der Zeilenkameras und Strahlengang des Scanners eingezeichnet (BASt)

Bild 3: S.T.I.E.R.2; Aufnahmebereich der Flächenkameras eingezeichnet (Lehmann und Partner GmbH)

Die mittels der schnellfahrenden Messsysteme erzeugten 10-m-Oberflächenbilder werden an speziell für diesen Zweck konzipierten Auswerteplätzen durch für diesen Prozess geschultes Personal betrachtet. Hierbei sind mögliche Fahrbahnoberflächenschäden in standardisierter Form manuell zu detektieren (Bild 4).

Bild 4: Links: TP3-Auswerteplatz der BASt mit Sondertastatur zur Eingabe der Schäden (BASt); Mitte und rechts: Mittels MEFA bzw. S.T.I.E.R.2 erzeugtes 10-m-Oberflächenbild (BASt), (Lehmann und Partner GmbH); jeweils dargestellt die Übergangskonstruktion der Rheinbrücke Köln-Rodenkirchen; auf den Bildern ist die unterschiedliche Charakteristik von Zeilenkamera- und Flächenkamerabildern zu erkennen

Bei der Bildauswertung werden bei Asphaltfahrbahnen die Zustandsmerkmale „Netzrisse, Risshäufungen und Einzelrisse“, „Flickstellen“, „Ausbrüche“, „Offene Arbeitsnähte“ und „Bindemittelanreicherung“ (die beiden zuletzt genannten sind nicht bewertungsrelevant) auf Basis eines Flächenrasters markiert (ja/nein-Entscheidung), welches den Fahrstreifen in Querrichtung in drei gleich breite und in Längsrichtung in jeweils ein Meter lange Felder unterteilt (Bild 5). Für jeden Auswerteabschnitt (in der Regel 100 m lang = 300 Rasterfelder) wird anschließend der prozentuale Anteil der schadhaften Rasterfelder der beiden Zustandsgrößen RISS (von „Netzrissen, Risshäufungen und Einzelrissen“ betroffener Flächenanteil) und RSFA (Restschadensfläche Asphalt = von „Flickstellen“ und/oder „Ausbrüchen“ betroffener Flächenanteil, der jedoch gleichzeitig keine „Netzrisse, Risshäufungen und Einzelrisse“ enthält) ermittelt.

Bild 5: Flächenraster bei Asphaltbauweisen                

Bild 6: Plattenbezogene Auswertung bei Betonbauweisen

Bei Betonfahrbahnen erfolgt die Auswertung fahrstreifenweise auf Basis der jeweiligen Platte (Bild 6). Es sind für jede Platte die Zustandsmerkmale „Längs- und Querrisse“, „Eckabbrüche“, „Kantenschäden“, „Abplatzungen und Nester“ sowie „Teilersatz Asphalt“ zu codieren (Angabe der Längen, der Anzahl bzw. von ja/nein-Entscheidungen). Aus den markierten Schäden werden für den jeweiligen Auswerteabschnitt die Zustandsgrößen LQRP (von „Längs- und Querrissen“ betroffener Plattenanteil) und RSFB (Restschadensfläche Beton = prozentualer Anteil aller schadhaften Betonplatten, die jedoch gleichzeitig keine „Längs- und Querrisse“ enthalten) bzw. die Zustandsgröße LQRL (mittlere Risslänge auf den von „Längs- und Querrissen“ betroffenen Platten) bestimmt.

Eine rein manuell praktizierte Auswertung der Fahrbahnoberflächenbilder stellt einen zeit- und personalintensiven Baustein des ZEB-Verfahrens dar, mit dem hohe Kosten verbunden sind und der zu einer langen Zeitspanne zwischen Erfassung und finaler Datenbereitstellung der ZEB-Ergebnisse an die für die Erhaltungsplanung relevanten Empfänger beiträgt.

Trotz bestehender Auswerteregeln (FGSV 2006), die durch die BASt in Kooperation mit den jeweiligen Auftraggebern der Bundesfernstraßenerfassungen (Straßenbauverwaltungen der Länder bzw. Die Autobahn GmbH des Bundes) im Zuge der Beauftragung konkretisiert werden, ist ein Einfluss des Auswerters infolge seiner subjektiven Wahrnehmung vorhanden. Ebenso ist die Möglichkeit von Fehlinterpretationen in diesem für den Auswerter ermüdenden Prozess nicht vollständig auszuschließen. Auch der das ZEB-Verfahren begleitende Qualitätsmanagementprozess mit regelmäßigen Kontrollprüfungen (alle ca. 2.000 Messkilometer wird jeder Messsystembetreiber durch die BASt einer stichprobenhaften Kontrolle unterzogen) und zusätzlichen Stichprobenprüfungen nach durch den Betreiber an den jeweiligen Auftraggeber erfolgter Datenübergabe kann diese Einflüsse nicht komplett eliminieren.

Vor diesem Hintergrund und da die Ergebnisse der ZEB einen wichtigen Baustein für die Planungsprozesse im Bereich des Erhaltungsmanagements darstellen und sie somit zeitnah und qualitätsgesichert zur Verfügung stehen müssen, gibt es Bestrebungen den manuellen Auswerteprozess durch den Einsatz von Verfahren der KI zu (teil-)automatisieren.

3 Stand der Technik

In diesem Abschnitt werden zunächst zurückliegende Forschungsaktivitäten der BASt im Zusammenhang mit Assistenzsystemen zur (teil-)automatisierten Detektion und Bewertung von Substanzmerkmalen (Oberfläche) im ZEB-Verfahren erläutert, bevor auf den Stand der Technik auf System- und auf Softwareebene bei der visuellen Schadstellendetektion eingegangen wird.

3.1 Forschungsaktivitäten der BASt zur (teil-)automatisierten Detektion und Bewertung von Substanzmerkmalen (Oberfläche) im ZEB-Verfahren

Erste Untersuchungsansätze der BASt, den Auswerteprozess der Fahrbahnoberflächenschäden innerhalb des ZEB-Prozesses (teil-)automatisiert abwickeln zu können, gehen auf das Jahr 1997 zurück. Im Rahmen von (Elser, Kleinert 1997), einer von der IBM Deutschland Entwicklungs GmbH absolvierten Machbarkeitsstudie, wurden u. a. Vorschläge für Algorithmen zur teil- und vollautomatischen Erkennung und Quantifizierung der geltenden Schadensmerkmale erarbeitet.

Die Möglichkeit zur Verwendung von Neuronalen Netzen für die Erkennung von Rissen wurde von (Schmidt; Hitzmann et al. 2009) beleuchtet. Dabei wurde festgestellt, dass der Einsatz von Neuronalen Netzen grundsätzlich möglich ist und bei geeignetem Bildmaterial auch zufriedenstellende Erkennungsquoten verspricht. Es erging der Hinweis auf die in erheblichem Maße von der digitalen Bildvorverarbeitung abhängige Leistungsfähigkeit und die Notwendigkeit einer ausreichenden und repräsentativen Datenbasis für das Training der Neuronalen Netze.

Innerhalb von (Canzler, Winkler 2007) und (Canzler, Winkler 2012) wurde ein System zur automatisierten Merkmalserkennung entwickelt. Im Zuge der umgesetzten Merkmalsextraktion kamen die beiden klassischen Bildverarbeitungsalgorithmen „lokale Minimum-Suche“ und „Wasserscheidentransformation“ zur Anwendung. Eine qualitative Evaluierung des Verfahrens zeigte vielversprechende Resultate hinsichtlich der Codierung von Rissen, wobei aber eine vollautomatische Klassifikation nicht erfolgreich gewesen ist.

In einem durch das deutsche Bundesministerium für Bildung und Forschung (BMBF) geförderten Forschungsprojekt mit dem Titel „Assistierendes und interaktiv lernfähiges Videoinspektionssystem für Oberflächenstrukturen am Beispiel von Straßenbelägen und Rohrleitungen“ (ASINVOS 2016), bei dem die BASt als assoziierter Partner mitwirkte, konnte die prinzipielle Eignung tiefer Neuronaler Netze für die Entwicklung von Verfahren zur automatisierten Bilderauswertung nachgewiesen werden.

3.2 Stand der Technik auf Systemebene

Auch auf internationaler Ebene lassen sich Bestrebungen finden, um die Automatisierung der Zustandserfassung voranzutreiben. In Hinblick auf international verfügbare kommerzielle Systeme spielt dabei das Laser Crack Measurement System (LCMS) der Firma Pavemetrics eine wichtige Rolle, welches auch in den Erfassungssystemen ARAN (fugro 2022) und hawkeye 2000 (ARRB 2022) zum Einsatz kommt. Das System arbeitet auf Grundlage des Lichtschnittverfahrens, um die Straßenoberfläche dreidimensional erfassen zu können. Dabei werden neben den Tiefenwerten, welche für die automatisierte Detektion von Rissen, Nähten und Ausbrüchen herangezogen werden, auch Reflextanzwerte ermittelt, die für die automatisierte Erkennung von versiegelten Rissen und weiteren Objektklassen Verwendung finden. Auch die automatisierte Erkennung von Flickstellen wird grundsätzlich unterstützt, allerdings müssen diese Detektionen oft händisch nachgearbeitet werden (Hassan; McKeever et al. 2022).

3.3 Stand der Technik bei visueller Schadstellendetektion

Seit dem ersten Verfahren im Jahr 1991 (Lee 1991) wurde eine Vielzahl an unterschiedlichen Ansätzen zur automatischen visuellen Schadstellendetektion entwickelt. Frühe Verfahren basieren auf klassischer Bildverarbeitung. Diese Verfahren beruhen auf der Kombination von Techniken zur Reduktion von Beleuchtungseinflüssen mit Schwellwertverfahren, um Risse der Straßenoberfläche als lokale Minima im Bildraum zu detektieren (Zou; Cao et al. 2012), (Peng; Chao et al. 2015), (Oliveira; Correia 2014), (Fernandes; Ciobanu 2014), (Kaddah; Elbouz et al. 2018).

In Folge methodischer Weiterentwicklung und mit der Verfügbarkeit steigender Rechenressourcen werden Verfahren der klassischen Bildverarbeitung mit von Experten entworfenen Merkmalsdetektoren und Fehlerfunktionen immer weiter durch Deep-Learning-basierte Algorithmen verdrängt. Diese Algorithmen unterscheiden sich hautsächlich in Bezug auf die eingesetzte Netzwerkarchitektur, die zu unterscheidenden Schadensklassen und die eingesetzte Kameratechnik (Orthofotos oder Frontalfotos). Dabei kann eine Unterteilung in die nachfolgend aufgeführten drei Kategorien vorgenommen werden.

3.3.1 Risserkennung

Die ersten Versuche zur CNN-basierten Risserkennung in (Zhang; Yang et al. 2016) und (Gopalakrishnan; Khaitan et al. 2017) verwenden LeNet-5-basierte (Lecun; Bottou et al. 1998) oder VGG-basierte (Simonyan; Zisserman 2014) CNNs, um jeweils für kleine Bildausschnitte eine Aussage zur Anwesenheit von Rissen treffen zu können. Beide Ansätze müssen erst in vollständige CNNs umgewandelt werden, um sie auf das gesamte Bild anwenden zu können und eine semantische Bildsegmentierung (Bestimmung von inhaltlich zusammenhängenden Bildregionen und Zuweisung eines Klassenlabels) zu erhalten, welche die räumlich exakte Lokalisation von Schäden ermöglicht. Daher hat sich die Verwendung von Netzwerkstrukturen, welche direkt eine Bildsegmentierung berechnen, in den letzten Jahren immer weiterverbreitet. So wurden beispielsweise U-Net-basierte (Ronneberger, Fischer et al. 2015) Architekturen, die auch im Bereich der biomedizinischen Bildsegmentierung häufig Anwendung finden, von mehreren Forschern erfolgreich zur Risserkennung eingesetzt (Wu; Lu 2020), (Augustauskas; Lipnickas 2020), (Huyan; Li et al. 2020). Außerdem fanden angepasste Versionen von SegNet-Architekturen in der Domäne Risserkennung Anwendung (Zou; Zhang et al. 2019).

3.3.2 Allgemeine Schadstellenklassifikation in Orthofotos

Die überwiegende Mehrheit der Forschungsarbeiten konzentriert sich nur auf die Risserkennung. In (Louk, Riid et al. 2020) wird jedoch eine U-Net-ähnliche Netzwerkarchitektur mit unterschiedlichen Auflösungsstufen vorgeschlagen, um mehr Kontext zu integrieren. Die Autoren betrachten verschiedene Schadstellenarten, führen jedoch nur eine Klassifikation in geschädigte und schadenfreie Bereiche durch. Eine Vorgehensweise zur Unterscheidung zwischen Rissen, versiegelten Rissen und Schlaglöchern findet sich in (Majidifard; Adu-Gyamfi et al. 2020). Dabei verwenden die Autoren eine Kombination aus der U-Net-Architektur und dem YOLO (You Only Look Once)-Ansatz (Redmon, Divvala et al. 2016).

3.3.3     Allgemeine Schadstellenklassifikation in Frontalfotos

Die Schadstellenerkennung in frontal ausgerichteten Bildern findet in der Literatur breite Anwendung (Anand; Gupta et al. 2018), (Yang 2019). Aufgrund der geringen metrischen Auflösung konzentrieren sich diese Ansätze jedoch oft auf schwerwiegende Schäden und erfüllen nicht die im Rahmen der ZEB von Bundesfernstraßen erforderliche Sensitivität (Erkennung von Rissen ab 1 mm Rissbreite (FGSV 2016)).

4 Automatisierte Schadstellen- und Objektdetektion

Forschungsansätze im Bereich der Fahrbahn, den bis dato manuellen und damit extrem zeit- und personalintensiven Auswerteprozess relevanter Schadensmerkmale (teil-)automatisiert abwickeln zu können, zeigten in der Vergangenheit nicht durchweg den gewünschten Erfolg, da u. a. die erforderliche Rechenressourcen und leistungsstarke Methoden nicht zur Verfügung standen. Aufgrund der rasanten Entwicklung im Bereich der Rechenleistung und durch neue Verfahren aus dem Bereich des Maschinellen Lernens können mittlerweile bessere Klassifikationsergebnisse erreicht werden. Einen wesentlichen Beitrag hin zu einer automatisierten Schadstellen- bzw. Objektdetektion konnte mit Bearbeitung des Projektes ASFaLT geleistet werden, auf dessen Inhalt und Ergebnissen die nachfolgenden Darstellungen zum größten Teil basieren.

4.1 Schadens- und Objektklassen

Voraussetzung für das Trainieren eines Neuronalen Netzes sind zum einen eine ausreichende Datenbasis und zum anderen eine klare Definition von Schäden und Objekten, die mittels der KI automatisiert erkannt werden sollen. Innerhalb des Projektes ASFaLT wurden daher zunächst Schadens- und Objektklassen in einem Labelkatalog definiert, der für die drei D-A-CH-Länder universelle Labelklassen (Objekt- und Schadensklassen) enthält und an Beispielen deren Eigenschaften beschreibt. Darüber hinaus wurde in dem Katalog festgelegt, wie diese Schäden und Objekte für das Training der Detektoren in den Bildern zu markieren sind (Abschnitt 4.2.3). Auf diese Weise entstanden 25 Labelklassen für die Asphaltbauweise (12 Schadensklassen, 13 Objektklassen) (Bild 8). Darüber hinaus wurden im Rahmen des Projekts auch 31 Labelklassen für die Betonbauweise definiert (16 Schadklassen, 15 Objektklassen), wobei der Fokus der vorliegenden Ausarbeitung auf der Auswertung der Ergebnisse von Straßen in Asphaltbauweise liegt.

4.2 Training des Systems zur Schadstellen- und Objektdetektion

CNNs bilden im Projekt ASFaLT die Grundlage für die Detektion von Schäden und Objekten auf den zum Einsatz kommenden Orthofotos. Als Spezialisierung der künstlichen Neuronalen Netzwerke eignen sich diese Netzwerke besonders, um Klassifikationen auf Grundlage von Bilddaten durchzuführen. Das Netzwerk nimmt dabei die Graustufenwerte aller Bildpixel als Input und verarbeitet diese durch mehrere Schichten von Neuronen, welche durch Aktivierungs- und Ausgabefunktionen die Eingabedaten gewichtet transformieren. Am Ausgang des Netzwerks kann eine durch das Netzwerk getroffene Klassenentscheidung in Form über die größte Aktivierung des zur Klasse korrespondierenden Ausgabeneurons ermittelt werden. Durch zielgerichtete Modifikation der Gewichtswerte kann das Ausgabeverhalten des Netzwerks modifiziert und das Netzwerk auf verschiedene Problemstellungen trainiert werden. Im Gegensatz zu konventionellen maschinellen Lernverfahren, bei denen ein explizites Design der Merkmalsextraktion nötig ist, ist die Merkmalsextraktion bei CNNs impliziter Teil der Netzwerkarchitektur. Welche Merkmale in welcher Ausprägung relevant sind, wird während eines Trainingsprozesses datengetrieben gelernt. Nach Abschluss des Trainings kann das Neuronale Netzwerk auch auf Daten angewendet werden, die der Problemklasse der Trainingsdaten entsprechen, aber nicht in den Trainingsdaten enthalten waren. Gute Trainingsdaten und einen geeigneten Trainingsprozess vorausgesetzt, ist das trainierte Modell in der Lage, zu generalisieren und auch auf diesen zum Trainingszeitpunkt unbekannten Daten korrekte Schätzungen zu erzeugen.

Im Folgenden wird zunächst der Aufbau des im Rahmen des ASFaLT-Projekts zur Anwendung gekommenen CNNs erläutert und die für das Training erforderliche Art der Annotation von Bilddaten beschrieben, bevor die erzielten Ergebnisse präsentiert werden.

4.2.1 Detektionssystem

Um die Schadstellen und Objekte in den Oberflächenbildern exakt verorten zu können, wurden im Rahmen des ASFaLT-Projekts unterschiedliche CNNs für die semantische Segmentierung auf ihre Eignung in dieser Anwendungsdomäne untersucht. Neben Netzwerken mit U-Net (Ronneberger; Fischer et al. 2015) basierter Architektur wurden Untersuchungen mit PSP-Net (Zhao; Shi et al. 2017) und DeepLabV3+ (Chen; Zhu et al. 2018) und verschiedene Abwandlungen der Architektur durchgeführt. Die besten Ergebnisse konnten mit einer PSP-Net-basierten Architektur erzielt werden, welche im Folgenden vorgestellt wird.

Der Aufbau eines Segmentierungsnetzwerks lässt sich in einen Encoder (Backbone), ein Kontextmodul und einen Decoder unterteilen (Bild 7). Für das Backbone findet ein ResNet-18 (He; Zhang et al. 2016) Verwendung, welches eine Reduktion der Eingangsauflösung auf ein 32tel der Eingangsauflösung vornimmt. Als Kontextmodul kommt ein Spatial Pyramid Pooling Modul zum Einsatz, welches die Ausgabe des Encoders auf unterschiedlichen Auflösungsstufen verarbeitet, um besser Kontextinformationen verarbeiten zu können. Im Decoder werden die Ausgaben des Encoders und des Kontextmoduls verarbeitet und hierbei die interne Merkmalsrepräsentation wieder vergrößert, bis sie eine Auflösung ähnlich zu der Eingangsauflösung haben.

Bild 7: Der Aufbau des CNNs als Kombination aus Encoder, Kontextmodul und Decoder. Im Encoder findet in vier Blöcken eine Auflösungsreduktion auf ein 32tel der Eingangsauflösung statt. Das Kontextmodul kombiniert die Ausgaben auf vier unterschiedlichen Auflösungsstufen für die Integration von Kontext und der Decoder überführt die interne Netzwerkrepräsentation des Eingangsbildes in eine pixelgenaue semantische Segmentierung

In (Stricker; Aganian et al. 2021) wird die vorgestellte Architektur noch um die Verwendung von Kontextinformationen, wie z. B. die Position des Bildes relativ zur Fahrbahn, erweitert, um die Qualität der Segmentierungsergebnisse zu verbessern. Da sich hierdurch die Aussagen zu den Erkennungsleistungen für die einzelnen Schadensklassen jedoch nur geringfügig verbessern, finden diese Erweiterungen im Weiteren keine Verwendung.

4.2.2 Überführung der Netzwerksegmentierung in die ZEB-Rasterung

Um die Segmentierungsergebnisse auch im Rahmen der ZEB verwenden zu können, sind diese in die standardisierte ZEB-Rasterung zu überführen. Dazu werden die von dem System ausgegebenen semantischen Segmentierungen zunächst über klassenspezifische Mindestlängen und -flächen gefiltert, um zu kleine und unplausible Detektionen zu unterdrücken. Anschließend wird die ZEB-Rasterung automatisiert in den zu bewertenden Fahrstreifen eingepasst. Nach der Überführung der größenabhängig gefilterten Segmentierungsergebnisse in die für die ZEB-relevanten Schadensmerkmale (z. B. „Einzelriss SG1 (saniert)“ und „Einzelriss SG3“ in RISS), kann die Detektion mit dem ZEB-Raster verschnitten werden, um die Aktivierungen der Rasterfelder zu bestimmen.

Die Detektion von Flickstellen ist besonders bei einer sehr großen räumlichen Ausdehnung ein nicht triviales Problem. Ohne Kenntnis des Streckenkontexts lässt sich für ein 10-m-Oberflächenbild in vielen Fällen nicht zweifelsfrei erkennen, welche Oberflächenart der ‚‘normalen‘‘ Oberfläche zuzuordnen ist und welche die eigentliche Flickstelle darstellt. Um diesem Umstand Rechnung zu tragen, wurde der Schadstellendetektor nur auf dem eigentlichen Übergangsbereich zwischen ‚‘normaler‘‘ Oberfläche und Flickstelle trainiert. Der trainierte Detektor ordnet entsprechend auch nur diesen Übergangsbereich den jeweiligen Flickstellenklassen zu. Zur Bestimmung der korrekten Fläche von Flickstellen müssen diese Umrissdetektionen wieder zu Flächen konvertiert werden, was auf Grundlage von zusammenhängenden Umrissen erfolgt. Um auch für Flickstellen im Randbereich des Bildes oder im Randbereich der Straße einen Umriss bestimmen zu können, werden die beiden Flickstellenklassen zusätzlich von Objekten, welche außerhalb des für die ZEB bewertungsrelevanten Bereichs des Fahrstreifens liegen (Bankett, Biomasse, Pflaster, Straßenablauf, Borde, Schacht), und von dem Bildrand begrenzt.

4.2.3 Detailgenaue Annotation von Trainingsdaten

Basierend auf dem entwickelten Labelkatalog (Abschnitt 4.1) erfolgte das manuelle Labeling von Schadstellen und Objekten auf Oberflächenbildern, um das Training der Detektoren zu ermöglichen. Dabei ist anzumerken, dass sich das Labeling deutlich von der, in unterschiedlichen Länderstandards festgelegten, ZEB-Schadstellenerfassung unterscheidet, bei der in der Regel keine exakte räumliche Erfassung der Schäden stattfindet. Um das Training Neuronaler Netzwerke zu ermöglichen, wurden relevante Schadens- und Objektinstanzen „pixelgenau“ erfasst (Bild 8).

Bild 8: Labeling von Oberflächenbildern durch pixelgenaue Schadens- und Objektmasken

Um eine Bewertung der trainierten Detektoren zu ermöglichen, wurde der im Projekt verwendete Datensatz in unterschiedliche Teildatensätze aufgeteilt. Der Trainingsdatensatz (ca. 75 % des Gesamtdatensatzes) wurde ausschließlich für das Training der Netzwerke verwendet, der Validierungsdatensatz (ca. 20 %) ermöglichte eine Beendigung des Trainings zum optimalen Zeitpunkt und einen ersten Vergleich für den Einsatz unterschiedlicher Parameter. Der Testdatensatz (ca. 5 %) wiederum wurde für die finale Bewertung herangezogen.

Die Teildatensätze wurden derart erzeugt, dass Oberflächenbilder von einer Straße jeweils nur in einem der Datensätze vertreten waren und die Datensätze dennoch eine möglichst gleiche Verteilung an Schadens- und Objektklassen aufwiesen.

4.2.4 Ergebnisse

4.2.4.1 Bewertung der Schadstellensegmentierung

Für Training und Test wurde ein Datensatz mit 752 Oberflächenbildern und über 15.000 gelabelten Schäden und Objekten verwendet. Details zu weiteren Trainingsparametern finden sich in (ASFaLT 2021).

Die im Kontext von Segmentierungsaufgaben in der Literatur häufig verwendete Mean Intersection over Union (mIOU), welche ein Maß für die flächenhafte Übereinstimmung der automatisiert erkannten Objekte und Schäden mit den manuell gelabelten Daten darstellt, liegt auf den Testdaten bei 0.537. Insbesondere in Anbetracht vieler linienförmiger Objekte (Risse, Übergangsbereiche von Flickstellen etc.) stellt dieser Wert eine sehr gute Segmentierungsleistung dar, was sich auch visuell bestätigt (Bild 9). Die Schäden und Objekte können von dem Netzwerk hochgenau lokalisiert werden und sind auch über ihre geometrischen Eigenschaften beschreibbar.

Bild 9: Beispielhafte Segmentierungsausgaben (Detektion) des Netzwerks auf während des Trainings unbekannten Daten (Testdaten). Die von einem Menschen gelabelten Daten sind jeweils als Vergleich dargestellt (Label). Die Ausgabe ganz rechts korrespondiert mit dem Label aus Bild 8

4.2.4.2 Vergleich mit manueller Zustandserfassung

Für den Vergleich des automatisierten Systems mit der klassischen, standardisierten Zustandserfassung erfolgte die Auswahl von Testdaten aus den deutschlandweiten Bundesfernstraßenbefahrungen der Jahre 2015/16 und 2017/18.

Um eine strukturierte Analyse zu ermöglichen, wurden zu Testzwecken 10-m-Oberflächenbilder in Abhängigkeit des Gesamtwertes (GW) bzw. des Zustandswertes RISS (ZWRISS) in drei unterschiedlichen Kategorien untersucht:

• aus Abschnitten mit einem GW von 1,0,
• aus Abschnitten mit mittelmäßig vielen Rissschäden (ZWRISS zwischen 3,0 und 4,0),
• aus Abschnitten mit sehr vielen Rissschäden (ZWRISS zwischen 4,5 und 5,0).

Für diese drei Kategorien von Oberflächenbildern wurden pro Bundesland jeweils ca. 2 % der verfügbaren 100-m-Abschnitte (im Folgenden als Sequenzen bezeichnet) der Bundesfernstraßen (bei Bundesautobahnen (BAB) nur Hauptfahrstreifen) randomisiert gezogen, um eine möglichst hohe Variabilität der Daten zu gewährleisten.

4.2.4.3 Sequenzen mit GW 1,0

Für die Bewertung der schadenfreien Strecken wurden insgesamt 16,9 km BAB (169 Sequenzen) ausgewertet. Um zu bewerten, wie gut das automatisierte System diese Strecken auch als schadenfrei erkennt, ist im Bild 10 die Verteilung der als schadhaft detektierten Gridzellen (entspricht einem Rasterfeld bei der Asphaltbauweise, siehe Bild 5) über alle Sequenzen dargestellt.

Wie im Bild 10 zu entnehmen ist, wurden in 64,5 % der Sequenzen (109) weniger als 1 % schadhafte Gridzellen detektiert. In 79,3 % der Sequenzen (134) wurden weniger als 3 % der Gridzellen als schadhaft ausgewiesen. Wenn die Toleranz auf 10 % Abweichung zur menschlichen Bewertung erhöht wurde, fielen 90,5 % der Sequenzen (153) unter diese Abweichungsschwelle.

Bild 10: Automatisierte Auswertung von schadenfreien Sequenzen – die Grafik zeigt für die Streckenabschnitte auf Bundesautobahnen die jeweils als geschädigt ausgegebenen Gridzellen pro 100-m-Abschnitt in Prozent. Die gestrichelten Linien in rot, grün und gelb geben als Orientierung 1 %, 3 % und 10 % der Gesamtanzahl an Gridzellen pro Sequenz an

Um zu analysieren, auf welchem Umstand die Markierung als geschädigte Gridzellen zurückzuführen ist, wurden die Sequenzen visuell gesichtet. Dabei konnten unterschiedliche Ursachen für die Aktivierung von Gridzellen auf den eigentlich durch den menschlichen ZEB-Auswerter als schadenfrei eingestuften Sequenzen gefunden werden. Eine Ursache ist auf Ausprägungen von Schadensklassen zurückzuführen, die in den Trainingsdaten nicht oder nur unzureichend vertreten waren. So wurden z. B. Fahrbahnmarkierungsrückstände in einigen Fällen als aufgelegte Flickstellen erkannt (Bild 11 links). Auch kam es vor, dass Fugen- und Nahtbereiche fehlerhaft als Nahtrisse detektiert wurden, auch wenn diese, nach wiederholter Prüfung, eher eine intakte Naht darstellen. Insbesondere die Rissdetektion erweist sich jedoch als robust, so dass die auf den schadenfreien Sequenzen erkannten Risse in der Regel auf tatsächliche Schäden zurückgeführt werden können, die bei der menschlichen Bewertung übersehen wurden.

Bild 11: Fehlerquellen für die Erkennung von schadhaften Bereichen auf den als schadenfrei eingestuften ZEB-Sequenzen. Links: Rückstände einer temporären Fahrbahnmarkierung weisen eine große Ähnlichkeit zu aufgelegten Flickstellen auf. Rechts: Systematische Fehler bei unbekanntem Messsystem – Schattenwürfe des Kameraträgers infolge starker Sonneneinstrahlung in Verbindung mit einem unbekannten Messsystem führen zu systematischen Flickstellenfehldetektionen an Bildnahtstellen und im Schattenbereich

Das größte systematische Problem zeigt sich bei deutlich ausgeprägtem Schattenwurf und/ oder bei Bildern von Messsystemen, welche in den Trainingsdaten nicht oder nur in sehr geringem Umfang enthalten waren (Bild 11 rechts). Diese Sequenzen können zu einer sehr großen Abweichung von der menschlichen Auswertung führen, da hier großflächig Gridzellen als schadhaft markiert werden.

4.2.4.4 Sequenzen mit Oberflächenschäden

Für die Analyse von Sequenzen, welche bei der menschlichen Auswertung als fehlerhaft bewertet wurden, konnten insgesamt 182,9 km aufgeteilt auf 2.666 Streckenabschnitte analysiert werden. Für diese Streckenabschnitte wurde die Korrelation zwischen den von der KI ermittelten Schadenswerten und der manuellen Auswertung berechnet. Dazu wurden die aktivierten Rasterfelder pro Bild aufsummiert und einander gegenübergestellt. Die Ergebnisse dieser Analyse sind in der Tabelle 1 zusammengefasst.

Tabelle 1: Die Tabelle dient dem Vergleich der Korrelation und der Anzahl der Detektionen auf den Sequenzen auf Bundesautobahnen (BAB) und Bundesstraßen (B). Dabei wird nach Sequenzen nahe des Warnwerts für ZWRISS (ZWRISS zwischen 3,0 und 4,0 -> ~3,5) und mit ZWRISS zwischen 4,5 und 5 (~5) unterschieden

Bei genauerer Betrachtung der Schadensklasse RISS fällt die Korrelation zunächst geringer aus als erwartet, da diese Klasse in den Voruntersuchungen sehr gut detektiert werden konnte. Ein Blick auf die Anzahl der Detektionen verdeutlicht, dass die KI für diese Klasse vermutlich noch zu sensitiv reagiert. Eine Ursache besteht darin, dass die Mindestlänge, ab der eine Detektion als Riss stattfindet, bei einer menschlichen Bewertung höher liegt, als dies aktuell für die KI der Fall ist.

Die Korrelationswerte für die Detektion von Flickstellen fallen in den getesteten Sequenzen sehr niedrig aus. Einen maßgeblichen Einfluss hierauf haben Flickstellen, die sich über größere Flächen oder über die gesamte Fahrbahnbreite erstrecken. Da durch die vorgestellte KI nur der Übergangsbereich zwischen Flickstelle und normaler Fahrbahnoberfläche erkannt wird, wird auf die zugrundeliegende Fläche aus der Umrandung der Flickstelle geschlossen (vgl. 4.2.2). Diese Umrandung wird jedoch nicht immer vollständig fehlerfrei erkannt, so dass es zu großen Abweichungen in der Fläche kommen kann. Dies trifft insbesondere auf Flickstellen zu, welche sich über die gesamte Fahrbahnbreite erstrecken, da für diese ggf. keine Ausdehnung in Fahrtrichtung bestimmt werden kann. Erschwerend kommt hinzu, dass die hier vorgestellte KI nur jeweils ein 10-m-Oberflächenbild auswertet, keine Informationen aus benachbarten 10-m-Oberflächenbildern berücksichtigt und somit Deckensanierungen des angrenzenden Fahrstreifens zu einer fehlerhaften Bewertung als Flickstelle führen.

Es bleibt festzuhalten, dass bei der Rissdetektion und bei der Detektion von schadenfreien Streckenabschnitten auf Asphaltoberflächen gute Ergebnisse erzielt wurden. Flächenklassen, wie z.B. Flickstellen, wurden jedoch noch nicht auf dem für eine vollständige Automatisierung angestrebten Niveau detektiert. Als Einsatzszenario würde sich daher z. B. für die Bauweise Asphalt eine Teilautomatisierung anbieten, die eine automatische Vorauswertung durchführt, welche anschließend noch einmal qualitativ durch den Menschen abgesichert werden muss. Hierbei könnte sich der Auswerter besonders die von der KI gelieferte Information über das Vorliegen eines schadenfreien Streckenabschnittes zu Nutzen machen.

5 Bewertung der Schadensentwicklung

Eine automatisierte Auswertung ermöglicht im Vergleich zur bisher üblichen manuellen Betrachtung eine sehr detailreiche Schadensdetektion. So können z. B. Risslängen einfach exakt bestimmt werden. Dies bietet im Gegensatz zur klassischen ZEB-Methode, bei der z. B. bei der Codierung von Rissen auf Asphaltfahrbahnen hinsichtlich des Vorliegens eines Schadens nur eine ja/nein-Entscheidung zu treffen ist, neue Möglichkeiten zur Dokumentation und Analyse einer objektscharfen Schadensentwicklung.

5.1 Synchronisation von Bildmaterial

Für die Beurteilung der Entwicklung von Schäden müssen Befahrungen von unterschiedlichen Zeitpunkten in räumliche Deckung gebracht werden. Grundlage hierfür bilden die mit GPS-Daten versehenen Bildsequenzen der einzelnen Befahrungen, deren Bilder zueinander ausgerichtet werden müssen, damit die Veränderungen der in den Bildern enthaltenen Schäden analysiert werden können.

Die Befahrungen können dabei mit unterschiedlichen Messsystemen erfolgt sein, so dass sich die Oberflächenbilder in Hinblick auf Auflösung und photometrische Eigenschaften stark unterscheiden können. Erschwerend kommt hinzu, dass die aufgezeichneten Oberflächenbilder unterschiedliche Ausschnitte der Straßenoberfläche beinhalten und die Verortung nur im Meterbereich exakt erfolgen muss.

Um die unterschiedliche Lage der Oberflächenbilder auszugleichen, müssen für die räumliche Synchronisation drei Bilder betrachtet werden: Ein Referenzbild aus einer gewählten Befahrung und zwei Bilder (Kandidat 0 und Kandidat 1) aus der mit dieser Befahrung zu vergleichenden Befahrung, da sich die Bildbereiche des ersten 10-m-Oberflächenbildes in der Regel über zwei Bilder in der zweiten Sequenz erstrecken. Die beiden Kandidaten werden über die in den Bildern hinterlegten GPS-Koordinaten zugeordnet und anschließend zusammengeführt, sodass sich ein doppelt so langes Oberflächenbild ergibt, in welchem das Referenzbild synchronisiert werden kann (Bild 12 links).

Um Störfaktoren auf den Bildern zu vermindern und die Synchronisation zu vereinfachen, wurde im Projekt ASFaLT eine Bildnormalisierung verwendet. Zur Synchronisation müssen die Verschiebung in horizontaler dx und vertikaler dy Richtung bestimmt werden sowie die horizontale und vertikale Skalierung sx, sy und die Rotation φ zwischen den Befahrungen ermittelt werden. Die Schätzung dieser Transformationsparameter erfolgt durch das iterative Verfahren der Differential Evolution, welches durch zielgerichtetes Absuchen des Parameterraums ein Minimum des Lagefehlers ermittelt. Als robuste Fehlerfunktion für die Beurteilung des Lagefehlers wurde im Projekt ASFaLT die Regional Mutual Information eingesetzt (Lembach, Stricker et al. 2020) (Bild 12 rechts).

Bild 12: Links: Visualisierung des Stitchings und der Bildsynchronisation. Die Transformationsparameter werden bestimmt, indem die beiden Kandidaten zuerst bei d_y zusammengesetzt und dann die Skalierung s sowie die horizontale Verschiebung d_x angewendet werden. Rechts: Fehlergebirge für die Optimierung der Transformationsparameter über die mittlere quadratische Differenz (MSE) und die Regional Mutual Information (RMI). Bei Verwendung der RMI ergibt sich ein klares lokales Minimum. (Lembach, Stricker et al. 2020)

5.2 Schadensentwicklung

Aufbauend auf den räumlich synchronisierten Befahrungssequenzen und auf Basis der von dem Detektor generierten Schadenskarte erfolgt die Bewertung der zeitlichen Schadensentwicklung auf Grundlage einer sogenannten Change Detection Analyse. Diese Art der Analyse ist ein im Remote-Sensing-Bereich weit verbreitetes Verfahren zur Erkennung von Veränderungen in Bilddaten, die zu verschiedenen Zeitpunkten aufgenommen wurden (Fichera; Modica et al. 2012). Dieses Konzept wird leicht abgewandelt adaptiert, um Schadensausprägungen zu verschiedenen Zeitpunkten entlang definierter Kriterien zu vergleichen.

Bild 13: Ergebnis der automatischen Schadstellenanalyse zu zwei Zeitpunkten eines Straßenabschnitts (rechts) und die zugehörigen Schadensmerkmale (links oben). Links unten ist die Veränderung der Schadensmerkmale zwischen beiden Zeitpunkten abzulesen

Je Bilddatenpaar werden die Indikatoren Länge [m] bzw. Fläche [m²] der relevanten Schadensmerkmale berechnet. Durch Vergleich der Indikatoren kann die Veränderung zwischen den unterschiedlichen Zeitpunkten beurteilt werden (Bild 13).

6 Zusammenfassung und Ausblick

Die Automatisierung weist in der Domäne der Schadstellen- und Objektdetektion auf Straßenoberflächen ein sehr großes Potenzial auf. Es konnten insbesondere bei der Rissdetektion und bei der Detektion von schadenfreien Streckenabschnitten auf Asphaltoberflächen gute Ergebnisse erzielt werden. Flächenklassen wurden noch nicht auf dem für die Automatisierung angestrebten Niveau detektiert. Dies gilt auch für Betonschäden, die in diesem Artikel nicht explizit betrachtet, aber im Rahmen des ASFaLT-Projekts untersucht wurden. Weitere Einschränkungen existieren in Hinblick auf die Übertragbarkeit auf unterschiedliche Messsysteme mit unterschiedlichen Kamera- und Beleuchtungskonfigurationen. Zur Lösung dieser Herausforderungen bedarf es eines umfangreichen Trainingsdatensatzes, der verschiedenste Messsysteme, Bauweisen und Schadensausprägungen gleichermaßen berücksichtigt.

Die automatisierte Detektion arbeitet sehr sensitiv, so dass in der Regel keine Schäden übersehen werden, erkannte Schäden aber nicht immer auf einen tatsächlich vorhandenen Schaden zurückzuführen sind. In einem ersten Schritt können die vorgestellten Methoden bereits eingesetzt werden, um den Prozess der Erfassung deutlich zu beschleunigen, indem schadenfreie Abschnitte übersprungen und nur noch auszugsweise durch einen Auswerter gesichtet werden müssen. Da ein Großteil des Bundesfernstraßennetzes in einem guten Zustand ist (BMDV 2016), bietet dieses Vorgehen ein großes Potenzial.

Zusätzlich zu einer Steigerung der Geschwindigkeit kann die KI auch einen Beitrag zur Qualitätssteigerung leisten. So kann durch die Vorerkennung von sehr feinen Oberflächenschäden, deren händische Erfassung ein hohes Maß an Konzentration bedarf und sehr ermüdend ist, der Auswerter gezielt auf Schäden geleitet werden.

Mit steigender Erkennungsleistung des KI-basierten-Systems wird sich der händische Erfassungsprozess immer weiter in Richtung einer Qualitätssicherung für die (teil)automatisiert erfassten Streckenabschnitte entwickeln. Das vorgestellte Gesamtsystem zeigt, insbesondere bei der Betrachtung der Detektion auf der Ebene einzelner Oberflächenbilder, die hohe Genauigkeit der Erfassung von Objekten und Schäden, die neue Möglichkeiten für die Auswertung bietet. Hier ist neben einer genauen Erfassung von zeitlichen Entwicklungen auch die automatisierte Erfassung und Auswertung von Fahrbahnmarkierungen und Einbauten zu nennen.

Auch eine Übertragung auf andere Anwendungsdomänen im Bereich der Straßenverkehrsinfrastruktur ist vorstellbar. Im Projekt ASFaLT wurde dies am Beispiel der Schadstellendetektion an Tunnelinnenwänden erfolgreich gezeigt.

Literaturverzeichnis

(Anand, Gupta et al. 2018) Anand, S., Gupta, S., Darbari, V., Kohli, S. (2018): Crack-pot: Autonomous road crack and pothole detection. arXiv preprint:1810.05107

(ARRB 2022) ARRB Systems Sweden (2022): Hawkeye 2000, https://arrbsystems.com/solution/hawkeye-2000

(ASINVOS 2016) ASINVOS - Assistierendes und Interaktiv lernfähiges Videoinspektionssystem für Oberflächenstrukturen am Beispiel von Straßenbelägen und Rohrleitungen. Förderung durch das Bundesministerium für Bildung und Forschung (BMBF), Förderkennzeichen: 01IS15036D

(ASFaLT 2021) Stricker, R., Aganian, D., Lembach, J., Stephan, B., Sesselmann, M., Naber, T., Spielhofer, R., Hahn, M., Hautz, A.: Automatisierte Schadstellenerkennung für unterschiedliche Fahrbahnbeläge mittels Deep-Learning-Techniken (ASFaLT). Abschlussbericht, Forschungsprojekt im Rahmen des D-A-CH-Calls 2018, Finanzierung durch: Österreichische Forschungsförderungsgesellschaft mbH, Project no. 869514

(Augustauskas, Lipnickas 2020) Augustauskas, R., Lipnickas, A. (2020): Improved Pixel-Level Pavement-Defect Segmentation Using a Deep Autoencoder. Sensors, Volume 20

(BMDV 2016) Zustand/Netzqualität der Fahrbahnen. https://www.bmvi.de/SharedDocs/DE/Artikel/StB/zustand-netzqualitaet-der-fahrbahnen.html, abgerufen am 31.08.2022

(Canzler, Winkler 2007) Canzler, U; Winkler, B (2007): FE 89.0190/2007/AP Entwicklung einer automatisierten Merkmalserkennung im Rahmen des TP3 (Substanzmerkmale Oberfläche). Bundesanstalt für Straßenwesen, unveröffentlicht

(Canzler, Winkler 2012) Canzler, U; Winkler, B (2012): FE 89.0210/2008/AP Weiterentwicklung der automatisierten Merkmalserkennung inklusive Dokumentation vorheriger Merkmale im Rahmen des TP3.

Berichte der Bundesanstalt für Straßenwesen, Straßenbau Heft 67, Bergisch Gladbach

(Chen, Zhu et al. 2018) Chen, L.-C., Zhu, Y., Papandreou, G., Schroff, F., Adam, H. (2018): Encoderdecoder with atrous separable convolution for semantic image segmentation. European Conference on Computer Vision (ECCV)

(Elser, Kleinert 1997) Elser, A.; Kleinert, G. (1997): Methodische Untersuchungen zur teil- und vollautomatisierten Erfassung von Substanzmerkmalen der Fahrbahnoberfläche durch digitale Bildauswertung.

Machbarkeitsstudie im Auftrag der Bundesanstalt für Straßenwesen, unveröffentlicht

(Fernandes, Ciobanu 2014) Fernandes, K., Ciobanu, L. (2014): Pavement pathologies classification using graph-based features. IEEE International Conference on Image Processing (ICIP), 793–797

(FGSV 2006) Forschungsgesellschaft für Straßen- und Verkehrswesen (2006): Zusätzliche Technische Vertragsbedingungen und Richtlinien zur Zustandserfassung und -bewertung von Straßen, Ausgabe 2006, korrigierter und geänderter Nachdruck 2018 (ZTV ZEB-StB). FGSV Verlag, Köln.

(Fichera, Modica et al. 2012) Fichera, C. R., Modica, G. Pollino, M. (2012): Land Cover classification and change-detection analysis using multi-temporal remote sensed imagery and landscape metrics. European Journal of Remote Sensing, Volume 45, 1–18

(fugro 2022) fugro (2022), AUTOMATED ROAD ANALYSER (ARAN), https://www.fugro.com/our-services/asset-integrity/roadware/equipment-and-software

(Gopalakrishnan, Khaitan et al. 2017) Gopalakrishnan, K., Khaitan, S. K., Choudhary, A., Agrawal, A. (2017): Deep convolutional neural networks with transfer learning for computer vision-based data-driven pavement distress detection. Construction and Building Materials, Volume 157, 322–330

(Hassan, McKeever et al. 2022) Hassan, I. S., McKeever, S., O‘Sullivan, D., Power, D., McGowan, R., Feighan, K. (2022): Detecting Patches on Road Pavement Images acquired with 3D Laser Sensors using Object Detection and Deep Learning. International Conference on Image Processing and Vision Engineering (He, Zhang et al. 2016) He, K., Zhang, X., Ren, S., Sun, J. (2016): Deep residual learning for image recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

(Huyan, Li et al. 2020) Huyan, J., Li, W., Tighe, S., Xu, Z., Zhai, J. (2020): CrackU-net: A novel deep convolutional neural network for pixelwise pavement crack detection. Structural Control and Health Monitoring, Volume 27, Nr. 8

(Kaddah, Elbouz et al. 2018) Kaddah, W., Elbouz, M., Ouerhani, Y., Baltazart, V., Desthieux, M., Alfalou, A. (2018): Optimized minimal path selection (omps) method for automatic and unsupervised crack segmentation within two-dimensional pavement images. The Visual Computer, 1–17

(Lecun, Bottou et al. 1998) Lecun, Y., Bottou, L., Bengio, Y., Haffner, P. (1998): Gradient-based learning applied to document recognition. IEEE, Volume 86, Nr. 11, 2278–2324

(Lee 1991) H. Lee, H. (1991): Application of machine vision techniques for the evaluation of highway pavements in unstructured environments. International Conference on Advanced Robotics’ Robots in Unstructured Environments, 1425–1428

(Lembach, Stricker et al. 2020) Lembach, J., Stricker, R., Gross, H.-M. (2020): Efficient Implementation of Regional Mutual Information for the Registration of Road Images. International Conference on Image Processing Theory, Tools and Applications (IPTA)

(Louk, Riid et al. 2020) Louk, R., Riid, A., Pihlak, R., Tepljakov, A. (2020): Pavement Defect Segmentation in Orthoframes with a Pipeline of Three Convolutional Neural Networks. Algorithms, Volume 13, Nr. 8, 198

(Majidifard, Adu-Gyamfi et al. 2020) Majidifard, H., Adu-Gyamfi, Y., Buttlar, W. (2020): Deep machine learning approach to develop a new asphalt pavement condition index. Construction and Building Materials, Volume 247

(Oliveira, Correia 2014) Oliveira, H., Correia, P. L. (2014): CrackIT - An image processing toolbox for crack detection and characterization. IEEE International Conference on Image Processing (ICIP). 798– 802

(Peng, Chao et al. 2015) Peng, L., Chao, W., Shuangmiao, L., Baocai, F. (2015): Research on Crack Detection Method of Airport Runway Based on Twice-Threshold Segmentation. International Conference on Instrumentation and Measurement, Computer, Communication and Control (IMCCC), 1716–1720

(Redmon, Divvala et al. 2016) Redmon, J., Divvala, S., Girshick, R., Farhadi, A. (2016): You only look once: Unified, real-time object detection. IEEE conference on computer vision and pattern recognition, 779-788

(Ronneberger, Fischer et al. 2015) Ronneberger, O., Fischer, P., Brox, T. (2015): U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention (MICCAI), LNCS, Volume 9351. Springer, 234–241

(Schmidt, Hitzmann et al. 2009) Schmidt, J.; Hitzmann, B.; Villaret, S. (2009): FE 04.0201/20024/ARB Entwicklung der Grundlagen für die Schaffung einer Technischen Prüfvorschrift für Erfassung und Bewertung der Substanzmerkmale (Zustand, Oberflächenschäden) von Fahrbahnoberflächen. Bundesanstalt für Straßenwesen, unveröffentlicht

(Simonyan, Zisserman 2014) Simonyan, K., Zisserman, A. (2014): Very deep convolutional networks for large-scale image recognition. CoRR

(Stricker, Aganian et al. 2021) Stricker, R., Aganian, D., Sesselmann, M., Seichter, D., Engelhardt, M., Spielhofer, R., Hahn, M., Hautz, A., Debes, K., Gross, H.-M. (2021): Road Surface Segmentation - Pixel Perfect Distress and Object Detection for Road Assessment. IEEE Conference on Automation Science and Engineering (CASE),1789-1796

(Wu, Lu 2020) Wu, Z., Lu, T., Zhang, Y., Wang, B., Zhao, X. (2020): “Crack Detecting by Recursive Attention U-Net. International Conference on Robotics, Control and Automation Engineering, 103–107

(Yang 2019) Yang, F. (2019): Feature pyramid and hierarchical boosting network for pavement crack detection

(Zhang, Yang et al. 2016) Zhang, L., Yang, F., Zhang, Y. D., Zhu, Y. J. (2016): Road crack detection using deep convolutional neural network. IEEE International Conference on Image Processing (ICIP), 3708–3712.

(Zhao, Shi et al. 2017) Zhao, H., Shi, J., Qi, X., Wang, X., Jia, J. (2017): Pyramid scene parsing network. IEEE Conference on Computer Vision and Pattern Recognition (CVPR).

(Zou, Cao et al. 2012) Zou, Q., Cao, Y., Li, Q., Mao, Q., Wang, S. (2012): CrackTree: Automatic crack detection from pavement images,” Pattern Recognition Letters, Volume 33, Nr. 3, 227–238

(Zou, Zhang et al. 2019) Zou, Q., Zhang, Z., Li, Q., Qi, X., Wang, Q., Wang, S. (2019): Deepcrack: Learning hierarchical convolutional features for crack detection. Transactions on Image Processing, Volume 28, Nr. 3, 1498–1512