Fotos und Videoclips im Katastrophenmanagement

Der vorliegende Artikel beschäftigt sich mit der effektiven Unterstützung von Einsatzleitungen durch Fotos und kurzen Videoclips im Krisen- und Katastrophenmanagement. Es wird beschrieben, wie Bilder erfasst, vorverarbeitet, geeignet gefiltert und zu übersichtlichen Panoramen, Motivgruppen und Ereignisverläufen zusammengefasst werden, sodass statt einer unübersichtlichen Bilderflut ein informatives Gesamtbild der Lage vor Ort zur Verfügung steht.

Ein immer noch weit verbreitetes Problem im Katastrophenmanagement ist die Verfügbarkeit aktueller und zuverlässiger Informationen über die Lage vor Ort. Vielfach erhalten die Einsatzleitstäbe ihre Informationen von den Einsatzkräften vor Ort per Telefon. Im Forschungsprojekt sd-kama (Smart Data Kata­strophenmanagement, gefördert vom Bundesministerium für Wirtschaft und Energie im Rahmen des Technologieprogramms „Smart Data – Innovationen aus Daten“) wird eine Informationsplattform entwickelt und prototypisch für die Hochwasserschutzzentrale Köln als Anwender umgesetzt, in der eine Vielzahl an Daten aus unterschiedlichen Quellen in Echtzeit für Einsatzstäbe und Katastrophenmanager verfügbar gemacht werden. Einige dieser Datenquellen, Fotos und Videoclips, sollen im Folgenden im Detail betrachtet werden.

Warum verwendet man nicht einfach Daten aus Facebook, Twitter und Co?

Der erste Gedanke, wenn man an den Einsatz von Fotos denkt, ist sicherlich der, die sozialen Medien heranzuziehen, da weite Teile der Bevölkerung diese eh nutzen. Spricht man aber mit den Fachleuten aus den Einsatzzentralen, so zeigt sich schnell, dass diese dem skeptisch gegenüberstehen. In den sozialen Medien findet man neben Selfies vor Einsatzgebieten oft besonders spektakuläre Bilder, nicht aber die Bilder, die den Einsatzkräften wirklich helfen würden wie etwa: Wo bilden sich Schwachstellen aus, welche Bereiche könnten in naher Zukunft gefährdet sein, und was befindet sich dort, wie ist der Stand der Arbeiten etc.

Die aktuell übliche Informationsübermittlung zur Situation vor Ort per Telefonat ist oft umständlich, detaillierte Beschreibungen sind zeitraubend und es herrscht Unklarheit, ob Absender und Adressat Ereignisse in der gleichen Art und Weise interpretieren. Hier soll eine einfache, leicht bedienbare App zur Informationsübermittlung, vorzugsweise in Form von Fotos und kurzen Videoclips, Abhilfe schaffen, getreu dem bekannten Sprichwort „Ein Bild sagt mehr als tausend Worte“. Gestaltung und Funktionsumfang der App wurden gemeinsam mit dem Anwender festgelegt und evaluiert.

Die sd-kama Medien-App hat zwei Zielgruppen, die Einsatzkräfte vor Ort und die Bevölkerung. Da die zu erwartenden Informationen beider Zielgruppen von unterschiedlicher Qualität sein dürften, unterscheidet sich auch der Funktionsumfang der App: Die Kategorisierung der Fotos und Videoclips (s.u.) sowie der Versand von Textnachrichten bleibt den registrierten Nutzern, den Fachleuten, vorbehalten.

Datenerfassung

Fotos und Videoclips werden mittels einer HTML5-Webanwendung erfasst. Diese kann über einen Browser oder als eigenständige Web-App auf allen mobilen und stationären Endgeräten unabhängig vom Betriebssystem aufgerufen werden. Neben den reinen Mediendaten sind im Katastrophenfall weitere Informationen wichtig. Hierzu zählen Ort und Zeitpunkt der Aufnahme, eine optionale Kategorisierung (z. B. Information, Problem, Notfall) sowie die Möglichkeit, eine kurze Notiz zur Mediendatei hinzuzufügen, wenn diese nicht selbsterklärend ist. Mit Hilfe dieser zusätzlich von der App erfassten und übermittelten Metadaten ist es möglich, die Fotos und Videoclips adäquat für die Darstellung im Informationssystem aufzubereiten.

Da die Zielgruppe Personen sind, die helfen wollen, wird davon ausgegangen, dass die überwiegende Mehrheit der Nutzer der Erfassung der Ortskoordinaten zustimmen wird. Darüber hinaus erhält der Nutzer über Zusatzoptionen Anreize, sich zu registrieren. Bei den Einsatzkräften wird eine Registrierung vorausgesetzt.

Automatisierte Aufbereitung der Daten

Nach dem Upload der Mediendateien bedarf es deren Aufbereitung, zum einen aus rechtlichen Gründen, zum anderen, um den Einsatzkräften die bestmögliche Information zu liefern. Da große Mengen an visuellen Daten anfallen können, ist es der Hauptzweck der im Folgenden beschriebenen Analyse, diese Daten so aufzubereiten, dass die Einsatzleitung die relevanten Bilder und Videos schnell finden und ansehen kann.

Berücksichtigung des Datenschutzes

Abhängig von den Motiven können die hochgeladenen Foto- und Videoaufnahmen personenbezogene oder -beziehbare Daten enthalten. Dies kann in Form eines direkten Personenbezugs vorkommen, beispielsweise indem Gesichter aufgenommen werden. Deshalb werden die hochgeladenen Fotos einer automatischen Gesichtserkennung unterworfen und die Gesichter verpixelt.

Prüfung der Authentizität der Daten

Um den Entscheidern in der Einsatzleitzentrale eine Beurteilungshilfe bzgl. der Authentizität an die Hand zu geben, wird ihnen zu jedem Foto/Videoclip mitgeteilt, ob es von einer Einsatzkraft (und wenn bekannt, welcher) oder aus der Bevölkerung stammt. Darüber hinaus werden die Exif-Daten ausgewertet und Hinweise, die auf eine Nachbearbeitung des Bildes hindeuten, zusammen mit den Bildinformationen an die Einsatzleitzentrale übermittelt.

Filterung

Im Ernstfall können riesige Mengen an Bild- und Videoinformationen anfallen. Die Herausforderung liegt darin, die Einsatzleitung gezielt mit den relevanten Bildern und Videos über das Geschehen vor Ort zu informieren. Dabei soll eine Überflutung mit Bilder und Videos vermieden werden. Es sollen situationsabhängig nur die Bild- und Videoinformationen gezeigt werden, die für die Entscheidungsfindung von Bedeutung sind.

Dies wird durch Verfahren erreicht, mit denen Bilder und Videos direkt nach dem Hochladen klassifiziert, nach vorgegebenen Kriterien gefiltert und entsprechend sortiert und dargestellt werden.

Ein sehr wichtiges Werkzeug zur Sortierung bildet die Gruppierung von Bildern und Videos aufgrund ihres visuellen Inhalts. Die Extraktion visueller Merkmale und die Ermittlung geeigneter Deskriptoren (= charakteristische Eigenschaften dieser Merkmale) bilden die Grundlage dieser Analyse. Die Anzahl der korrespondierenden Deskriptoren zweier Bilder ist dann ein Maß für deren Ähnlichkeit.

Mit Hilfe dieses Ähnlichkeitsmaßes werden die einlaufenden Bilder sozusagen on-the-fly nach Motiven gruppiert. Um die Anzahl der Bildvergleiche überschaubar zu halten, werden bei jedem neuen Bild nur Vergleiche mit Bildern durchgeführt, die in örtlicher Nähe aufgenommen wurden.

Intuitive Darstellung

Ähnliche Bilder werden dahingehend ausgewertet, ob sie gemeinsam mit anderen Bildern zu einem Panoramabild, einer Motivgruppe oder einem Ereignisverlauf zusammengesetzt werden können. Um auch Bildinformationen einfließen zu lassen, die in Form von Videoclips von Nutzern zur Verfügung gestellt werden, wird eine zeitliche Videosegmentierung vorgenommen. Repräsentative Schnappschüsse der erkannten Szenen werden extrahiert und bei der o.g. intuitiven Darstellung ebenfalls berücksichtigt.

Für diese Auswertung muss ermittelt werden, aus welchen Kameraperspektiven die Motive aufgenommen wurden. Gemäß den Gesetzen der projektiven Geometrie werden Punkte einer aus verschiedenen Perspektiven aufgenommenen Ebene durch eine projektive Transformation ineinander abgebildet. Im Prinzip kann man sich die verschiedensten Aufnahmesituationen aus den in der Abbildung dargestellten Aufnahmeszenarien zusammengesetzt vorstellen:

Links wird ein Objekt aus verschiedenen Perspektiven aufgenommen. Als Hauptanteil der projektiven Transformation zwischen den Bildern liegt eine Scherung, eventuell noch eine Skalierung vor. Es ist möglich, die Bilder entsprechend ihrer projektiven Transformationen so anzuordnen, dass um das Objekt herumgegangen werden kann. 

Bei dem mittleren und rechten Szenario werden mehrere Aufnahmen entlang des Motivs oder durch einen Kameraschwenk gemacht. In beiden Szenarien liegt hauptsächlich eine Translation vor. Hier dürfen nur geringe andere Transformationsanteile (Drehung, Skalierung, Scherung) vorhanden sein, da sonst kein zusammenhängendes rechteckiges Panoramabild mehr generierbar ist.

Bilder, die bzgl. des mittleren und des rechten Aufnahmeszenarios gruppiert wurden, lassen sich zu einem Panoramabild zusammensetzen. Mit einem Panoramabild kann leichter ein Überblick über ein Einsatzgebiet gewonnen werden, als dies mit separaten Einzelbildern möglich ist.

Bilder aus allen drei in der Abbildung dargestellten Aufnahme­szenarien können zu Motivgruppen zusammengefasst und in Form eines Ähnlichkeitsgraphen sortiert werden. Die Visualisierung erfolgt mittels eines speziell entwickelten Navigations­viewers, der eine räumliche Navigation innerhalb des Ähnlichkeitsgraphen erlaubt. 

Von einem Ausgangsbild werden durch gelbe Symbole alle die über eine projektive Transformation verbundenen Bilder angedeutet. Durch Überstreichen eines Symbols mit der Maus wird das damit verbundene Bild über das Ausgangsbild gelegt. Per Mausklick wird das verbundene Bild zum neuen Ausgangsbild. Auf diese Weise kann durch den Ähnlichkeitsgraphen navigiert werden.

Zu einem Ereignisverlauf zusammengesetzte Bilder ermöglichen einen schnellen Überblick über den zeitlichen Ablauf von Ereignissen (z. B. das Ansteigen von Pegelständen). Dazu werden alle Bilder ein und desselben Motivs aus einer möglichst gleichen Perspektive in eine zeitliche Abfolge gebracht, durch die zeitlich navigiert werden kann. Dargestellt werden diese Bilder in einem Ereignisviewer, der folgenden Benutzerinteraktionen zur Verfügung stellt:

• Betrachtung als automatisch ablaufende „Diashow“ in chronologischer Reihenfolge mit der Option, diese anzuhalten/fortzuführen oder auch bildweise vor und zurück zu navigieren
• Einstellung der Anzeigedauer der Bilder innerhalb der Dia­show
• Wahl, ob die vollständigen Bilder oder nur der in allen Bildern gemeinsam vorhandene Bildausschnitt angezeigt werden soll
• Auswahl bestimmter Bilder über Vorschaubilder, die beim Überstreichen der Zeitleiste mit der Maus angezeigt werden.

Sowohl beim Navigations- als auch beim Ereignisviewer ist es wichtig, dass die Bilder unverfälscht bleiben. Ein gleitender und visuell ansprechender Übergang zwischen den zusammengesetzten Bildern könnte wichtige Bilddetails verschwinden lassen, ein im Katastrophenmanagement unerwünschter Effekt. Daher wird hier bewusst auf diese Form der Bildverarbeitung verzichtet. Beide Viewer arbeiten webbasiert und sind damit in jede Weboberfläche integrierbar.

Anbindung an das Informationssystem der Einsatzleitzentrale

Das beschriebene System von der Aufnahme, über die Übertragung bis hin zur automatisierten Bild- und Videoverarbeitung, ist autark, modular aufgebaut und vom darstellenden Informationssystem unabhängig. Dieses ist lediglich über ein vereinbartes Schnittstellenprotokoll angebunden. Dies bietet den Vorteil, dass das im Projekt entwickelte sd-kama Informationssystem auf Kundenwunsch auch ohne Medienmodul nutzbar ist, das Medienmodul andererseits auch, nach einer einfachen Schnittstellenanpassung, in anderen Einsatzgebieten nutzbar ist. 

Darüber hinaus ist denkbar, neben der Medien-App weitere Medienquellen, wie z. B. Aufnahmen von Drohnen oder fest installierter WebCams, zu integrieren. Die Medien-App steht zurzeit zweisprachig (deutsch/englisch) zur Verfügung, eine Erweiterungsmöglichkeit auf weitere Sprachen ist vorgesehen.