FLORIDA1: Analyse von Videomassendaten im Kontext terroristischer Anschläge

Zwei tödliche Bomben trafen am 15. April 2013 die nichtsahnenden Teilnehmer und Zuschauer des Boston Marathon – ein terroristischer Anschlag, der weltweit Bestürzung und Anteilnahme auslöste. Der Rauch der Explosionen hatte sich noch nicht verzogen, als die Polizei begann, tausende Videoaufzeichnungen aus Smartphones der Passanten und den Überwachungskameras der umstehenden Gebäude sicherzustellen. Das Material sollte sich schon bald als wertvolle Quelle zur Ermittlung der Täter erweisen. Gleichzeitig stellte die schiere Menge an Videos die Strafverfolger vor eine schwierige Herausforderung. Wie soll man in tausenden Stunden von Videoaufnahmen die entscheidenden Hinweise finden, wenn jede Minute zählt, während die Täter auf der Flucht ihr tödliches Werk fortsetzen?

Ein kürzlich abgeschlossenes, deutsch-österreichisches Forschungsprojekt mit dem auffälligen Namen FLORIDA (http://www.florida-­project.de) adressierte genau dieses Problem. Fördergeber waren das deutsche Bundesministerium für Bildung und Forschung (BMBF) sowie das österreichische Bundesministerium für Verkehr, Innovation und Technologie (BMVIT). Das Ziel des Projektes bestand darin, neue Analyse- und Visualisierungssoftware für Ermittlungsbehörden zu entwickeln, die mithilfe Künstlicher Intelligenz den manuellen Aufwand bei der Sichtung von Videos drastisch verringert und die Auswertung beschleunigt. Einer technischen Lösung steht dabei eine Vielzahl von Herausforderungen gegenüber. 

Die erste Schwierigkeit besteht darin, dass Anschlagsszenarien sich erheblich voneinander unterscheiden. In einem Fall kann ein verdächtiges Fahrzeug im Fokus der Ermittlungen stehen, im nächsten ist es eine Person, ein Gepäckstück oder ein markantes akustisches Signal, wie das Geräusch einer Explosion. Hieraus resultiert eine erhebliche Bandbreite zu analysierender und zu erkennender Objekte. 

Die nächste Herausforderung besteht im rasant zunehmenden Umfang zu analysierender Daten in Verbindung mit einer enormen Vielfalt an Datenquellen und -formaten sowie völlig unterschiedlichen Bildqualitäten. Wer auf einschlägigen Videoplattformen im Internet Aufnahmen von Live-Ereignissen anschaut, erkennt auf den ersten Blick, wie drastisch sich beispielsweise die Bilder verwackelter Smartphone-­Aufnahmen von denen hochauflösender Überwachungskameras unterscheiden.

Mit High-Tech gegen den Terror

Wie also kann eine Antwort hierauf aussehen? Zwar bestehen erste marktgängige Lösungen zur Videoanalyse, die eine Reihe hilfreicher Auswertefunktionen bieten, jedoch sind diese hinsichtlich der vorprogrammierten Arbeitsabläufe häufig unflexibel und decken die notwendige Bandbreite benötigter Analysefähigkeiten nicht ausreichend ab.

In Kooperation mit fünf Sicherheits- und Polizeibehörden ent­wickelten in FLORIDA mehrere deutsche und österreichische hochspezialisierte Partner aus den Bereichen Wissenschaft und Industrie neue Ansätze für die Analyse und Visualisierung von Videomassendaten. Hierzu gehörten unter anderem Detektionsverfahren für Dutzende von Objektklassen, beispielsweise verschiedenste Arten von Gepäck- und Kleidungsstücken, die Fahrzeugwiedererkennung, die Analyse und Klassifikation von Audiosignalen und die dreidimensionale Rekonstruktion von Tatorten aus Videomaterial. 

Die Arbeiten setzten auf den bestehenden Produkten IDEMIA MVI™ zur Gesichts-, Personen- oder Kennzeichenerkennung und das Sicherheits-Management-System PKE AVASYS® auf. In Verbindung mit diesen Produkten entstanden in FLORIDA einzigartige, mächtige Analysewerkzeuge. Doch deren Anwendung berührt fast unvermeidlich Grundrechte natürlicher Personen, insbesondere das Recht auf informationelle Selbstbestimmung. Nicht nur in Anbetracht der europäischen Datenschutzreform aus dem Jahr 2018 war es daher von besonderer Bedeutung, die Rechtmäßigkeit eines möglichen Einsatzes dieser Technologien zu untersuchen und die ethischen Rahmenbedingungen und Grenzen zu beschreiben. Recht, Ethik und Technik gehen in FLORIDA Hand in Hand.

Künstliche Intelligenz lernt Hören und Sehen

Zuerst zur Technik. Ein erster wesentlicher Arbeitsschritt bei der Analyse von Videodaten besteht darin, die umfangreichen Ausgangsdaten zunächst auf ermittlungstechnisch relevante Objekte zu reduzieren. Dabei soll die Analyse grundsätzlich ein möglichst breites Spektrum an möglichen Objektklassen unterstützen. Die involvierten Sicherheitsbehörden benannten hierzu Objektklassen, beispielsweise Pkw, Motorrad, Bus, Mütze, Lederjacke, Rucksack oder Koffer. 

Zur automatisierten Detektion dieser Objekte wurde ein Verfahren der Künstlichen Intelligenz eingesetzt: das sogenannte Deep Learning. Hierbei handelt es sich um eine Methode aus dem Bereich des maschinellen Lernens, in dem ein künstliches neuronales Netz (Convolutional Neural Network – CNN) anhand zigtausender Beispielbilder die Fähigkeit herausbildet, die verschiedenen Objektklassen zu erkennen (Abb. 1).

In der initialen Trainingsphase wird die neuronale Netzwerk­architektur konzipiert und mit Beispielen trainiert. Dabei hängt die spätere Erkennungsgenauigkeit des neuronalen Netzes entscheidend davon ab, möglichst viele Beispielbilder „gesehen“ zu haben. In einer zweiten Phase wird das fertig trainierte neuro­nale Netz auf Videos angewendet, um diejenigen Bildbereiche zu erkennen, die die gesuchten Objekte enthalten. Das neuronale Netz ermöglicht durch die Berücksichtigung des räumlichen Umfeldes auch die Detektion sehr kleiner Objekte und ist speziell für die Analyse umfangreicher Videodaten geschwindigkeitsoptimiert. Das Gesamtsystem überzeugte bereits früh während des Projekts durch Tempo und sehr gute Ergebnisse für viele der betrachteten Objektklassen.

Die Detektion von ermittlungstechnisch interessierenden Objekten bildet bei der Analyse von Videodaten jedoch nur einen ersten Analyseschritt. In Ermittlungsverfahren stellt sich oft die Frage, ob ein in einem Video gesichtetes Objekt, also Person, Fahrzeug oder Gegenstand, auch in anderen Videodaten auftritt. Dafür werden sogenannte Wiedererkennungsverfahren benötigt. Im Falle von Gesichtern und Personen lagen durch das Produkt MVI bereits Lösungen vor. Für Fahrzeuge hingegen wurde in FLORIDA ein neuer Ansatz entwickelt. 

Eine Herausforderung bei der Wiedererkennung von Fahrzeugen über verschiedene Bildquellen hinweg besteht zunächst darin, dass das Kfz-Kennzeichen auf Grund zu geringer Auflösung oder ungeeigneter Perspektive in der Regel nicht erkennbar ist, so dass die Wiedererkennung nur auf dem äußeren Erscheinungsbild basieren kann. Das Aussehen eines Fahrzeuges kann jedoch je nach Perspektive sehr stark variieren. So sind die Front- und die Rückansicht eines Fahrzeuges grundsätzlich sehr verschieden. Die Lösung in FLORIDA basiert auf einem künstlichen neuronalen Netz zur Klassifikation der Marke und des Modells aus den Bilddaten eines detektierten Fahrzeugs, also beispielsweise eines „VW Golf“. Das Modul zeigte abhängig von der Bildauflösung und Kameraposition gute bis sehr gute Ergebnisse. 

Doch nicht nur Videodaten sind für Ermittler von Relevanz. Mit der zunehmenden Verbreitung von Smartphones liegen neben Videodaten vermehrt auch Audiodaten vor. Gerade im Falle terroristischer Anschläge können die dort enthaltenen akustischen Informationen zu Explosionen, Schüssen oder Sirenen von Fahrzeugen einen schnellen Einstieg für die Ermittlungsarbeiten bieten und die weitere Analyse der Videodaten unterstützen. Die Detektion und Erkennung von Audioereignissen nutzt ein Verfahren basierend auf Deep Neural Networks (DNN) – einer weiteren populären Methode der Künstlichen Intelligenz. Mit dieser lässt sich beispielsweise Berichten von Zeugen nachgehen, welche auf akustischen Ereignissen basieren. „Da war ein lauter Knall, und dann sah ich jemanden in ein Auto springen“ bietet den Ermittlern den unmittelbaren Einstieg.

Die Detektion von Audioereignissen ist jedoch durch die Art und Anzahl der vordefinierten Klassen begrenzt. Geräusche, die nicht zu den erlernten Kategorien zählen, können mit diesem Vorgehen nicht detektiert bzw. erkannt werden. Der Suche nach beliebigen akustischen Signalen dient ein weiteres Verfahren – die Audio-­Ähnlichkeitssuche. Diese erhält als Eingabe ein markiertes Audiosignal aus einer interessierenden Videosequenz und vergleicht es mit allen anderen Sequenzen. Dabei macht man sich zunutze, dass unterschiedliche Aufnahmen aus der Umgebung der Schallquelle ähnliche Klangmuster beinhalten (Abb. 3).

Als Ergebnis liefert das Verfahren somit weitere Videosequenzen aus der Nähe des Referenzvideos. Diese Ergebnisvideos dienen dann beispielsweise dazu, zusätzliche Bilder eines Verdächtigen aus anderer Aufnahmeposition zu erhalten.

Ortstermin am virtuellen Tatort

Mittels der Analyse der Audio- und Videoinformationen aber auch unter Ausnutzung von Orts- und Zeitdaten sowie einer manuellen Vorabauswahl lassen sich oft mehrere Videos identifizieren, die einen Tatort oder einen Tathergang aus unterschiedlichen Perspektiven zeigen. Diese Videos können nun vom Ermittler sequentiell gesichtet oder aber auch – falls verfügbar – unter Einsatz geeigneter Software gleichzeitig abgespielt werden, um eine verbesserte Übersicht über die Geschehnisse zu erhalten.

Dies stellt jedoch abhängig vom Umfang der Daten eine zeit­intensive und komplexe Aufgabe dar. Zur Vereinfachung und Beschleunigung dieser Arbeit dient in FLORIDA ein Verfahren zur dreidimensionalen Rekonstruktion eines Tatortes. Dieses erlaubt es, eine Szene als virtuelle Welt darzustellen und innerhalb dieser zu navigieren und sich umzuschauen, anstatt das zugehörige Bildmaterial einzeln zu betrachten (Abb. 2).

Das Verfahren ermöglicht neben der Rekonstruktion einer Szene auch die Bestimmung der Positionen und Blickrichtungen aller Kameras. Damit kann die Szene aus der Perspektive einer jeden Kamera betrachtet werden. Ergänzend können dabei die zugrundeliegenden originalen Bilddaten abgespielt werden. Weiterhin unterstützt die Rekonstruktion, detektierte Objekte aus den Analysemodulen zu jedem Zeitpunkt an den entsprechenden Positio­nen in der 3D-Szene darzustellen. Dies ermöglicht die Visualisierung von Personen- oder Fahrzeugbewegungen in der 3D-Szene über verschiedene Kamerapositionen hinweg. Wichtige Beobachtungen oder Ergebnisse kann der Ermittler mittels manuell eingefügter Anmerkungen in der Szene festhalten.

Das aus Ermittlungsverfahren vorliegende Videomaterial stammt in der Regel von Smartphones oder von stationären wachungssystemen. Auch wenn in diesem Bereich eine zunehmende Anzahl von Kameraherstellern bestimmte Industrie-­Standards unterstützt, muss die FLORIDA-Lösung vielfältige Videoformate verarbeiten können. Hierzu führt sie eine entsprechende Vorverarbeitung der Eingabedaten durch und bietet eine umfangreiche Verwaltung von Metadaten. Diese Daten enthalten Angaben beispielsweise über den Umfang und die zeitliche Ausdehnung des Materials, über Zeit- und Geoinformationen oder zu Analyseergebnissen.

Technisch möglich – aber auch erlaubt?

Gemeinsam ergeben Videoanalyse, 3D-Szenenrekonstruktion, Audio- und Metadatenverarbeitung die FLORIDA-Plattform – ein außerordentlich leistungsfähiges polizeiliches Ermittlungswerkzeug. Aber wie weit ist der Einsatz einer so mächtigen Technologie überhaupt rechtlich zulässig? Allein schon die Auswertung von Videodaten stellt einen Eingriff in Grundrechte dar, da die im Video erfassten Personen keine Kontrolle darüber haben, ob und zu welchen Zwecken ihre Daten verarbeitet werden. Schlimmstenfalls könnten die Daten missbräuchlich zur Erstellung von Persönlichkeits- und Bewegungsprofilen unbeteiligter Personen genutzt werden, um Einblicke in deren Privat- und Intimsphäre zu ermöglichen. 

Der Einsatz der Analyseverfahren ist daher gesetzlich genau zu regeln und auf ein angemessenes Maß zu beschränken. Nicht jede technisch denkbare Maßnahme ist der Polizei erlaubt. Es stellt sich die Frage, ob auf bestehende Regelungen zurückgegriffen werden kann. Diese erlauben die Anfertigung von Videoaufnahmen, treffen aber zur Auswertung oft keine näheren Aussagen. Bei Einsatz von Analyseverfahren, die lediglich bei der Sichtung der Aufnahmen helfen, beispielsweise durch Personen- oder Objektdetektion, mag dies hinnehmbar sein. Für schwerwiegendere Grundrechtsbeeinträchtigungen, beispielsweise durch eine Live-Überwachung öffentlicher Plätze mit Gesichts­erkennung, ist jedoch eine Anpassung der derzeitigen Rechtslage erforderlich.

Neben den rechtlichen Analysen wurde die Technikentwicklung auch durch ethische Untersuchungen begleitet. Diese befassten sich mit der Frage, welche möglichen Auswirkungen der Einsatz sicherheitstechnischer Systeme auf grundlegende ethische Prinzipien wie Freiheit, Privatheit, Gerechtigkeit oder Verantwortung hat. Das wissenschaftliche Ethik-Team entwickelte hieraus Anforderungen und konkrete Empfehlungen zur Gestaltung und zum Einsatz der Technik, wie Garantie des Rechts auf Privatheit, Sicherheitsvorkehrungen gegen den missbräuchlichen Einsatz oder die Offenlegung der Verantwortlichen, falls ethische Prinzipien verletzt werden. 

Weitere Empfehlungen betrafen Kriterien zur Beurteilung der Angemessenheit eines Systemeinsatzes, Maßnahmen zur Vermeidung von Diskriminierung oder die Verwendung eines abgestuften Rechtemanagements. Die Bedeutung ethischer Prinzipien beschränkt sich jedoch nicht auf die Technik. Ethische Kriterien müssen insbesondere auch bei deren Einsatz Berücksichtigung finden, sind also als notwendiger und integraler Bestandteil organisatorischer Abläufe und Strukturen zu sehen.

Bereit für den Ernstfall

Wie also kann FLORIDA im Fall schwerer Anschläge zukünftig die Polizei bei ihrer Ermittlungsarbeit unterstützen? Um dies herauszufinden, musste die FLORIDA-Lösung ihre Leistungsfähigkeit hinsichtlich Qualität und Performanz im Rahmen mehrerer mit den Sicherheitsbehörden durchgeführter Testphasen unter Beweis stellen. Zahlreiche Schauspieler stellten verschiedene Szenarien realitätsnah nach, womit umfangreiche Kameraaufzeichnungen zur Verfügung standen. 

Es zeigte sich, dass FLORIDA im Zeitalter exponentiell steigender Datenmengen Maßstäbe in der Unterstützung ermittlungstechnischer Arbeiten bei der Analyse von Videodaten setzt. Die teilnehmenden Polizeibehörden sehen insgesamt ein großes Potential dieser Technologien. Die Indus­triepartner sind nun aufgefordert, die in FLORIDA erzielten Ergebnisse schnellstmöglich in robuste, alltagstaugliche und rechtskonforme Produkte umzusetzen. Es ist zu hoffen, dass sich ein Anschlag wie auf den Boston Marathon niemals wiederholen wird. Doch wenn es dazu käme, will die Polizei gerüstet sein.

An dem Projekt FLORIDA waren folgende Organisationen beteiligt: das österreichische Bundesministerium für Inneres, das deutsche Bundeskriminalamt, das Landeskriminalamt Baden-Württemberg, das Polizeipräsidium Einsatz der Polizei Baden-Württemberg, die deutsche Bundespolizei – Direktion Bundesbereitschaftspolizei, IDEMIA Identity & Security Germany AG, Philipps-Universität Marburg, Fraunhofer IOSB, Universität Konstanz, Procilon ­IT-Logistics GmbH, Universität Kassel, Universität Tübingen, AIT Austrian Institute of Technology GmbH, PKE Holding AG, Linzer Institut für qualitative Analysen und das Research Institute AG & Co KG.