Aktuelle Vorfälle wie die „Bonner Bombe“ im Dezember 2012 lösen erneut Diskussionen über mehr Videoüberwachung an öffentlichen Plätzen aus. Am Fraunhofer IOSB beschäftigt sich das Projekt NEST (Network ­Enabled Surveillance and Tracking) mit der Herausforderung, Behörden und Polizeibeamten Softwarewerkzeuge zur Verfügung zu stellen, um auffällig gewordene Personen möglic­hst schnell und effizient in zeitnahen Videoströmen oder Video­archiven wieder aufzufinden. Dabei soll die Privatsphäre der Beobachteten so weit wie möglich gewahrt werden.

Herrenlose Gegenstände an öffentlichen Plätzen führen zur sofortigen Alarmierung sowohl der Bevölkerung als auch der Polizei und es gilt so schnell wie möglich zu ermitteln, welche Person den Gegenstand abgestellt hat und wo sich die Person zum aktuellen Zeitpunkt befindet. Dabei kann eine Videoaufklärung unterstützend sein, welche mittels geeigneter Funktionalitäten eine interaktive Suche durch den Bediener ermöglicht. Ein solches Videoüberwachungssystem wird am Fraunhofer IOSB im Rahmen des Projektes NEST entwickelt (http://www.iosb.fraunhofer.de/servlet/is/4563/).

Das NEST-System

NEST_abb1

NEST ist ein am Fraunhofer IOSB entwickeltes Videoüberwachungssystem und nach dem Prinzip der service-orientierten Architektur (SOA) konzipiert und umgesetzt (Abb. 1). Dieses Prinzip garantiert die bessere Erweiterbar- und Wartbarkeit des kompletten Systems und vor allem die bessere Austauschbarkeit einzelner Dienste. So ist die Architektur beispielsweise darauf ausgelegt, beliebig viele Kameras zu integrieren oder auch beliebig viele Auswerteverfahren an das System zu koppeln. Insbesondere muss ein intelligentes Videoüberwachungssystem wie NEST in der Lage sein, neue Verfahren und Algorithmen zeitnah nach ihrer Entwicklung einzubinden und nutzbar zu machen (Abb. 1).

Im Ausgangsmodus stützt sich die Überwachung auf die Detektion von Personen und anderer Objekte, wie z. B. von Gepäck­stücken. Die über die Zeit hinweg gesammelten Beobachtungen werden an das objekt-orientierte Weltmodell (OOWM) gesendet und dort fusioniert. Das Ergebnis dieser Fusion sind Trajektorien (Engl.: Tracks) von Objektbewegungen. Die Besonderheit des Weltmodells ist dabei die zentrale Verarbeitung aller gesammelten Informationen aus unterschiedlicher Sensorik, d. h. wenn ein Objekt aus mehreren Kameraperspektiven beobachtet wurde, wird dennoch nur eine Objektrepräsentanz erzeugt. Gleichzeitig können unterschiedliche Anwendungsdienste konfiguriert werden, welche die fusionierten Informationen im Weltmodell in Echtzeit analysieren. Dies kann z. B. ein Dienst zur Zählung von Personen in einem abgegrenzten Bereich sein oder ein Dienst zur Benachrichtigung, wenn ein bestimmter Bereich betreten wird.

Die so gesammelten Metadaten (Beobachtungen, Objekttracks und Ergebnisse der Anwendungsdienste) werden in einer Datenbank gespeichert und Analysediensten zur Verfügung gestellt. Zusätzlich werden die Videoströme in einem Videoarchiv gespeichert, auf welches der Operator, basierend auf einem ins­tanziierten und protokollierten Überwachungsauftrag, zugreifen kann. Dabei werden die Video- und Metadaten zeitlich in Bezug gebracht, um eine semantische Suche auf den Videodaten zu gewährleisten.

Die Bedienoberfläche besteht aus zwei Ansichten, welche durch Anwendungsdienste realisiert sind. Eine Ansicht zeigt die Videoströme ausgewählter Kameras und die andere Ansicht eine dynamische Lagedarstellung (Abb. 2). Der Bediener ist in der Lage, in einen Offline-Modus zu schalten, in dem alle Komponenten synchron vor- oder zurückgespult werden können, bis z. B. das Bild gefunden wurde, in dem eine Person einen Gegenstand abgestellt hat. Nun kann ein Suchauftrag gestartet werden, in welchem die Video- und Metadatenarchive auf semantischer Ebene nach ähnlichen Personen durchsucht werden. Aufgrund seiner kognitiven Fähigkeiten ist der Mensch in der Lage, ein Objekt schnell zu identifizieren und somit schneller zu erkennen, ob eine Person in einem Video tatsächlich einer gesuchten Person zuzuordnen ist. Allerdings ist der Mensch auf eine möglichst effiziente Vorsortierung der Bilddaten angewiesen, damit die Menge der visuell zu prüfenden Daten auf eine für den Benutzer zu bewältigende Menge reduziert wird. Diese Unterstützung wird durch den Einsatz von geeigneten Videoanalyseverfahren erreicht.

Automatische Videoanalyse

NEST_Abbildung-3

Inzwischen existieren leistungsfähige Algorithmen, welche in der Lage sind, schnell und zuverlässig Objekte in Videos zu detektieren. Allerdings liegt die aktuelle Grenze der Technologie in der zuverlässigen Identifikation, also der eindeutigen Erkennung von Individuen. In NEST werden sogenannte Object-Retrieval-Verfahren eingesetzt, um eine interaktive Ereignis-, Personen- und Objektsuche in Videoarchiven zu realisieren. Hierbei werden Videoanalyseverfahren eingesetzt, welche keine Identifikationsaufgaben übernehmen, sondern lediglich eine Ähnlichkeitssuche und somit eine Vorsortierung großer Bilddatenbestände durchführen. Die Ergebnisse der Ähnlichkeitssuche werden anschließend in einer für den Benutzer geeigneten und ergonomischen Art und Weise präsentiert, so dass eine Identifikation der gesuchten Person oder des gesuchten Objektes nach möglichst wenigen „Mausklicks“ durchgeführt werden kann. Dabei ist es von großer Bedeutung, dass die integrierten automatischen Bild- und Videoanalyseverfahren Hand in Hand mit der Interaktion und Visualisierung des Systems gehen, damit für den Benutzer eine komfortable Verschmelzung von automatischer Aufbereitung und visueller Identifikation entsteht.

Das NEST-System ist für diese Aufgabe mit einer Auswahl an Bild- und Videoanalyseverfahren ausgestattet, welche für die Detektion und Merkmalsextraktion in Live-Videos eingesetzt werden können. Als Module stehen echtzeitfähige Verfahren zur automatischen Personendetektion, Fahrzeugdetektion und Erkennung kofferähnlicher Objekte zur Verfügung, welche auf einer beliebigen Anzahl an Videoströmen angewendet werden können. Darüber hinaus existieren zusätzliche „Merkmalsmatching“-Komponenten, welche für die zugehörigen Objekteigenschaften Ähnlichkeiten bestimmen und die Ergebnisse in einer konsistenten Form (z. B. Ranglisten) dem Benutzer präsentieren. Hierbei werden die aus einem Suchbild extrahierten Merkmale mit den entsprechenden Merkmalen aus vorherigem Videomaterial verglichen. Das Ergebnis wird in Form einer Ähnlichkeitsliste dem Benutzer zur weiteren visuellen Validierung dargestellt (Abb. 3). Sobald der Benutzer einen Eintrag aus der Ähnlichkeitsliste auswählt, kann das System wiederum die mit diesem Eintrag verknüpften Informationen (Videostrom, Position des Objektes in einer Kartendarstellung, Trajektorien etc.) als weitere Hinweise zur interaktiven „Durchforstung“ der Videodatenbank anbieten (Abb. 3).

Schutz personenbezogener Daten

NEST_Abbildung-4

Intelligente Überwachungssysteme greifen schwerwiegend in das Recht auf informationelle Selbstbestimmung ein. Hochauflösende Kameras erkennen viele Details und können z. B. biometrische Merkmale extrahieren. Algorithmen analysieren diese Informationen und können, falsch eingesetzt, zu einer kompletten Profilbildung der Betroffenen führen. Zeitgleich erlauben die neuen technischen Möglichkeiten, Überwachung selektiv und zielgerichtet durchzuführen. Größter Kritikpunkt existierender Systeme ist die große Streubreite verdachtsloser Eingriffe. Die Majorität der Beobachteten gerät ohne eigenes Verschulden in den Fokus der Überwachung und kann sich dieser nicht entziehen. Durch eine frühzeitige Detektion und Identifikation relevanter Objekte beschränkt sich die Überwachung auf Situationen, in denen ein Anlass vorliegt. Nicht relevantes Material kann frühzeitig gefiltert werden. Das NEST-System kann so ausgestaltet werden, dass keine Speicherung stattfindet, wenn auf dem Videostrom keine Auffälligkeit bzw. verdächtigen Ereignisse detektiert werden. Findet diese Selektion direkt am Sensor statt und wird das Material gleich entfernt, liegt kein Eingriff in das Recht auf informationelle Selbstbestimmung vor. Im bestmöglichen Fall wird eine Gefahrensituation bereits während ihrer Entstehung detektiert und das Sicherheitspersonal kann eingreifen. Das Erkennen von komplexen Situationen, insbesondere in bzw. vor ihrer Entstehung ist jedoch aktuell noch Gegenstand der Forschung. Um den Zielbereich trotzdem einzugrenzen und ein frühzeitiges Eingreifen zu realisieren, setzt NEST auf „Überwachung on Demand“. Dabei agieren die Betroffenen aktiv mit dem System und werden zu Nutzern. Durch eine Geste, z. B. das Winken in eine Kamera nach einem Handtaschendiebstahl (Abb. 4), signalisiert der Beobachtete, dass eine Situation besondere Aufmerksamkeit verlangt. Gleichzeitig verfolgt das System automatisch die benachbarten Verdächtigen. Die Szene wird dem Operator visualisiert und nachdem dieser sich davon überzeugt hat, dass tatsächlich ein begründeter Verdacht vorliegt, wird der Track des vermeintlichen Diebes an Sicherheitskräfte vor Ort gesendet, welche die Verfolgung aufnehmen (Abb. 4).

Fazit.

Durch seinen modularen Aufbau bietet das NEST-System des Fraunhofer IOSB eine flexible Konfigurierbarkeit bezüglich der jeweiligen Überwachungsaufgaben. Im Falle der interaktiven Personensuche werden automatisch Ähnlichkeitslisten basierend auf Objektmerkmalen generiert und der Benutzer kann diese mit Hilfe einer geeigneten Visualisierung miteinander verknüpfen. Diese interaktive Suche gewährleistet eine effiziente Wiederfindung eines Objektes. Des Weiteren kann das System den bestehenden Richtlinien zum Datenschutz angepasst werden und der Beobachtete kann das System aktiv nutzen.

Anschrift der Verfasser:
Yvonne Fischer, Eduardo Monari, Hauke Vagts
Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB
Fraunhoferstraße 1
76131 Karlsruhe
E-Mail: yvonne.fischer@iosb.fraunhofer.de,
eduardo.monari@iosb.fraunhofer.de, hauke.vagts@iosb.fraunhofer.de
http://www.iosb.fraunhofer.de

Dipl.-Math. Yvonne Fischer
geb. am 28. März 1980 in Stühlingen

  • 07/2007: Abschluss Mathematikstudium an der Universität Karlsruhe
  • 10/2007 – 05/2009: Technische Mitarbeiterin Bildverarbeitung GAF AG, München
  • Seit 06/2009: Wissenschaftliche Mitarbeiterin am Karlsruher Institut für Technologie (KIT) in Kooperation mit dem Fraunhofer IOSB
  • Seit 02/2013: Gruppenleiterin Erkennungsunterstützungssysteme am Fraunhofer IOSB