Bürger werten Satellitenbilder aus: Die Ergebnisse eines Testlaufs in Somalia

Tag für Tag werden zahllose Satellitenbilder von der Erdoberfläche aufgenommen. Unmengen an Daten entstehen auf diese Weise. Daten, die normalerweise von SpezialistInnen in langwierigen Prozessen ausgewertet werden. Doch was passiert, wenn digital vernetzte BürgerInnen die Satellitenbilder auswerten? Der Mapping-Aktivist und Berliner Gazette-Autor Patrick Meier hat mit einem Team von Freiwilligen Satellitenbilder aus Somalia untersucht und tausende von Schutzräumen markiert. Hier beschreibt er den Arbeits- und Lernprozess.

*

Wir haben gerade unseren allerersten Testdurchlauf des Standby Task Volunteer Force (SBTF) Satellite Teams abgeschlossen. Wie ich bereits an anderer Stelle schrieb, ist die UN vor ein paar Wochen an uns herangetreten, um herauszufinden, ob einfache Satellitenbilder von Somalia mit Crowdsourcing unter Verwendung einer Mechanical Turk-Herangehensweise analysiert werden können. Ich hatte diese Idee schon zum Zeitpunkt der Überschwemmungen in Pakistan einmal aufgeworfen. Ein Kollege von Digital Globe (DG) hat davon gehört und gemeint: Das machen wir!

Ich habe mich mit Luke Barrington von Tomnod in Verbindung gesetzt, um eine Plattform für das Projekt aufzusetzen. Innerhalb von wenigen Tagen hatten wir von DG hochauflösende Satellitenbilder und dank Tomnod eine Crowdsourcing-Plattform für die Bildanalyse. Alles was uns fehlte, waren einige willige und fähige Leute bei der SBTF, um die Koordinaten von Notunterkünften auf den Satellitenbildern zu markieren.

Ich schickte eine Email an die Gruppe und innerhalb von zwei Tagen meldeten sich etwa 50 Freiwillige. Unseren Testversuch haben wir vom 26. bis 30. August gemacht. Der Gedanke dahinter war, zu sehen was schlecht und was gut laufen würde und daraus für den Ernstfall zu lernen.

Lernen für den Ernstfall

Es ist angebracht zu betonen, dass das Ziel des Probelaufs (und der gesamten Übung) nicht war, eine fortgeschrittene und hochwertige Analyse von Satellitenbildern zu versuchen. Diese gibt es von Profis bereits. Es geht nicht nur um Somalia in den nächsten Wochen und Monaten. Es geht um Libyen, Syrien, Yemen, Afghanistan, Irak, Pakistan, Nordkorea, Simbabwe, Jemen usw. Experten für die Analyse von Satellitenbildern mit genügend Zeit, ihre Fähigkeiten kostenlos und in ihrer Freizeit zur Verfügung zu stellen sind selten. Währenddessen werden täglich Millionen von Quadratkilometern per Satellit aufgenommen.

Das ist ein großes Datenproblem und wir benötigen eine großflächige menschliche Intervention, bis die Software aufgeholt hat. Crowdsourcing hat sich in vielen Projekten und anderen Bereichen als eine umsetzbare Lösung herausgestellt. Die „Crowd“, die Menschenmenge, kann tatsächlich ein großes Volumen an Satellitenbildern durchsuchen und interessante Features markieren. Einige dieser Crowdsourcing-Plattformen haben auch eingebaute Qualitätsmechanismen, die die Zuverlässigkeit der Tags und Tagger sicherstellen.

Tomnods CrowdRank-Algorithmus zum Beispiel validiert Bildanalysen nur wenn eine bestimmte Anzahl von Nutzern dasselbe Bild auf die gleiche Art und Weise getaggt hat. In unserem Fall wurden nur Unterkünfte für den Review durch Experten akzeptiert, die von 3 SBTF-Freiwilligen identisch getaggt werden. Die Idee ist nicht Experten zu ersetzen, sondern ihnen einige der einfacheren, aber zeitintensiven Aufgaben abzunehmen, damit sie ihre Fähigkeiten bei den schwierigeren Themen wie Bildinterpretation und Analyse einsetzen können.

Crashkurs in der Analyse von Satellitenbildern

Der Testlauf sollte den SBTF-Taggern die Möglichkeit geben, die Tomnod-Plattform auszuprobieren und Feedback zu der Technologie und den von uns zusammengestellten Arbeitsabläufen zu geben. Die Tagger wurden gebeten, eine bestimmte Form von Unterkunft auf den Satellitenbildern, die sie über die web-basierte Tomnod-Plattform erhalten hatten, zu markieren.

Vieles vom Probelauf würden wir in Zukunft anders machen. Aber das war auch der Sinn dieses Tests. Wir hatten gehofft, einen Crashkurs in der Analyse von Satellitenbildern zu bekommen, aber unsere Kollegen vom Satellite Sentinel Project (SPP) hatten seit Tagen aufgrund einer sehr wichtigen Analyse zum Sudan nicht geschlafen. Also haben wir es alleine versucht. Wir hatten allerdings einige Experten im SBTF-Team und ihr Input während des gesamten Prozesses war sehr hilfreich.

Unser gesamter Workflow mit Kommentaren und Feedback zum Testlauf ist in einer frei zugänglichen und editierbaren Google-Datei verfügbar. Auffällig sind die Seiten über Seiten an Kommentaren, Fragen und Antworten. Darin liegt der Wert des Testlaufs. Zusätzliches Feedback zu unserer Herangehensweise ist von jedem mit Erfahrung auf dem Gebiet der Interpretation und Analyse von Satellitenbildern sehr willkommen.

Die Ergebnisse in Bildern

Das Ergebnis unseres Probedurchlaufs: SBTF-Freiwillige analysierten eine kolossale Anzahl von über 3700 Bildern und taggten mehr als 9400 Schutzräume (in dem grün unterlegten Gebiet unten; alle Screenshots sind von Tomnod). Dieses Gebiet, der Afgooye-Korridor, ist die Verbindungsstraße zwischen Mogadischu und Afgooye, die aufgrund von Umsiedlung durch Krieg und Hungersnöte im vergangenen Jahr zu einem der größten urbanen Gebiete in Somalia geworden ist.

Vergangenes Jahr benutzte UNHCR Satellitenbilder, um zu schätzen wie viele Menschen dort leben und um dem Korridor eine konkrete Realität zu geben. Die Bilder der Camps haben dazu geführt, dass die Flüchtlingsagentur der UN die Zahl der Menschen, die im Afgooye-Korridor leben auf erschreckende 410 000 schätzt. Vorherige Schätzungen, vom September 2009, haben die Zahl auf 366 000 angesetzt.

Die gelben Rechtecke zeigen die über 3700 Einzelbilder, die SBTF-Freiwillige einzeln nach Unterkünften durchsucht haben. Das Ergebnis von 3 Tagen Arbeit sind über 9400 getaggte Unterkünfte:

Dank Tomnods CrowdRank-Algorithmus waren wir in der Lage einen Konsens unter den Taggern zu erreichen und die Unterkünfte einzugrenzen. Insgesamt wurden 1423 Standorte bestätigt für den Typ von Schutzraum, der in unseren Workflows beschrieben ist. Ein erster Blick auf eine Handvoll willkürlich ausgewählter Schutzräume zeigt, dass sie richtig getaggt wurden. Im nächsten Schritt könnten wir die Analyse dieser bestätigten Bilder über SBTF crowdsourcen, um die Übereinstimmung noch einmal zu überprüfen. Die Bilder könnten ohne Probleme auf Google Earth oder einer per Passwort geschützten Ushahidi-Karte hinzugefügt werden.

Was wir alles gelernt haben

Wir haben eine Menge während dieses Testlaufs gelernt und Luke hat wirklich gutes Feedback bekommen, wie Tomnod die Plattform weiterentwickeln kann. Die gesammelten Daten sollten uns auch dabei helfen, SBTF-Freiwilligen gezieltes Feedback zu geben, damit sie ihre Fähigkeiten weiter ausbauen können. Ich hätte noch viel spezifischere und detailliertere Informationen dazu geben sollen, welche Arten von Unterkünften getaggt werden sollten.

Der Q&A-Bereich des Google-Dokuments zeigt, dass viele Freiwillige am Anfang unsicher waren, weil meine ursprünglichen Richtlinien zu vage waren. Mit Blick nach vorne heißt das: Wir werden viel mehr Details und Beispiele geben müssen, welche Features gesucht werden und was nicht beachtet werden braucht.

Ein Kollege hat vorgeschlagen, ein interaktives Online-Quiz zu erstellen, das freiwillige Helfer durch eine Reihe von Beispielen führt. Nur wenn Freiwillige alle Antworten richtig beantworten, werden sie zum Live-Tagging zugelassen. Ich habe keinen Zweifel daran, dass das in folgenden Analysen die Genauigkeit signifikant erhöhen wird.

Bis jetzt ist alles nur ein Testlauf

Ich möchte noch einmal betonen, dass die Analyse, die in diesem Testlauf durchgeführt wurde, nicht für humanitäre Hilfsorganisationen oder zur Verbesserung des Bewusstseins über die Lage in Somalia gedacht ist. Sie stellt lediglich einen Test dar. Ziel war, etwas Neues auszuprobieren und währenddessen Probleme auszuloten, damit wir in der Lage sind sofort loszulegen, wenn die UN uns mit einer offiziellen Aufgabe betrauen (und wir dann die erste große Lernkurve schon hinter uns haben).

In diesem Zusammenhang hat das Humanitarian Open Street Map Team (HOT) den SBTF-Freiwilligen einen Einführungskurs für die OSM-Plattform zur Verfügung gestellt. Das HOT-Team ist seit Haiti damit beschäftigt, einen OSM Tasking Server zu entwickeln, der ihnen erlaubt das Verfolgen von Satellitenbildern in kleine Aufgaben zu zerlegen. Sie haben mir die Plattform demonstriert und ich bin sehr begeistert von diesem neuen Werkzeug. Sobald das System voll funktionsfähig ist, werde ich Zugang dazu bekommen und einen Blogeintrag zum Tasking Server schreiben.

Anm. d. Red.: Inzwischen arbeiten Mitglieder der SBTF auch an der Auswertung von Satellitenbildern aus Syrien. Der Text wurde von Anne-Christin Mook aus dem Englischen übersetzt und erschien zuerst in dem Blog von Patrick Meier. Alle Bilder sind Screenshots von der Webseite Tomnod.