Wir bemerken es kaum, doch im Hintergrund läuft eine Revolution von oben – ein algorithmischer Ausnahmezustand, der für Leben, Status und Handlungsräume von Einzelnen und Gruppen weitreichende Konsequenzen hat. Zum Auftakt des BG-Jahresthemas 2018 reflektiert der Technikforscher Dan McQuillan das Kernanliegen und liefert erste Hinweise darauf, wie man den AMBIENT REVOLTS nicht begegnen sollte.
*
Gesundheit, Kriminalität, Wahnsinn und Sicherheit – all diese Diskurse werden in unserer Gesellschaft dazu instrumentalisiert, Bürgerinnen und Bürger zu disziplinieren. Die Grundlagen dafür finden sich in den Datenstrukturen, genauer gesagt, in den Kategorien, die Datenstrukturen begründen.
Man denke beispielsweise an die Kategorie der Problemfamilien, die das ‚Department for Communities and Local Government‘ geschaffen hat, um damit Familien zu kennzeichnen, die spezielle Maßnahmen benötigen. In Großbritannien machte das Leben von 40.000 Familien eine ‚90-Grad-Kehrtwende‘, als ihnen jeweils ein erfolgsabhängig bezahlter Keyworker zugeteilt wurde, der den Auftrag hatte, sie wieder in Arbeit zu versetzen und ihre Kinder wieder an Schulen zu bringen. Sie waren über Vorgänge in Datenbereichen, die ihre Existenz der Regierung verständlich machen, identifiziert worden. Diese Maßnahmen wurden dann ihrerseits zu neuem Content für Datenfelder und bildeten das Substrat für künftige Maßnahmen. So hilft die Datenwucherung nicht einfach nur unterstützungswerten Individuen, sondern produziert neue Subjektivitäten und Handlungsformen.
Die Datenmenge, die diese Maßnahmen ermöglicht, entsteht durch das, was Michel Foucault ein Dispositiv nennt: “ein heterogenes Ensemble, das Diskurse, Institutionen, architekturale Einrichtungen, reglementierende Entscheidungen, Gesetze, administrative Maßnahmen, wissenschaftliche Aussagen, philosophische, moralische oder philanthropische Lehrsätze, kurz: Gesagtes ebenso wohl wie Ungesagtes umfasst. Soweit die Elemente des Dispositivs. Das Dispositiv selbst ist das Netz, das zwischen diesen Elementen geknüpft werden kann.”
Ich glaube, dass das Dispositiv sich auf verschiedenen Ebenen gerade deutlich wandelt: in Bezug auf architektonische Formen (Formen der Datensatzstruktur), auf Verwaltungsmaßnahmen (als Algorithmen), Regulierungen (als algorithmische Regulierungen und Gesetzen (als Ausnahmezustände).
“No-Fly”-Listen
Es gibt heutzutage einen Hang dazu, Daten für Algorithmen zu standardisieren, besonders durch Arten algorithmischer Verarbeitung, die man als Datamining und maschinelles Lernen bezeichnet. Data-Mining sucht nach Mustern in den Daten, beispielsweise Verbindungen zwischen Variablen und Clustern, während maschinelles Lernen Computer darin schult, diese Muster in zukünftigen Daten besser zu erkennen. So gibt es also die Möglichkeit, Voraussagen zu treffen, die auf Schlussfolgerungen aus den Daten beruhen. In den frühen Tagen des Data-Mining interessierte man sich vor allem für die zukünftigen Kaufentscheidungen von Supermarktkunden. Das Potential für empirische Voraussagen ist aber auch attraktiv für gesellschaftliche Strukturen, die mit Risikomanagement zu tun haben – ob diese Risiken mit Autoversicherungen zu tun haben oder mit so etwas wie einem Terroranschlag.
Manche finden, dass die Tatsache, dass man immer mehr Verknüpfungen finden kann, gefeiert werden sollte. Schließlich kann man so Entscheidungen wegen möglicher Krankheitsausbrüche oder dem Risiko von Gebäudebränden mit Datenmustern begründen. Wo ein Wahrscheinlichkeitsalgorithmus aber grundsätzlich falsch liegt, wird er mit Sicherheit zu einigen Falschmeldungen führen. Darüber hinaus besteht die ‚Argumentation‘ hinter der Risikoidentifikation, die ein Algorithmus vornimmt, aus einem Satz statistischer Muster. Für Menschen ist sie unter Umständen schwer durchschaubar, auch wenn alle Daten zugänglich sind. Als Resultat “könnte Data-Mining auf Individuen und Ereignisse verweisen und ein höheres Risiko anzeigen, ohne uns Gründe für die Auswahl zu verraten” (so Tal Zarsky). Ironischerweise zieht die Tendenz zu Voraussagen wegen dem vertuschten Unterschied, den es zwischen Korrelation und Kausalität gibt, neue Risiken nach sich. Ich werde zeigen, wie das dadurch verstärkt wird, dass Entscheidungen, die auf Verknüpfungen basieren, in das gesellschaftliche Feld eingehen.
Der zunehmende Einsatz von Voraussagen kollidiert mit unseren Annahmen zu politischer und juristischer Fairness. Dabei geht es um den Einsatz präventiver Prognosen – Formen von Voraussagen, die “bewusst eingesetzt werden, um die zukünftigen Optionen einer Person zu verringern” (Earle 2013). Ein gutes Beispiel für eine präventive Prognose ist die No-Fly-Liste von Menschen, die nicht an Bord eines Flugzeugs in die USA dürfen. Die Liste wird vom “Terrorist Screening Centre” der Regierung der Vereinigten Staaten zusammengestellt und betrieben.
Es ist den Menschen normalerweise nicht bewusst, dass sie auf der Liste stehen, bis sie sich bei dem Versuch, ein Flugzeug zu besteigen, juristischer Verschleierung gegenübersehen, sobald sie den Prozess, durch den sie auf die Liste gelangt sind, in Frage stellen (Identity Project 2013). Der einzige Weg, herauszufinden, ob man von der Liste genommen wurde, ist der Versuch, ein Flugzeug zu besteigen – und dann zu schauen, was passiert. Das Prinzip fairer und gleicher Behandlung Aller vor dem Gesetz stützt sich auf den Datenschutz und das Rechtsstaatsprinzip, aber die vermeintlichen Voraussagekräfte des Big-Data-Minings stehen mit der Unschuldsvermutung natürlich auf Kriegsfuß.
Weitverbreitete Akzeptanz algorithmischer Regulierung
In Chicago sagte eine algorithmische Analyse eine Heat-Liste von 420 Individuen voraus. Bei ihnen sei es wahrscheinlich, dass sie in eine Schießerei verwickelt werden würden. Risikofaktoren wie vorherige Haftstrafen, Drogenvergehen, Komplizen, von denen man wusste sowie deren Haftregister wurden einbezogen. Sie erhielten persönliche Warnbesuche von einem leitenden Polizeibeamten. Das führte dazu, dass mindestens eine der Personen sich Sorgen machte, dass er durch die Aufmerksamkeit in den Augen seiner Nachbarn fälschlicherweise als Spitzel dastand. Als die Chicagoer Polizei sich daraufhin gegen den Vorwurf verwehren mussten, die schwarze Community zu diskriminieren, verwies sie auf die mathematische Natur der Analyse. Diese präventiven Maßnahmen wurden ohne rechtskräftige Beweise umgesetzt. Die Polizei ist manchmal auf Grundlage eines Algorithmus‘ bereit zu handeln, obwohl sie beteuert, den Entscheidungsprozess dahinter nicht zu verstehen. Auch wenn diese Fälle als Sonderfälle erscheinen mögen, kann die weitverbreitete Akzeptanz algorithmischer Regulierung im Zentrum regulatorischer Maßnahmen denselben Prozess einschließen.
Das Konzept algorithmischer Regulierung wird als Mechanismus sozialer Regierungsführung beworben. Einer der leitenden Fürsprecher ist Tim O’Reilly, den man zuvor als Sprecher für das Web 2.0 kannte und als Verfechter von dessen Strategie, Online-Services auf benutzergenerierte Daten zu stützen. O’Reilly und andere wollen mit der Verwendung des Begriffs der algorithmischen Regulierung die computergesteuerte Herangehensweise der Regierung betonen. Sie argumentieren, dass die Dynamik und die statistischen Rückkopplungsschleifen, die von Unternehmen wie Google und Facebook eingesetzt werden, um ihre Systeme gegen Malware und Spam abzusichern, von Regierungsbehörden benutzt werden können, um gesellschaftliche Probleme zu identifizieren und abzuändern. Diese Prozesse sind im privaten Bereich bereits am Laufen: Wenn Sie damit einverstanden sind, dass eine „Black Box“-Datenaufzeichnung in Ihrem Auto Ihr Fahrverhalten überwacht, dann wird man Ihnen einen deutlichen Rabatt auf Ihre Autoversicherung anbieten.
Für Entscheider in der Politik verspricht dies ein nahtloses Hochskalieren von Thalers und Sunsteins Nudge-Theorie, laut der kleine Änderungen in der sogenannten Wahlarchitektur des Alltagslebens das Verhalten der Menschen auf vorhersehbare und wünschenswerte Art ändert. Die der Regierung zur Verfügung stehenden Mittel wurden durch krisenbedingte Kürzungen und Outsourcing ausgedünnt – Big Data aber liefert einen Schatz an Informationen. Die Kompetenzen kommerziellen Data-Minings und maschinellen Lernens stehen bereit, uns nach Neigungen, derer wir uns möglicherweise nicht bewusst sind, zu überprüfen. Algorithmische Regulierung scheint ein Dispositiv anzubieten, das mittels Echtzeitinterventionen eine Zugkraft auf Fettleibigkeit, Gesundheitswesen und Energienutzung ausüben kann. Wie wir aber gesehen haben, wurde dies durch eine Reihe von sozialen Technologien ermöglicht, die dazu neigen, der Rechtsstaatlichkeit durch Präventivaktionen zu entfliehen und durch Rechtfertigungen, die eher auf Verknüpfungen als auf Kausalitäten verweisen. Wie verstehen wir die Implikationen so allgegenwärtiger wie auch undurchsichtiger Mechanismen, in denen die Verknüpfung zur Basis von Züchtigung oder Nötigung wird? Ich finde, es ist nützlich, Giorgio Agambens Ideen über den Ausnahmezustand heranzuziehen.
Die Theorie des Ausnahmezustands
Wir leben heute in einer Art Fiktion, einem realexistierenden Ausnahmezustand, von dem wir nicht direkt in den Rechtsstaat zurückkehren können, “weil gerade die Konzepte von Staat und Recht auf dem Spiel stehen”. Trotzdem rückt die Anwendung von Algorithmen auf diese Fragen durch den Mittelteil von Agambens These in den Fokus. Darin bezeichnet er die topologische Struktur des Ausnahmezustands als “außerhalb stehend und doch zugehörig” und trifft eine Unterscheidung zwischen dem Gesetz und der Härte des Gesetzes.
Ich weise darauf hin, dass “außerhalb stehend und doch zugehörig” die Form des Raumes ist, die vom algorithmischen Dispositiv geschaffen wird. Während die neuen Vorgänge an deutlich gesetzte organisatorische und technische Systeme gebunden sind, haben sie das Potenzial, soziale Konsequenzen zu schaffen, die vom Gesetz nicht benannt werden. Diese Erfahrungen wurden erstmals in den sozialen Medien gemacht. Wenn Facebooks Algorithmen entscheiden, dass ein unglücklicher Nutzer ihre Nutzungsbedingungen verletzt hat, findet diese Person heraus, dass es keine Handhabe gibt; es gibt nicht wirklich eine Erklärung für den Ausschluss und niemanden, an den er oder sie sich wenden kann. Es spielt keine Rolle, dass man lediglich ausgeschlossen wurde, weil man irgendeine statistische Vertrauensgrenze überschritten hatte, oder dass das langjährige virtuelle Ackern – zu liken, anzufreunden und upzudaten – dabei geholfen hat, reale Aktienwerte für die Firma zu generieren, oder dass Facebook im eigenen Sozialleben oder in einer politischen Kampagne möglicherweise zu einem wichtigen Hebel geworden ist. Die vorherige Tätigkeit und Existenz in diesem pseudo-öffentlichen Raum wurde algorithmisch eingestellt. Um mithilfe Tausender dynamischer Datenpunkte Leih-Entscheidungen zu treffen, setzen Zahltagdarlehensfirmen wie Wonga inzwischen das komplette Spektrum heterogener Daten ein, darunter Facebook.
Das Alltagsleben wird zunehmend von Kontakten mit algorithmischen Systemen durchdrungen, die die Reibung oder die Richtung unseres Erlebens beeinflussen. In den 1950ern setzte man das Rot-Anstreichen ein, um die Art zu kennzeichnen, in der den Menschen für Versicherungen und Gesundheitsvorsorge mehr in Rechnung gestellt wurde, oder in der ihnen Dienste oder Jobs versagt wurden – eine Vorgehensweise, die darauf beruhte, dass sie in einem sozial benachteiligten (oft ethnisch identifizierten) Teil der Stadt wohnten. Big Data und Datamining ähneln einem dynamischen, in Echtzeit aktualisierten “persönlichen Rot-Anstreichen”. In Zukunft werden sich ambitionierte Formen algorithmischer Regulierung mit neuen Formen der Diskriminierung verbinden, um Grenzen und Ausschlüsse geltend zu machen. Als Folge wird es ständige Teil-Ausnahmezustände durch von Algorithmen abgeleitete Maßnahmen geben.
Nach Agamben müssen wir Maßnahmen zur Kenntnis nehmen‚ die Gesetzeskraft haben, selbst wenn sie ohne Gesetz sind. Diese sind Kennzeichen eines Ausnahmezustandes. Mittels Software wird prognostiziert, welche Person, die gerade auf Bewährung ist, am wahrscheinlichsten einen Mord oder ein anderes Verbrechen begehen wird. Die Algorithmen wurden von Hochschulforschern entwickelt, die einen Datensatz von 60.000 Verbrechen und ein paar Dutzend anderer Variabeln für diese Individuen benutzen, um dabei zu helfen, festzusetzen, wie intensiv die auf Bewährung Entlassenen überwacht werden sollten. Obwohl er diskriminatorisches Potenzial hat, wird der Algorithmus innerhalb eines juristischen Kontextes aufgerufen. Der starke Anstieg von Drohnenattacken während der Obama-Regierung wird der algorithmischen Identifizierung “riskanter Objekte” über die sogenannte “Disposition Matrix”, die Bestimmungsmatrix, zugeschrieben.
Interviews mit US-amerikanischen Beamten der Nationalen Sicherheitsbehörde zufolge enthält diese Bestimmungsmatrix die Namen von Terrorverdächtigen, denen entgegen andere Faktoren stehen, die aus Daten “einer einzelnen, sich ständig entwickelnden Datenbank” gewonnen wurden, “in der Biografien, Orte, alle Komplizen, von denen man weiß sowie in Verbindung stehende Organisationen allesamt aufgelistet sind”.
Vermischung von Diktatur und Demokratie
Aus der Perspektive des Ausnahmezustandes können wir nicht davon ausgehen, dass die Auswirkung der algorithmischen Kraft gezügelt werden wird, nur weil wir nicht in einer Diktatur leben. Agambens Punkt ist, dass es eine Vermischung von Diktatur und Ausnahmezustand gibt. Die faschistischen Staaten der 1930er waren keine Diktaturen, sondern duale Staaten mit Zweitstrukturen, die mittels der Schaffung von Ausnahmezuständen parallel zur Verfassung existieren konnten. Nach Agamben ist das, wovor wir auf der Hut sein müssen, nicht eine Vermischung von Kräften der Legislative und der Exekutive, sondern die Trennung von Gesetz und Gesetzeskraft. Ich behaupte nun, dass voraussagende Algorithmen sich zunehmend als eine Kraft manifestieren, die nicht gezügelt werden kann, indem man sich auf Privatsphäre oder Datenschutz beruft.
Im Rahmen einer umfassenden Richtlinie für ein Recht auf Privatsphäre und für spezielle datenbezogene Regulierungen sind Schutzmaßnahmen gegen den Missbrauch moderner Datenerfassung von Firmen und bürokratischer Institutionen etabliert worden. Reaktionen auf die Risiken, die von Big Data oder algorithmischer Diskriminierung ausgehen – wie die Civil Rights Principles for the Era of Big Data oder die Seven Principles for Big Data and Resilience Projects – bedienen sich dieser konventionellen Vorstellung von Rechten.
Das mag zwar eine sinnvolle Taktik sein, ich behaupte aber, dass es als Strategie nutzlos ist. Zunächst, weil voraussagende Algorithmen den Vorgang der Schlussfolgerung verdunkeln. Das macht es a priori unmöglich, Grundlagen der Rechtsstaatlichkeit, wie die Tatsache, dass eine Beurteilung der Wahrscheinlichkeit und Beweise von beiden Seiten offen vorgebracht werden müssen, Genüge zu tun. Zweitens aber, und wichtiger noch, verhindert der Charakter des Ausnahmezustands die Möglichkeit einer rechtlichen Regelung. Während ein Ausnahmezustand keine Diktatur ist, ist er doch ein gesetzloser Raum, in dem gesetzliche Bestimmungen deaktiviert sind; besonders die zwischen dem Öffentlichen und dem Privaten. Wenn es, auf das Dispositiv bezogen, nicht länger ein Öffentliches und ein Privates gibt, dann wird der Widerstand einiges mehr brauchen als Datenschutz.
Anm.d.Red.: Der Autor wird im Rahmen des Ambient Revolt-Panels auf der transmediale seine Thesen vorstellen und gemeinsam mit Jennifer Kamau sowie Krystian Woznicki über Alternativen zum algorithmischen Ausnahmezustand diskutieren. Datum: 4. Februar 2018, 13:30 Uhr. Ort: Haus der Kulturen der Welt. Weitere Info hier. Das Foto oben stammt von Marc Dalmulder und steht unter einer Creative Commons-Lizenz.