In Zeiten steigender Inflation und Prekarisierung können sich immer mehr Menschen immer weniger Lebensmittel leisten und verfügen über immer weniger finanzielle Mittel, um ihren Lebensunterhalt zu sichern. Angesichts dieser kritischen Lage scheint es nicht naheliegend, nach algorithmisch gesteuertem Konsum und digital optimierten Zahlungsmethoden zu fragen. Indem Mathana die Politik der Smile-to-Pay-Technologien untersucht, zeigen sie jedoch, dass diese Fragen für jede Kritik und jeden Widerstand gegen den Kapitalismus von zentraler Bedeutung sind.
*
Die Erforschung unseres Kaufverhaltens und der Art und Weise, wie wir für das bezahlen, was wir konsumieren, ist ein großes Geschäft. Marketingteams von Unternehmen erforschen intensiv persönliche Vorlieben und kulturelle Einstellungen zum Konsum, Datenaggregatoren entwickeln Algorithmen, die es Werbetreibenden ermöglichen, ihre Kund*innen gezielt anzusprechen, und ganze Universitätszentren widmen sich der Erforschung von Konsument*inneneinsichten und der Art und Weise, wie wir einkaufen. Während die individuellen Einstellungen, wie wir für einen bestimmten Artikel bezahlen, komplex sind, wenn mehrere Zahlungsmöglichkeiten zur Verfügung stehen, wird viel getan, um die Menschen dazu zu bewegen, an Verkaufsstellen bargeldlos zu bezahlen. An immer mehr Orten wird die bargeldlose Zahlung zum bevorzugten Zahlungsmittel.
Da die Kräfte, die den Handel antreiben, die Präferenz weg vom Bargeld und hin zu kontaktlosen, automatisierten Zahlungen lenken, führen Unternehmen eine neue Generation von POS-Technologien ein, und es werden Systeme eingeführt, die Teile des menschlichen Körpers scannen, um sie als eindeutige Identifikatoren für die Zahlungsauthentifizierung zu verwenden. In dieser neuen, stillen technologischen Entwicklung der algorithmischen Authentifizierung werden biometrische Sensoren an Verkaufsstellen immer häufiger eingesetzt. Sie nutzen algorithmische Technologie, um spezifische Merkmale des menschlichen Körpers zu identifizieren und Transaktionen durchzuführen. Zu den bekannten biometrischen Zahlungssystemen, die derzeit in Geschäften eingesetzt werden, gehören Systeme wie der Iris-Scanner von MasterCard und der Handabdruckleser von Amazon. Auch andere große globale Zahlungssysteme wie Visa und Stripe verwenden eindeutige biometrische Identifikatoren zur Zahlungsauthentifizierung.
Da Gesichtserkennungstechnologien immer beliebter und präziser werden, haben sich einige Unternehmen wie Mastercard und Alipay einem besonderen Trend in der gestenbasierten Automatisierung an der Kasse zugewandt: der Nutzung des Lächelns einer Person, um eine Zahlungsauthentifizierung auszulösen. Diese Sensortechnologie zur Erkennung menschlicher Emotionen baut auf bestehenden Technologien auf, indem sie 3D-Kameras, Gesichtserkennungssoftware und Gestenerkennungsalgorithmen kombiniert, um registrierte Käufer*innen mit der biometrischen Datenbank des Unternehmens abzugleichen und dann einen Authentifizierungsmechanismus für Zahlungsabwickler*innen auszulösen, wenn die Kundin bzw. der Kunde lächelt. Die Marketingteams der Unternehmen, die diese POS-Technologien einführen, bewerben sie als ‚bequeme‘ Alternativen zu Bargeld, Karten und anderen kontaktlosen Zahlungsmitteln wie Mobiltelefonen. Obwohl diese neuen Bezahlsysteme als verbraucher*innenfreundlich angepriesen werden, bergen sie zahlreiche Risiken für den Datenschutz, die Sicherheit und die Umwelt, da für den Betrieb dieser Technologien riesige Rechenzentren erforderlich sind.
Konsum der nächsten Generation: Risiken und Chancen
Auch wenn es sich wie ein Science-Fiction-Szenario anhört, existieren die grundlegenden Technologien, die unsere emotionalen Zustände als Zahlungsmittel nutzen, bereits seit einiger Zeit. Der erste dokumentierte Einsatz von ‚Pay with your Smile‘-Technologien erfolgte 2017 im KPro-Restaurant, einer Filiale von KFC, in Hangzhou, China, im Rahmen einer Partnerschaft mit Alipay, der allgegenwärtigen Zahlungsplattform aus China. Seitdem haben immer mehr Unternehmen diesen sehr speziellen Zahlungsmechanismus übernommen, bei dem die Kunden ein glückliches Gesicht machen müssen, um ihren Einkauf abzuschließen. Acht Jahre später hat sich die ‚Pay with your Smile‘-Technologie weltweit verbreitet. In Russland hat sich der größte Lebensmitteleinzelhändler des Landes, die X5 Group, mit Sber, einem mehrheitlich in Staatsbesitz befindlichen Bank- und Finanzdienstleistungsunternehmen, zusammengetan, um den weltweit größten Smile-to-Pay-Service in Tausenden von Perekrestok-Filialen, der größten Supermarktkette Russlands, einzuführen. Das Phänomen wird nun global: MasterCard, das zweitgrößte Zahlungsabwicklungsunternehmen der Welt, testet ein Smile-to-Pay-System in Brasilien und plant, es in Zukunft auch im Nahen Osten und in Asien einzuführen. Da große Unternehmen und Einzelhändler*innen auf diese Technologie setzen, ist der Verbraucher*innenschutz von entscheidender Bedeutung, um den Verlust der Privatsphäre zu verhindern und die Sicherheit zu gewährleisten. Ohne gegenseitige Kontrolle könnte die algorithmische automatisierte Zahlungsabwicklung weitreichende Auswirkungen auf die Gesellschaft haben.
Neben der Nachverfolgung unserer Einkäufe könnte die Einführung von Terminals mit Gesichtserkennung auch bei Käufer*innen, die nicht für diese Dienste registriert sind, zu Datenschutzbedenken führen, da immer mehr private Infrastrukturen in unseren Städten zu Überwachungsstationen werden, die in der Lage sind, biometrische Signaturen von Passanten zu identifizieren. Die bloße Präsenz biometrischer und emotionserkennender Sensoren an alltäglichen Einkaufsorten wie Supermärkten verändert die Dynamik der Privatsphäre zwischen Mensch und Stadt und schafft ein neues Einfallstor, das von Hacker*innen, Polizist*innen, Spion*inneen oder automatisierten Trackingsystemen Dritter genutzt werden könnte. Als neue Technologie müssen Algorithmen zur Erkennung von Personen überwacht werden, um sicher zu funktionieren. Die Verschmelzung von Technologie und Finanzen bedeutet, dass Unternehmen mit enormen Ressourcen in der Lage sind, verschiedene experimentelle Formen von Zahlungstechnologien in unterschiedlichen Märkten zu testen.
Eine europäische Perspektive auf ‚Emotion‘ und ‚Erkennung‘
Das KI-Gesetz der EU trat am 1. August 2024 in Kraft und eröffnete ein zweijähriges Zeitfenster, bevor es 2026 vollständig in Kraft tritt. Es wurde von der Europäischen Kommission als „die weltweit erste umfassende Regelung zur künstlichen Intelligenz“ angekündigt, die geschaffen wurde, um „sicherzustellen, dass die in der EU entwickelte und eingesetzte KI vertrauenswürdig ist, mit Schutzmaßnahmen zum Schutz der Grundrechte der Menschen“. Der Gesetzesentwurf hat viele Ziele, aber eines seiner Hauptelemente ist ein neues System von Risikokategorien für spezifische Anwendungen von KI-Technologien. Artikel 6 des Gesetzes legt Klassifizierungsregeln für „risikobehaftete“ KI-Systeme fest, und eine dieser Risikokategorien ist die „Emotionserkennung“. Darüber hinaus scheint Anhang III des EU-KI-Gesetzes recht eindeutig zu sein, wenn er die Art der biometrischen Algorithmen beschreibt, die menschliche Emotionen erkennen und als „risikoreich“ gelten: „KI-Systeme, die zur Erkennung von Emotionen verwendet werden sollen“. Nach der Gesetzesdefinition in Artikel III ist ein „System zur Erkennung von Emotionen“ ein KI-System, das dazu dient, Emotionen oder Absichten natürlicher Personen auf der Grundlage ihrer biometrischen Daten zu erkennen oder abzuleiten.
Diese Definition führt jedoch zu einer fast metaphysischen Besonderheit in der Art und Weise, wie das EU-Gesetz beschreibt, was Emotionserkennung ist. Im Wesentlichen verbindet das Gesetz die Erkennung eines äußeren Ausdrucks mit einem zugrunde liegenden emotionalen Zustand. Dies hat in der Tat erhebliche Auswirkungen auf die Schaffung eines regulatorischen Impulses für die Regulierung von ‚Smile-to-Pay‘-Systemen. Wenn Unternehmen gegenüber den europäischen Regulierungsbehörden argumentieren können, dass ein ‚Smile-to-Pay‘-System keine Emotionserkennung darstellt, weil ein Lächeln nicht von Natur aus mit einem zugrunde liegenden emotionalen Zustand verbunden ist, könnten solche Systeme die Kategorie ‚hohes Risiko‘ vollständig umgehen. Dies ist ein Beispiel dafür, wie ein gut gemeintes Ziel der öffentlichen Ordnung durch die zugrunde liegende definitorische Rechtfertigung präventiv eingeschränkt wird.
Wenn das EU-Recht die Aufforderung an eine Person, eine Geste zu machen, um eine finanzielle Transaktion abzuschließen, nicht als reinen Fall von Emotionserkennung betrachtet, könnte dies zulässig werden. Während eine Reihe prominenter Organisationen für digitale Rechte ein vollständiges Verbot der Emotionserkennung und die Einstufung der Emotionserkennung in die Kategorie ‚hohes Risiko‘ gefordert haben, scheint es, dass Smile-to-Pay-Systeme in Europa im Einklang mit dem KI-Gesetz eingeführt werden könnten. Während die politischen Entscheidungsträger*innen in der EU versucht haben, regulatorische Sicherheitsvorkehrungen für bestimmte KI-Anwendungen zu treffen, wird es entscheidend sein, wie das Gesetz reguliert wird. Ein genauer Blick auf die politische Sprache des Gesetzes erweckt den Eindruck, dass es potenzielle Umgehungsmöglichkeiten für Unternehmen gibt, die Technologien zum Bezahlen mit einem Lächeln einführen wollen.
Obwohl Europa versucht, sich als neue Referenz für eine verantwortungsvolle Regulierung von Algorithmen zu positionieren, enthält das KI-Gesetz Ausnahmen für Zwecke der ‚nationalen Sicherheit‘, und Interessenvertreter*innen haben bereits darauf hingewiesen, dass die Gesetzgebung gefährdete Bevölkerungsgruppen nicht schützt. In einem politischen Klima, das von einer wachsenden Anti-Einwanderungsstimmung und dem Aufstieg der extremen Rechten in einflußreichen Mitgliedstaaten geprägt ist, werden grundlegende Schutzmaßnahmen durch neue technologische Möglichkeiten auf die Probe gestellt. Die Durchsetzung der Einhaltung von Algorithmen wird dem neuen KI-Büro der EU obliegen, das innerhalb der Europäischen Kommission eingerichtet wurde, was bedeutet, dass der politische Gegenwind einzelner Nationalstaaten langfristig Einfluss auf Durchsetzungsentscheidungen haben könnte.
Wie wir Konsum im Zeitalter der Algorithmen zurückerobern
Da sowohl Anbieter*innen als auch Zahlungsabwickler*innen versuchen, mehr Transaktionsinformationen für ‚Consumer Insights‘ zu sammeln, könnten Unternehmen, die POS-Schnittstellen verwalten, die biometrische Zahlungsabwicklungen nutzen, versucht sein, Verbraucher*innen dazu zu ermutigen, sowohl ihren Körper zum Bezahlen zu nutzen als auch Konsumdynamiken wie die Steigerung der Nachfrage durch Taktiken wie das Anbieten von Kund*innenrabatten zu fördern. Unternehmen wie MasterCard haben ganze Abteilungen, die sich mit Marketing-Dienstleistungen befassen, und haben sich im Vorfeld der KI-Gesetzgebung bei der EU dafür eingesetzt. Die Dynamik dieser nächsten Generation von Konsumtechnologien ist klar: mehr Technologie, weniger Bargeld; mehr Datensammlung, weniger Privatsphäre der Verbraucher*innen.
Während das „Bezahlen mit einem Lächeln“ durch die scheinbare Rationalisierung des Einkaufs vielleicht einige Sekunden an der Kasse spart, ist die Weitergabe hochauflösender Details unveränderlicher Merkmale unseres Körpers aus Gründen der Bequemlichkeit ein faustischer Tausch. Langfristig wissen wir nicht, wozu und wie unsere Fingerabdrücke in Zukunft verwendet und genutzt werden. Bevor Erkennungssysteme wie ‚Bezahlen mit einem Lächeln‘ zur Normalität werden, sollte die Gesellschaft die ethischen und sozialen Kompromisse bedenken, die damit einhergehen, dass Menschen ihre Emotionen an Maschinen weitergeben, um ihre Einkäufe zu bezahlen.
Die Einführung neuer Intermediäre in die Zahlungsinfrastruktur erfordert kreative Antworten und Forschungsinitiativen. Akademiker*innen, Forscher*innen, politische Entscheidungsträger*innen und zivilgesellschaftliche Vertreter*innen müssen alle dazu beitragen, die Menschen besser über die potenziellen persönlichen Risiken aufzuklären, die sich aus der Verschmelzung von Big Tech und Big Finance ergeben, wenn cyber-physische Systeme eingesetzt werden, um individuelle menschliche Eigenschaften unseres Körpers für finanzielle Transaktionen zu nutzen. Akademische Zentren wie das Emotional AI Lab der britischen Bangor University erforschen die sozialen Auswirkungen von Algorithmen zur Emotionserkennung, und Bürger*innenorganisationen wie AcessNow, EDRi und Article19 haben sich zusammengeschlossen, um ein klares Verbot von Technologien zur Emotionserkennung zu fordern. Obwohl Forschung und Interessenvertretung von entscheidender Bedeutung sind, können Universitäten und Aktivist*innenorganisationen die Flut nicht allein aufhalten. Gesetzgeber*innen können ermutigt werden, eine solide Politik zu entwickeln, die auf Rechten und nicht auf Risiken basiert, und Datenschutzbehörden auf Länderebene können nationale Verbote für bestimmte proprietäre biometrische Erfassungssysteme ausweiten.
In einer Zeit steigender Lebensmittelpreise und inflationärer Verbraucherpreise scheint es an emotionale Manipulation zu grenzen, wenn ein Lächeln zum Kaufabschluss gezwungen wird und nicht die bizarre Spielerei, für die es scheinbar gedacht ist. Letztendlich ist es eine persönliche Entscheidung, wie wir konsumieren, aber wenn wir das Bewusstsein für die Risiken und Chancen von Zahlungstechnologien schärfen, können wir vielleicht Freunde und Familie dazu ermutigen, nicht dem neuesten Zahlungstrend zu folgen, und uns gegen das schleichende globale, datenintensive automatisierte Kassensystem wehren, das bis ins kleinste Detail weiß, wann und wo wir eingekauft haben. Wenn der Kapitalismus als globales Tauschsystem überleben soll, dann kann die Verwendung von Bargeld beim Einkaufen im Zeitalter der Automatisierung vielleicht ein kleiner, aber wichtiger und radikaler Akt des Widerstands sein.
Anmerkung der Redaktion: Mathana hat diesen Beitrag im Rahmen eines Stipendiums für Berichterstattung bei der gemeinnützigen Organisation AlgorithmWatch verfasst.