Analyse Künstliche Intelligenz

Serbien – ein Versuchslabor für Diskriminierung durch Algorithmen

Dass in Europa die optimale Zuwendung von Sozialleistungen durch Algorithmen gesteuert wird, ist durchaus üblich. In Serbien werden die gesammelten Bevölkerungsdaten eingesetzt, um bestimmte Bevölkerungsgruppen, zum Beispiel die Roma, zielgerichtet anzusprechen. In der Zivilgesellschaft mehren sich jedoch die Stimmen, die dieses System verurteilen.

Veröffentlicht am 15 Februar 2023 um 15:57

Als in Serbien im März 2021 das Sozialkartengesetz in Kraft trat, äußerten viele Menschen ihre Bedenken hinsichtlich möglicher Folgen für Bedürftige. Seitdem wurden bei über 22.000 Personen die Sozialleistungen eingestellt. Die Bedenken waren offensichtlich gut begründet.

Laut dem Gesetz wurde ein Register für die Erhebung und Verarbeitung personenbezogener Daten derjenigen Personen eingeführt, die irgendeine Form sozialer Unterstützung erhalten. Damit sollen ihre wirtschaftliche Gesamtsituation erfasst und die für diesen Posten des Staatshaushalts bereitgestellten Ressourcen möglicherweise umverteilt werden. Zur Bestimmung des sozioökonomischen Status schreibt das Gesetz die Erhebung einer langen Liste personenbezogener Daten aus verschiedenen Quellen vor. Diese werden in einem zentralen Register zusammengeführt, und dort wird in einem automatisierten Bewertungsprozess festgelegt, ob und in welcher Höhe eine Person Anspruch auf weiteren Leistungsbezug hat.

Zwei Punkte in diesem System lassen aufhorchen: Da wäre zum einen die ohnehin problematische Situation der Sozialhilfe in Serbien. Sie müsste reformiert werden, sodass mehr Menschen Anspruch hätten und höhere Leistungen erhielten. Das Gesetz scheint jedoch nicht darauf ausgerichtet, neue Leistungsbezieher aufzunehmen, sondern lediglich bestehende Ressourcen neu zu verteilen und einige der derzeitigen Leistungsempfänger auszuschließen.


Das Beste vom europäischen Journalismus jeden Donnerstag in Ihrem Posteingang!

Andererseits bestehen Bedenken wegen des Verstoßes gegen die Vorschriften zur Erhebung und Verarbeitung personenbezogener Daten sowie gegen Vorschriften, die Bürgerinnen und Bürger vor für sie nachteiligen Entscheidungen durch automatisierte Systeme schützen sollen. Es besteht die Gefahr, dass diese Systeme Diskriminierung reproduzieren und verstärken, von der schutzbedürftige Personen (wie zum Beispiel die Roma) bereits betroffen sind.

Im November 2022 legte ein Netzwerk aus Verbänden namens ESCR-Net (Mitglieder sind zum Beispiel Amnesty International, A 11 – Initiative für wirtschaftliche und soziale Rechte, und das European Roma Rights Center) beim serbischen Verfassungsgericht ein Rechtsgutachten vor, das die kritischen Punkte des Gesetzes aufführt.

Ein nicht inklusives System

Laut den von A 11 im Februar 2022 (vor Einführung der Sozialkarte) gesammelten Daten erhielten 211.266 Menschen Sozialhilfe. Im August waren es nur noch 189.036 – ein Rückgang um 10,5 Prozent.

Laut Danilo Ćurčić, dem Koordinator von A 11, ist das System erst in wenigen Städten eingeführt worden, weil viele Sozialarbeitszentren nicht über die für die Verbindung zum Zentralregister erforderliche Technologie und das Fachwissen verfügen. Daher besteht auch ein Problem im Zusammenhang mit der Einführung und Pflege dieses Systems, was laut Ćurčić dazu führt, dass es nicht nachhaltig ist.

In 11 der 15 Städte, aus denen A 11 Daten vorliegen, ist die Zahl der Begünstigten zurückgegangen, in einigen Fällen sogar viel stärker als im nationalen Durchschnitt (Ada: -28,7 %, Irig: -28,8 %). In anderen Städten ist die Anzahl teilweise deutlich gestiegen (Leskovac: +17,1 %). „Wie das System funktioniert ist überhaupt nicht transparent, daher weiß man auch nicht, warum in einigen Sozialarbeitszentren die Zahl der Begünstigten gestiegen ist“, erläutert Ćurčić. „In jedem Fall kann die Sozialkarte nicht der Grund dafür sein, denn die Zentren können anhand der Karte nicht feststellen, wer die Unterstützung noch nicht erhält, und diese Personen eventuell aufnehmen.“

Die Roma als Zielgruppe

Laut  Radio Slobodna Evropa beträgt die Sozialhilfe für Alleinstehende derzeit 10.385 Dinar pro Monat (rund 88 Euro). Dieser Betrag liegt unter dem Schwellenwert von 12.695 Dinar, den die  Regierung 2020 als Minimum zur Armutsbekämpfung festgelegt hat. Nach Angaben der Regierung waren im selben Jahr 6,9 % der serbischen Bevölkerung von absoluter Armut betroffen: Das sind knapp über 475.000 Menschen, d. h. zweieinhalb Mal so viele, wie heute Sozialhilfe erhalten.

Einer der Punkte, die zum Ausschluss von der Sozialhilfe führen können, ist der Wiederverkauf von Plastik, Pappe und Glas zur getrennten Sammlung. Genau das tun viele Roma, die auch die ärmste Bevölkerungsgruppe sind. Francesca Feruglio, Koordinatorin von ESCR-Net, erklärt: „Bei der Übergabe des Materials müssen die Menschen ihre Steuernummer vorzeigen, um ihr Geld zu erhalten. So werden diese Einnahmen, auch wenn sie noch so gering sind, aufgezeichnet, und die Daten landen im Zentralregister der Sozialkarte, was in manchen Fällen zur Aussetzung der Sozialhilfe führt. Wenn man die allgemeine Lebenssituation dieser Menschen bedenkt, ist das vollkommen unfair.“

Automatisierte Diskriminierungssysteme

Einer der Kritikpunkte am neuen Gesetz betrifft die automatisierten Entscheidungen, die sich stark auf das Leben der Menschen auswirken, ohne dass ein Eingriff eines Menschen in den Prozess vorgesehen ist. Im Wesentlichen bedeutet das, dass der Algorithmus der Sozialkarte, sobald er eine Einzelfallbewertung vorgenommen hat, eine Meldung an das lokale Büro verschickt, das die Akte der betreffenden Person verwaltet. Das zuständige Amt hat ein Zeitfenster, innerhalb der die Gültigkeit der Entscheidung von einem Menschen überprüft werden muss, aber weil die Ämter weitgehend stark unterbesetzt sind, wird diese Frist als unzureichend erachtet. In der Praxis läuft der Prozess vollautomatisch.

Das Arbeitsministerium behauptet in seiner Folgenabschätzung des Gesetzes, Bürgerinnen und Bürger seien geschützt, weil immer eine Person im zuständigen Amt oder im Ministerium die Möglichkeit habe, auf Antrag der betroffenen Person die Beurteilung zu überprüfen und zu verändern. In Wirklichkeit aber, erklärt Ćurčić, „hat man nur 15 Tage Zeit für einen Widerspruch gegen den Bescheid, und das tut fast niemand. In vielen Fällen wissen die Leute nicht, dass sie eine Widerspruchsmöglichkeit haben, sind Analphabeten oder haben nicht die Mittel, zu reagieren. Also lassen sie die sechs Monate Sperre einfach verstreichen und stellen dann einen neuen Antrag auf Sozialhilfe. Aber selbst wenn sie damit Erfolg haben, bekommen sie zunächst sechs Monate lang kein Geld, und es besteht auch keine Garantie, dass ihr neuer Antrag angenommen wird oder es nicht zu einem erneuten Widerruf kommt.“

Biljana Đorđević, Abgeordnete der Bewegung Ne davimo Beograd, forderte vom Ministerium Transparenz über die Funktion des Algorithmus und die Anzahl Menschen, denen aufgrund der Einführung der Sozialkarte die Leistungen entzogen wurden. „Das Ministerium antwortete, es gebe keinen Algorithmus“, erklärt sie. „Das System sammele lediglich Daten, und Beurteilungen würden von den Sozialarbeiter*innen vorgenommen. Die gesammelten Zeugenaussagen zeigen, dass das nicht stimmt.“

Außerdem: Wenn es keinen Algorithmus gibt, auf welcher Grundlage sendet das Ministerium dann Meldungen an die Sozialarbeitszentren? Dass Datenverarbeitung stattfindet, ist offensichtlich, aber nicht, auf welcher Grundlage dies geschieht. „Wir baten auch um Zugang zu dem Code, der letztendlich die Datenerfassung vornimmt“, fährt Đorđević fort, „aber der wurde uns mit Verweis auf das Urheberrecht und die nationale Sicherheit verwehrt.“

Zum Rückgang der Anzahl an Leistungsempfängern lieferte das Ministerium keine genauen Daten, sondern begründete ihn damit, dass sich das Land in den vergangenen Jahren nach und nach entwickelt habe und sich daher die Lebensumstände der Menschen verbessert hätten, sodass der Unterstützungsbedarf zurückgegangen sei. Das trifft zwar auf die Zahlen zur absoluten Armut zu, die in Serbien in den letzten Jahren leicht rückläufig sind (aber noch immer schlechter als 2008 und 2009), trotzdem besteht Bedarf, den Kreis der Begünstigten zu erweitern, während „völlig klar ist, dass dieses Gesetz dazu dient, Menschen auszuschließen“, so Đorđević.

„Dass die Folgenabschätzung des Ministeriums derart dürftig ist, wundert mich sehr“, meint Gianclaudio Malgierie, außerplanmäßiger Professor für Recht an der Universität Leiden. „Inzwischen besteht ein gewisser Konsens darüber, dass der menschliche Einfluss auf Entscheidungen, die durch automatisierte Systeme getroffen werden, erheblich sein muss. Davon ist hier nichts zu sehen. Außerdem sollte bei Systemen, die Entscheidungen binnen Sekunden treffen, ein vereinfachtes Einspruchsverfahren gelten. Im vorliegenden Fall werden jedoch die Standardverfahren angewandt, die im Wesentlichen zu einer ordentlichen Gerichtsbarkeit führen, mit allen damit verbundenen Zeit- und Kostenfolgen.“

Im Text des Gesetzes über die Sozialkarte heißt es, dass dieses System auch Auswirkungen auf sozial schwache Gruppen und Personen haben kann. An dieser Stelle sollte eine Reihe zusätzlicher Schutzmaßnahmen bestehen: Es sind aber keine vorhanden. „Serbien“, fährt Malgieri fort, „hat auch ein Gesetz zum Schutz personenbezogener Daten nach dem Vorbild der europäischen Datenschutz-Grundverordnung (DSGVO) verabschiedet und das Übereinkommen zum Schutz des Menschen bei der automatischen Verarbeitung personenbezogener Daten (SEV 108) des Euoparats unterzeichnet und ratifiziert. Das Land ist beim Thema Schutz personenbezogener Daten auf der Höhe der Zeit. Das Gesetz zur Sozialkarte verstößt gegen Regeln, die Serbien selbst aufgestellt hat.“

Unbegrenzte Datenerfassung

Laut einer Analyse von A 11 erfasst das Sozialkartengesetz ganze 135 Kategorien von Daten zu Einzelpersonen. Diese stammen aus verschiedenen Quellen wie unter anderem dem Zentralregister der Bürgerinnen und Bürger, dem Innenministerium, der Steuerverwaltung sowie der Renten- und Invaliditätsversicherung. Einige der angeforderten Daten sind besonders problematisch, wie zum Beispiel die ethnische Zugehörigkeit (Art. 7(1)(6)). Andere, ob eine Person beispielsweise eine Waffe besitzt, sind für die Beurteilung des sozioökonomischen Status wohl kaum von Belang. „Die Bürgerinnen und Bürger werden nach der ethnischen Zugehörigkeit gefragt“, so Danilo Ćurčić, „aber nicht danach, ob ihr Haus an das Strom- oder Wassernetz angeschlossen ist.“

Es ist zu befürchten, dass das Gesetz über die darin genannten Zwecke hinaus letztlich zu einem System für Profilerstellung und Massenüberwachung von Leistungsempfänger*innen wird. „Außerdem besteht in diesem Fall die Gefahr eines Verstoßes gegen das serbische Gesetz zum Schutz personenbezogener Daten“, fährt Malgieri fort. Die Sozialkarte geht mit der Erhebung von Datenmengen einher, die durch den Zweck des Gesetzes nicht gerechtfertigt sind. Unter anderem nennt Artikel 4 „den Schutz gegen Arbeit und die Beseitigung der Folgen sozialer Ausgrenzung“, als einen der Zwecke für die Erhebung personenbezogener Daten. Aber die Verarbeitungszwecke müssen laut serbischem Datenschutzgesetz spezifisch und präzise sein, sie dürfen nicht derart allgemein gehalten werden.

Civio: Aushändigung des Quellcodes der Entscheidungssoftware gerichtlich einklagen

Inmitten der Wirtschaftskrise verabschiedete die spanische Regierung 2009 ein Gesetz zur Subventionierung der Stromrechnungen von rund fünf Millionen armen Haushalten. Im Jahr 2018 führte die Regierung restriktivere Kriterien ein. Die Anträge von mehr als einer halben Million Spanier wurden daraufhin abgelehnt. Zumindest für einige von ihnen heißt der Übeltäter BOSCO. Diese Software des spanischen Ministeriums für den Übergang zu grüner Energie prüft Anträge auf den Sozialbonus und entscheidet darüber. Die in Madrid ansässige gemeinnützige Nachrichtenagentur Civio (ein EDJNet-Mitglied) fand heraus, dass BOSCO die einzelnen Anträge nicht ordnungsgemäß geprüft hatte, und beantragte beim Ministerium die Herausgabe des Quellcodes. Nach zahlreichen Einsprüchen und Erwiderungen beim Rat für Transparenz und gute Regierungsführung, der spanischen Behörde für Informationsfreiheit, entschied die Behörde schließlich, sich Civios Antrag auf Herausgabe des Quellcodes nicht mehr zu widersetzen. Der Fall liegt nun bei der Verwaltungskammer der Audiencia Nacional.

Biljana Đorđević arbeitet an einer Initiative, die das von ESCR-Net beim serbischen Verfassungsgerichtshof eingereichte Rechtsgutachten ergänzen soll: „Wenn mindestens 25 Parlamentsabgeordnete einen Antrag an das Verfassungsbericht stellen, ist dieses verpflichtet, über den vorgetragenen Fall zu entscheiden“, meint sie. „Leider sind aber keine Fristen festgelegt, das Gericht könnte den Fall also immer wieder vertagen. Wir können nur auf die Rechtsmittel zurückgreifen, die uns zur Verfügung stehen. Jetzt kommt es darauf an, die Aufmerksamkeit für das Thema hoch zu halten.“ Đorđević befürchtet, dass das Zentralregister als Grundlage für weitere Formen der Diskriminierung und Ausgrenzung dienen wird, wenn es einmal eingerichtet ist.

👉 Originalartikel auf OBCT
In Partnerschaft mit der European Data Journalism Network
Interessiert an diesem Artikel? Wir sind sehr erfreut! Es ist frei zugänglich, weil wir glauben, dass das Recht auf freie und unabhängige Information für die Demokratie unentbehrlich ist. Allerdings gibt es für dieses Recht keine Garantie für die Ewigkeit. Und Unabhängigkeit hat ihren Preis. Wir brauchen Ihre Unterstützung, um weiterhin unabhängige und mehrsprachige Nachrichten für alle Europäer veröffentlichen zu können. Entdecken Sie unsere drei Abonnementangebote und ihre exklusiven Vorteile und werden Sie noch heute Mitglied unserer Gemeinschaft!

Sie sind ein Medienunternehmen, eine firma oder eine Organisation ... Endecken Sie unsere maßgeschneiderten Redaktions- und Übersetzungsdienste.

Unterstützen Sie Journalismus, der nicht an Grenzen Halt macht.

Nutzen Sie unsere Abo-Angebote oder stärken Sie unsere Unabhängigkeit durch eine Spende.

Zum gleichen Thema