Serbia, laboratorio de discriminación algorítmica

Cuando entró en vigor la Ley de la Tarjeta Social en Serbia en marzo de 2021, muchas personas expresaron su preocupación sobre el posible impacto que tendría en las personas necesitadas. Desde entonces, más de 22 000 personas han dejado de recibir beneficios sociales. Claramente estas preocupaciones tenían fundamento.

La ley estipula la introducción de un registro para la recopilación y el procesamiento de datos personales de aquellos que reciban alguna forma de asistencia social financiera, con el fin de evaluar su situación económica general y posiblemente redistribuir los recursos asignados a esta partida del presupuesto estatal. Para determinar el estatus socioeconómico, la ley dicta la recopilación de una amplia lista de datos personales, obtenidos de distintas fuentes y centralizados en un único registro que, a través de un proceso de evaluación automatizado, establece si una persona es apta para seguir recibiendo prestaciones y de qué nivel.

Este sistema ha planteado dos preocupaciones. La primera está relacionada con la ya problemática situación de la asistencia social en Serbia, que necesita una reforma para que incluya a más personas y reciban subsidios más altos, mientras que la ley parece tener como fin redistribuir los recursos existentes y excluir a algunos de los beneficiarios actuales.

La segunda preocupación es relativa a la infracción de las normas sobre la recopilación y el procesamiento de datos personales, así como las que deben proteger a los ciudadanos de las decisiones tomadas en su contra mediante sistemas automatizados, lo que plantea el riesgo de reproducir y acentuar la discriminación que ya afecta a sujetos vulnerables, como es el caso de la comunidad romaní.

En noviembre de 2022, una red de asociaciones llamada ESCR-Net, y que incluye a Amnistía Internacional, A 11 (Iniciativa por los Derechos Económicos y Sociales) y el Centro Europeo de Derechos de los Romaníes, presentó ante el Tribunal Constitucional de Serbia un dictamen jurídico en el que enumera los problemas fundamentales de la ley.

Un sistema no inclusivo

Según los datos recopilados por A 11 , en febrero de 2022 (antes de que empezara a funcionar la Tarjeta Social) 211 266 personas recibían asistencia social, mientras que, en agosto, el número se había reducido a 189 036, un descenso del 10,5 por ciento.

Tal y como explicaba Danilo Ćurčić, coordinador de A11, el sistema solo ha entrado en vigor en algunas ciudades, porque muchos centros de trabajo social no disponen de la tecnología ni de la especialización para conectarse al registro central. Por lo tanto, según Ćurčić, también existe un problema relacionado con el coste de la implementación y el mantenimiento del sistema, lo que lo hace insostenible.

---

---

En 11 de las 15 ciudades en las que A11 obtuvo datos, se ha registrado un descenso en el número de beneficiarios, en algunos casos con porcentajes muy superiores a la cifra nacional (Ada, -28,7 %, Irig, -28,8 %). En cambio, en otros casos, la cantidad ha aumentado en gran medida (Leskovac, +17,1 %). "Puesto que no hay ninguna transparencia en cuanto al funcionamiento del sistema, no está claro por qué algunos centros de trabajo social han aumentado el número de beneficiarios", explica Curci. "En cualquier caso, el aumento no puede deberse a la Tarjeta Social, ya que no ofrece a los centros la oportunidad de identificar a aquellas personas que aún no están recibiendo asistencia y posiblemente las incluyan en la cobertura".

Discriminación dirigida a los romaníes

Tal y como explica Radio Slobodna Evropa, la asistencia social para cada persona asciende actualmente a 10 385 dinares al mes (unos 88 euros), una cifra que también es inferior a los 12 695 dinares establecidos por el propio Gobierno como el mínimo para salir de la pobreza en 2020. Además, de nuevo según datos gubernamentales, en el mismo año, el 6,9 % de la población serbia se encontraba en condiciones de pobreza absoluta: algo más de 475 000 personas, es decir, 2,5 veces más del número de personas que reciben asistencia social en la actualidad.

Uno de los aspectos que puede hacer que se excluya a una persona de la asistencia social es la reventa de materiales como plástico, cartón y vidrio para su recogida selectiva, una práctica habitual entre muchos romaníes, que son además el segmento más pobre de la población. "Al entregar el material, las personas deben mostrar su código fiscal para que se les pague", explica Francesca Feruglio, coordinadora de ESCR-Net, "de este modo, estas ganancias, aunque son limitadas, quedan registradas y los datos acaban en el registro central de la Tarjeta Social, lo que en muchos casos supone la suspensión de la contribución. Es algo totalmente injusto, teniendo en cuenta las condiciones generales de estas personas".

Sistemas de discriminación automatizados

Una de las críticas dirigida a la ley es el hecho de que genera decisiones automatizadas que tienen un gran impacto en las vidas de las personas sin prever ninguna intervención humana en el proceso. En teoría, una vez que el algoritmo de la Tarjeta Social procesa la evaluación de un caso concreto, envía una alerta a la oficina local que gestiona el archivo de la persona. El funcionario sí tiene un plazo de tiempo para verificar la validez de la decisión, pero dicho plazo se considera insuficiente, sobre todo teniendo en cuenta que las oficinas, en la mayoría de los casos, no cuentan con suficiente personal. De hecho, se aplica un proceso automatizado.

El Ministerio de Trabajo, en su evaluación del impacto de la ley, afirma que se protege a los ciudadanos, porque siempre existe la posibilidad de que un funcionario de la oficina correspondiente o del Ministerio revise la evaluación y cambie el resultado, previa petición del ciudadano. Sin embargo, tal y como explica Curcic, la realidad es que "solo hay 15 días para apelar la decisión y casi nadie lo hace. En muchos casos, porque desconocen que pueden hacerlo, o porque, al ser analfabetos, no disponen de los medios para hacerlo. Así que dejan que pasen seis meses para volver a solicitar la prestación social. Y, aunque la consigan, son seis meses de beneficios perdidos y no hay garantías de que la solicitud se acepte o de que no la revoquen de nuevo".

Biljana Đorđević, parlamentaria del movimiento Ne davimo Beograd, pidió transparencia al Ministerio sobre el funcionamiento del algoritmo y la cantidad de personas cuyos beneficios se habían retirado como consecuencia de la introducción de la Tarjeta Social. "Me contestaron que no existe ningún algoritmo", explica Đorđević. "Según ellos, el sistema simplemente recopila datos y luego es el trabajador social quien realiza la evaluación. Los testimonios que hemos recibido demuestran que no es así". 

De hecho, si no existe ningún algoritmo, ¿en qué se basan para enviar alertas del Ministerio a los centros de trabajo social? Es bastante obvio que existe un procesamiento de datos, pero no se sabe en qué se basa. "También hemos pedido acceso al código que realiza la recopilación de datos", prosigue Đorđević, "pero nos lo han denegado por 'cuestiones de derecho de autor' y de 'seguridad nacional'".

En cuanto al descenso de beneficiarios, el Ministerio no ha facilitado datos precisos, pero ha explicado la reducción por el hecho de que en el país se ha producido un desarrollo progresivo a lo largo de los años y, por consiguiente, han mejorado las condiciones de vida de las personas y ha descendido la necesidad de asistencia. Si bien es cierto que las cifras de pobreza absoluta en Serbia han ido mejorando lentamente en los últimos años (aunque está empeorando más que en 2008 y 2009), sigue siendo necesario ampliar el grupo de beneficiarios, mientras que "está claro que la ley tiene como fin excluir", afirma Đorđević.

"Me sorprende el hecho de que la evaluación del impacto realizada por el Ministerio sea tan deficiente", comenta Gianclaudio Malgieri, profesor asociado de Derecho en la Universidad de Leiden. "Existe un cierto consenso sobre el hecho de que, cuando hablamos sobre intervención humana en decisiones tomadas con sistemas automatizados, debe ser importante. En este caso, no se observa nada así. Además, al enfrentarnos a sistemas que toman decisiones en un segundo, el procedimiento de reclamación debe simplificarse.

Sin embargo, en este caso, se aplican los procedimientos estándar, que básicamente llevan a la jurisdicción normal, con todo lo que implica en términos de tiempo y costes. Además, en el texto de la ley de la Tarjeta Social, se afirma que este sistema también puede tener efectos en grupos sociales y sujetos vulnerables. Sin embargo, en este punto debería haber una lista de protecciones adicionales, pero no hay ninguna". "Serbia", prosigue Malgieri, "también ha adoptado una legislación de protección de datos personales que sigue el modelo del Reglamento General de Protección de Datos (RGPD) de Europa y también ha firmado y ratificado el Convenio 108+ del Consejo de Europa. El país no va a la zaga en cuanto a protección de datos personales. La Ley de la Tarjeta Social infringe las normas que la propia Serbia ha establecido".

Recopilación de datos ilimitada

Según el análisis realizado por A 11, la Ley de la Tarjeta Social recopila hasta 135 categorías de datos sobre la persona. Para ello, recurre a distintas fuentes, incluido el Registro Central de Ciudadanos, el Ministerio del Interior, la Administración Fiscal y el Fondo de Pensiones y Seguros de Discapacidad. Algunos de los datos solicitados son especialmente problemáticos, como el origen étnico (Art. 7(1)(6)). Otros, como si la persona posee o no un arma, no son relevantes para la evaluación del estado socioeconómico. "A los ciudadanos se les pregunta sobre su origen étnico", comenta Danilo Ćurčić, "pero no si su hogar está conectado a la red eléctrica o al sistema de agua".

Se teme que la ley, más allá de los fines que indica, acabe convirtiéndose en un sistema de establecimiento de perfiles y vigilancia masiva de los beneficiarios. "Además, en este caso", continúa Malgieri, "existe el riesgo de infracción de la ley serbia sobre protección de datos personales. La Tarjeta Social implica la recopilación de una cantidad de datos injustificada según la propia ley. Entre otros aspectos, el Artículo 4 menciona entre la finalidad de la ley ‘la prevención de la pobreza y la eliminación de las consecuencias de la exclusión social’. Pero, según también dicha ley, la finalidad del procesamiento debe ser específico y preciso, no tan genérico".

Biljana Đorđević está trabajando en una iniciativa que se añadirá al dictamen jurídico presentado por ESCR-Net al Tribunal Constitucional: "Si al menos 25 parlamentarios presentan una solicitud al Tribunal Constitucional, este está obligado a dictaminar sobre el caso planteado", explica. "Pero, lamentablemente, no existe ningún plazo definido, por lo que el Tribunal puede decidir posponer la cuestión continuamente. Solo podemos utilizar los instrumentos jurídicos a nuestra disposición. Lo importante ahora es seguir llamando la atención sobre el asunto". A Djordjevic le preocupa que, una vez creado, el registro central se utilice como base para otras formas de exclusión y discriminación".

👉 Artículo original en OBCT

---