Afficher l'article dans votre langue
Un algorithme aux conséquences désastreuses sur les plus précaires, voilà ce que certains craignaient lors de la mise en vigueur de la loi sur la “carte sociale” en Serbie en mars 2021. Depuis, les prestations sociales de plus de 22 000 personnes ont été suspendues par le système automatisé. Les craintes semblaient donc bien fondées.
La loi prévoit l’introduction d’un registre chargé de collecter et traiter les données personnelles de bénéficiaires d’aides, afin d’évaluer leur situation économique et de possiblement permettre la redistribution des ressources allouées à l’assistance sociale à d’autres secteurs. Afin de déterminer le statut socio-économique d’un individu, la loi prévoit la collecte d’une longue liste d’informations personnelles issues de différentes sources. Les données sont alors regroupées dans un seul et même registre qui, grâce à un traitement automatisé, évalue si un bénéficiaire peut continuer de percevoir ses aides et dans quelle mesure.
La mise en place d’un tel système a soulevé deux inquiétudes majeures. La première est liée à la situation déjà problématique des aides sociales en Serbie : alors qu’une réforme permettant d’inclure plus de bénéficiaires et d’augmenter le montant des aides est aujourd’hui considérée comme nécessaire, cette loi semble à l’inverse vouée à redistribuer davantage le montant alloué par l’Etat à l’aide sociale. Le texte, en plus, ne prévoit pas d’inclure de nouveaux allocataires, mais au contraire semble vouloir en réduire les rangs.
La seconde crainte concerne la violation des règles relatives à la collecte et au traitement des données personnelles, ainsi que celles relatives à la protection des citoyens face à des prises de décisions réalisées contre leur intérêt par des systèmes automatisés. Ces changements pourraient reproduire et renforcer les discriminations dont sont déjà victimes les personnes les plus vulnérables, comme les Roms.
Le Réseau international pour les droits économiques, sociaux et culturels (Réseau-DESC) – dont font partie Amnesty International, A 11 (Initiatives pour les droits économiques et sociaux) et le Centre Européen deS droits des Roms (ERRC) – a déposé devant la Cour constitutionnelle de Serbie un avis juridique dressant la listes des problèmes fondamentaux que pose cette loi.
Un système non-inclusif
D’après les données collectées par A 11, 211 226 Serbes percevaient des aides sociales en février 2022, avant la mise en application de la loi sur la carte sociale. Au mois d'août, ce chiffre était descendu à 189 036, soit une baisse de 10,5 %.
Pour le coordinateur de A 11 Danilo Ćurčić, la loi n’est effectivement entrée en vigueur que dans quelques villes, beaucoup de centres d’aide sociale n’ayant accès ni à la technologie ni à l'expertise nécessaires pour se connecter au registre central. D’après lui, ce système n’est pas non plus viable du fait des coûts relatifs à sa mise en place et à son entretien.
Le nombre d’allocataires à chuté dans onze des quinze villes qu’a pu étudier l’initiative. Dans certaines, les baisses dépassent de loin la moyenne nationale, comme à Ada (-28,7 %) ou à Irig (-28,8 %). Dans d’autres municipalités, le nombre de bénéficiaires a au contraire augmenté, comme à Leskovac, dans le sud du pays, où celui-ci a grimpé de 17,1 %. “Etant donné qu’il n’y a pas de transparence, nous ne savons pas exactement pourquoi le nombre de bénéficiaires a augmenté dans certains centres”, explique Ćurčić. “Dans tous les cas, cette augmentation ne peut s’expliquer par la loi sur la carte sociale, étant donné qu’elle ne donne pas la possibilité aux centres d’identifier ceux qui ne reçoivent toujours pas d’aides afin de les inclure au système.”
Un ciblage des populations Roms
Comme l’indique la Radio Slobodna Evropa, l’assistance sociale individuelle se situe actuellement autour de 10 385 dinars par mois (environ 88 €), un montant inférieur au seuil de 12 695 dinars fixé en 2020 par le gouvernement comme le minimum nécessaire pour sortir de la pauvreté. Un comble quand – toujours selon le gouvernement serbe – 6,9 % de la population a basculé dans l’extrême pauvreté la même année. Derrière ce chiffre, ce sont plus de 475 000 personnes qui sont impactées, soit deux fois et demi le nombre de bénéficiaires d’aides sociales.
La revente des matériaux tels que le plastique, le carton et le verre destinés au tri sélectif – une façon de gagner de l’argent pour beaucoup de Roms, qui représentent la tranche la plus pauvre de la population – constitue un des facteurs pouvant mener à l’exclusion du système d’aide sociale. “En apportant les matériaux au recyclage, il faut montrer son numéro fiscal pour recevoir une compensation”, résume Francesca Feruglio, coordinatrice pour le Réseau-DESC. “De cette manière, ces bénéfices, quoique limités, sont enregistrés et atterrissent dans le registre central. Dans plusieurs cas, cela a engendré la perte des aides. C’est totalement injuste, compte tenu de la situation générale de ces personnes.”
Un système de discrimination automatique
La loi est aussi critiquée car elle permet la production de décisions automatiques impactant la vie des individus sans intervention humaine. En théorie, une fois que l’algorithme a procédé à l’évaluation personnelle d’un dossier, une alerte est envoyée au bureau local qui gère celui-ci. L’établissement dispose en théorie d'un laps de temps pour vérifier la validité des informations, mais ce délai est jugé insuffisant, d’autant plus que le manque de personnel dans ces bureaux se fait cruellement ressentir. Un traitement automatique est donc mis en place.
Dans son évaluation de l'impact de la loi, le ministère du Travail affirme toutefois qu’une garantie existe. Toute décision automatisée peut être revue par un fonctionnaire si la demande en est faite. Dans les faits cependant, “le délai pour faire appel n’est que de 15 jours, et presque personne n’y a recours. Souvent, les gens ne savent pas qu’ils y ont droit, et certains, ne sachant pas lire, n’ont pas les moyens d’agir. Ils laissent donc passer les six mois nécessaires avant de reposer leur candidature. Même s’ils y parviennent, six mois d’allocations ont été perdus, et rien ne garantit que leur demande sera acceptée, ou qu’une révocation ne suivra pas”, explique Ćurčić.
Biljana Đorđević, une députée du parti Ne davimo Beograd a demandé au ministère plus de transparence vis-à-vis du fonctionnement de l'algorithme et du nombre de personnes concernées par le retrait des aides suite à l’application de la loi. "Ils ont répondu qu'il n'y a aucun algorithme", rapporte-t-elle. "Ils affirment que le système se contente de rassembler les données, et que les travailleurs sociaux se chargent des évaluations”. Pourtant, s’il n’existe aucun algorithme, sur quelle base le ministère envoie-t-il les alertes aux centres d’aides sociales ? Il est clair qu’un traitement des données est effectué, même si les tenants et aboutissants restent incertains. “Nous avons également demandé l’accès au code source qui permet la récolte des données”, continue Đorđević, “mais notre demande a été rejetée, en raison de ‘droits d’auteur’ et pour protéger la ‘sécurité nationale’.”
Le ministère n’a pas fourni de données précises concernant la baisse du nombre d’allocataires, mais a indiqué qu’elle était due au développement progressif du pays ces dernières années et à l’amélioration des conditions de vie de la population, deux facteurs ayant fait diminuer la nécessité de percevoir des aides de l’Etat.
Mais s’il est vrai que les statistiques montrent une diminution progressive de la pauvreté absolue depuis quelques années en Serbie (les chiffres restant tout de même en augmentation par rapport à 2008 et 2009), augmenter le nombre de bénéficiaires reste nécessaire. Pourtant, selon Đorđević, “il est clair que cette loi a pour but d’exclure.”.
"Je suis abasourdi par l'inexactitude du diagnostic réalisé par le Ministère", s’étonne Gianclaudio Malgieri, professeur agrégé de droit à l’université de Leyde. “Il y a désormais un certain consensus concernant l’importance de l’intervention humaine sur les décisions prises par des systèmes automatisés. Cela n’est pas le cas ici. De plus, lorsque l’on fait face à des systèmes qui prennent des décisions en moins d’une seconde, les procédures d’appel devraient être simplifiées. En l’occurrence, la procédure standard est appliquée, avec tout ce que cela implique en termes de temps et de coût.
Malgieri rappelle que le texte de loi sur la carte sociale précise que ce mode de fonctionnement pourrait affecter les groupes sociaux et individus les plus vulnérables. “Ainsi, une liste de protections supplémentaires devrait suivre une telle loi, mais il n’y en a aucune”, regrette le chercheur. “La Serbie a également adopté une loi pour la protection des données personnelles calquée sur le règlement général sur la protection des données européen (RGPD), et signé la Convention 108+ (relative à la protection des données à caractère personnel, ndlr). Le pays n’est donc pas en reste en ce qui concerne la protection des données personnelles. La loi sur la carte sociale viole donc les règles définies par la Serbie elle-même.”
Une collecte de données sans limites
D’après l’étude menée par A 11, la loi sur la carte sociale collecte 135 catégories différentes de données personnelles, tirées de diverses sources comme le Service central d’état civil, le ministère de l’Intérieur, l’administration fiscale, ou la caisse de retraites et d’assurances invalidités. Certaines des données récoltées posent particulièrement problème, comme l’ethnie des personnes (Article 7 (1)(6)). D’autres, comme la possession ou non d’une arme à feu, n’ont que peu d’intérêt au regard d’une évaluation sur le statut socio-économique d’un individu. “Les citoyens sont questionnés sur leur appartenance ethnique , mais pas sur le raccordement de leur logement au réseau électrique ou au réseau d’eau”, critique Ćurčić. La crainte est que la loi, au-delà de son but annoncé, finisse par devenir un système de profilage et de surveillance de masse des ayants droit.
“De plus, en l’espèce”, souligne Malgieri, “il y a des risques de violation de la loi serbe relative à la protection des données personnelles. La loi sur la carte sociale implique la collecte d’une quantité de données que ne justifie pas la loi en elle-même. Entre autres, l’Article 4 mentionne ‘la lutte contre la pauvreté et la suppression des conséquences de l’exclusion sociale’ comme légitimant la collecte des données personnelles. Seulement, les objectifs de cette collecte doivent être précis, spécifiques. Ils ne peuvent pas être si génériques.”
| Civio : faire appel à la justice pour obtenir le code source d’un logiciel de décision automatisée En 2009, en pleine crise économique, le gouvernement espagnol adoptait une loi subventionnant les factures d’électricité de presque 5 millions de foyers pauvres. En 2018, des critères plus stricts ont été introduits et la candidature de plus d’un demi-million d’Espagnols a depuis lors été rejetée. Le coupable, pour beaucoup d’entre eux, portait le nom de “BOSCO”. Ce logiciel, géré par le ministère de la Transition écologique, examine les demandes d’aides sociales et décide seul d’accorder ou non les allocations. L’association médiatique à but non-lucratif Civio, basée à Madrid et membre du Réseau-DESC, a largement documenté l’incapacité de BOSCO à examiner chaque dossier, et a demandé au ministère d’obtenir le code source de ce dernier. Après plusieurs renvois en appel entre le Conseil pour la transparence et la bonne gouvernance, l’autorité espagnole pour la liberté d’information, et la Cour Suprême, qui avait statué contre le partage du code source en 2021, l’affaire a désormais été portée devant l’Audiencia Nacional, la Cour de cassation espagnole. |
L’avis juridique soumis à la Cour constitutionnelle par le Réseau-DESC sera enrichi dans les semaines qui suivent par un projet sur lequel travaille Biljana Đorđević : “Si au moins 25 députés soumettent une demande à la Cour constitutionnelle, cette dernière est obligée de statuer sur l’affaire soulevée”, explique-t-elle. “Malheureusement, aucun délai n’est établi. Ainsi, la Cour pourrait décider d’ajourner le rendu d’une décision à l’infini. Nous pouvons seulement nous servir de l’instrument juridique dont nous disposons. L'important aujourd’hui est de maintenir l’attention sur ce problème”. La crainte de Đorđević, c’est que l le registre central ne serve à l’avenir de tremplin pour de futures formes de discrimination et d’exclusion.
👉 L'article original sur OBCT
