Institutionnalisation du traitement algorithmique, travaux sur le Guide de la transparence des algorithmes publics, rôle de la société civile dans la publicité des algorithmes, datamining et ciblage des contrôles, prévention des dérives technologique : prenez 45 minutes pour découvrir les dessous de ces sujets passionnants.

Après nous être intéressés aux inégalités de genre dans la filière numérique et sur le numérique avec Rachel Wadoux, on ne pouvait que porter notre attention sur la reproduction voire l’intensification des inégalités sociales et sociétales par le traitement algorithmique.

Nombreux sont les exemples d’algorithmes vivement critiqués. Judith Duportail s’est attaquée à l’algorithme Tinder, attribuant une note en fonction de la désirabilité supposée de l’utilisateur. L’agence BETC et Heetch ont épinglé Midjourney sur les résultats de génération d’images concernant la banlieue, reproduisant des biais racistes et sexistes. Mediapart a mis en lumière le fait que la SNCF voulait tester la reconnaissance faciale à l’occasion des Jeux Olympiques et Paralympiques de Paris, pour identifier les comportements des usagers. Sans oublier les polémiques autour de l’algorithme Parcoursup, procédure qualifiée d’opaque par le Sénat visant à l’affectation des futurs étudiants en fonction de leur voeux… mais surtout de leurs origines sociales et géographiques.

Les algorithmes, moteurs d’inégalités croissantes ? Pour en discuter, nous avons reçu Soizic Pénicaud, chercheuse indépendante, consultante et facilitatrice freelance. Cet entretien fait suite à la publication en décembre dernier dans Le Monde des résultats de l’enquête qu’elle a portée, avec le collectif de journalistes d’investigation indépendants Lighthouse Reports, sur l’algorithme des CAF.

Présenté par Maxime Lubrano et co-produit avec Mehdi Rafenne.

Ecouter sur Spotify

“Profilage et discriminations : enquête sur les dérives de l’algorithme des caisses d’allocations familiales”, article du Monde du 4 décembre 2023 

Dans la vie de Juliette, mère isolée, précaire et cible de l’algorithme des CAF

Article rédigé par Wissem Bellili, expert en intelligence juridique et conformité

Encadrer l’intelligence artificielle est au cœur des débats depuis de nombreuses années et ce, bien avant l’explosion des IA génératives comme ChatGPT. Après plus d’une trentaine d’heures de débat le 8 décembre 2023, les parties prenantes se sont accordées au sujet du futur règlement sur l’intelligence artificielle.

Toutefois, rien n’est encore définitif puisque des votes et des négociations sont toujours en cours. Il faudra attendre, a priori, une entrée en vigueur du texte pour 2025 voire 2026. Le fameux “IA Act”, basé sur une approche par les risques (minimal, limité, élevé et inacceptable), est toutefois jugé trop rigide par certains États membres. À titre d’exemple, l’Allemagne ou la France, eu égard aux propos tenus par Emmanuel Macron ou Jean-Noël Barrot, prônent un encadrement plus souple.

La protection des données à caractère personnel et l’IA

La CNIL, comme à l’époque du RGPD, se positionne en première ligne pour garantir “une IA innovante et respectueuse de la vie privée”. Le 11 octobre 2023, l’autorité française publie 7 fiches pratiques pour “apporter de la sécurité juridique aux acteurs de l’intelligence artificielle” en affirmant que le RGPD “offre un cadre innovant et protecteur pour l’IA”.

Grâce à son service dédié à l’IA mis en place en janvier 2023, le grand public se verra fournir par la CNIL ce que l’on appelle du droit souple (par opposition au droit dur comme le règlement en question). On entend par là tout ce qui relève des recommandations, des lignes directrices, des guides (n’ayant pas, cependant, de portée normative, et donc contraignante).

L’IA et le service public numérique

À l’échelle nationale, l’IA Act ne s’est pas fait attendre :

• Le 31 août 2022, le Conseil d’État dévoile une étude autour de l’IA et l’action publique. Elle porte sur le rôle de l’État et sa manière à s’adapter aux évolutions technologiques au sein des services publics. Logiquement, le droit national doit s’aligner sur l’IA Act. Le CE préconise de développer une culture IA, en recrutant des experts aguerris car la transparence et la confiance sont les mots d’ordre ;
• Le 5 octobre 2023, le ministère de la Transformation et de la fonction publiques et la Direction interministérielle du numérique (DINUM) annoncent la stratégie de l’État en matière d’IA générative. Le ministre Stanislas Guerini qui, dans l’objectif de réduire la charge de travail des agents publics, a lancé une expérimentation (un ChatGPT version service public) reposant sur une intelligence artificielle au sein du service numérique “Services Public+”. Le résultat ? 6 fois sur 10, l’agent public n’a pas eu besoin de modifier la réponse apportée par l’IA et le délai de réponse a été divisé par 2 en moyenne ! Pour mémoire, c’est toujours une personne physique (à savoir l’agent public) qui évalue la réponse et l’envoie à l’usager ;
• La DINUM développe une IA générative nommée “Albert” qui a vocation à être déployée auprès de conseillers France services volontaires et qui se veut une “alternative souveraine et accessible à l’ensemble des administrations” différente de ChatGPT ;
• La Cour des comptes, en novembre 2023, qui dans son rapport sur la fraude fiscale des particuliers constate les évolutions technologiques en matière d’IA pour détecter les fraudes, même si les résultats ne sont pas encore suffisants ;
• La CNIL en novembre 2023 qui a sélectionné plusieurs projets qui bénéficieront d’un accompagnement par des experts de l’IA dans l’objectif de vérifier le “potentiel et les limites de l’IA dans le secteur public” ;
• Le Conseil d’État qui lors d’un hackathon a souhaité tester le potentiel de l’IA générative : faciliter la compréhension de la jurisprudence administrative pour des non-juristes. Les équipes mobilisées lors de cet évènement ont utilisés des LLM comme ChatGPT dans le temps qui leur était imparti. En quelques secondes, l’outil génère des paragraphes clairs et concis de décisions parfois “absolument incompréhensibles pour le commun des mortels” ;
• La DINUM depuis juillet 2023, développe un incubateur “Alliance” pour répondre aux “problématiques concrètes rencontrées par les administrations” et permettre à l’État de “s’approprier tout le potentiel des technologies d’IA”.

Nouveautés et interrogations

Par ailleurs, l’intelligence artificielle est notamment concernée par une toute récente norme “ISO/IEC 42001” de l’AFNOR, le 20 décembre dernier. À l’instar du futur règlement européen, cette norme entend fixer un cadre (même si la normalisation est volontaire) sans pour autant “brider l’innovation”.

Enfin, hormis le Bureau de l’IA mis en place par l’IA Act (dont le rôle concret est encore flou), il n’existe pas (encore) de postes similaires à ceux que nous connaissons depuis quelques années : le Délégué à la protection des données (DPO) ou le Responsable de la sécurité des systèmes d’information (RSSI).