Anthropologie de l’IA – Stéréotypes, discrimination de genre et racisme

Grâce à un Twitter devenu viral en 2019, nous avons appris que Goldman Sachs, l’une des banques d’investissement les plus importantes au monde, avait exclu un client potentiel de l’accès à une carte Apple prestigieuse et exclusive sur la base d’un profilage erroné et discriminatoire. Le fait est devenu connu parce que l’auteur du twitter, un développeur de logiciels danois, est le mari de la personne à qui on a refusé la carte, qu’il a obtenue alors qu’il gagnait moins qu’elle. En substance, la femme avait été considérée comme inapte à ce produit particulier pour des raisons opaques et non transparentes.

Le sexisme

Si ce Twitter n’avait pas été là, nous n’aurions rien su de tout cela, c’est-à-dire de la discrimination systématique et silencieuse en matière de genre. L’histoire représente un exemple clair de la métaphore bien connue du “plafond de verre”: la possibilité qu’a une femme de pouvoir accéder au pouvoir ou de bénéficier de chances égales de carrière est souvent exclue par une sorte de plafond transparent, qui constitue une barrière invisible mais puissante et limitante. Pour des raisons obscures, mal expliquées et sans possibilité d’entrer dans le fond, les algorithmes risquent de mettre en œuvre des politiques discriminatoires, censées appartenir au passé et non aux technologies du futur. La représentation, l’interprétation et la codification de l’être humain à travers des ensembles de données de formation et la manière dont les systèmes technologiques collectent, étiquetent et utilisent ces matériaux sont des aspects résolument cruciaux dans la reproduction des stéréotypes, des préjugés, des formes de discrimination de genre ou raciale. Les préjugés trouvent toujours leur place dans le système, ou plutôt, dans un certain sens, les préjugés font partie du système. A cet égard, on sait que jusqu’en 2015, Amazon recrutait ses futurs salariés grâce à un système qui s’était « formé » sur les CV, généralement d’hommes, reçus au cours des dix années précédentes. Les mannequins avaient donc appris à recommander des hommes, entretenant et amplifiant les inégalités de genre derrière la façade d’une supposée neutralité technique. Pour donner un exemple, le CV d’un aspirant employé d’Amazon était rejeté s’il contenait le mot « femme » parce que le système avait appris à gérer de telles données (Dastin 2018).

Racisme lié à l’IA

L’IA produit et reflète des relations sociales, une certaine vision du monde et, inévitablement, des relations économiques et de pouvoir, compte tenu du capital financier considérable qu’il faut pour y investir. Il suffit de dire que les systèmes de reconnaissance faciale, qui contribuent fortement à l’étiquetage de la réalité et des humains, sont issus des premières tentatives expérimentales de Ciaet le FBI dans les années 1960, en passant par des bases de données basées sur des images de prisonniers, pour arriver à l’ère actuelle, où les principaux systèmes de ce type sont alimentés par des visages et des clichés circulant librement sur les réseaux sociaux (Crawford 2021 : 105-135). Évidemment, la complexité technologique accrue et son impact social considérable ont également fait ressortir les caractéristiques les plus controversées de l’IA, à commencer par les biais automatiquement insérés dans les ensembles de données utilisés pour nourrir intelligence artificielle. Considérez le fait qu’il y a eu un long débat sur la reconnaissance faciale, dans lequel il a été constaté qu’il est plus difficile de distinguer les noirs, précisément parce que les ensembles de données de formation sont principalement basés sur du matériel photographique de blancs, collecté et catégorisé principalement par les blancs.

Les différences raciales, culturelles et de genre sont des éléments qui ne se limitent pas à être placés côte à côte ou à s’ajouter les uns aux autres, mais qui interagissent en produisant des formes nouvelles et incomparables de ségrégation et d’assujettissement, stratifiées sur des stéréotypes et des discriminations anciens et usés. À cet égard, l’histoire d’une femme afro-américaine qui n’a pas pu obtenir un prêt hypothécaire pour acheter une maison et dont on ne sait pas pourquoi a été largement diffusée dans les médias, étant donné qu’elle avait un bon travail dans une université américaine ; jusqu’à ce qu’il devienne clair que cela dépendait du quartier afro-américain dans lequel elle vivait et du fait qu’elle soit afro-américaine (Glantz, Martinez, 2018). En pratique, l’IA a exacerbé les asymétries déjà existantes concernant les groupes humains individuels, à partir de leur prétendue fiabilité en termes de crédit. En limitant les chances d’un avenir meilleur, un racisme existant et généralisé, bien que jamais ouvertement déclaré, se perpétue et se « naturalise ».

Selon Timnit Gebru, spécialiste de l’intelligence artificielle, et Emily Bender, spécialiste de la linguistique informatique, un géant comme Google réaffirme et ratifie continuellement les inégalités. Par exemple, son programme de reconnaissance faciale est moins précis pour identifier les femmes et les personnes de couleur (Hao 2020). Des algorithmes, conçus à partir de technologies innovantes, peuvent valider des formes de racisme institutionnalisé. Même dans une étude de l’Université du Maryland, il a été constaté que dans certains logiciels de reconnaissance faciale, les émotions négatives sont davantage attribuées aux noirs qu’aux blancs (Crawford, 2021 : 197).

Le contexte socioculturel de l’IA

Le développement exponentiel de l’IA nous a en quelque sorte obligé à réfléchir à certains aspects, comme ceux pour ainsi dire humainsl’apprentissage automatique. Les stéréotypes, les formes de discrimination et le racisme sont en fait automatiquement appris et insérés dans des ensembles de données, mais ils étaient et sont évidemment déjà présents sur Internet et dans la réalité quotidienne au-delà de l’IA. C’est pourquoi il faut remonter en amont, justement. De quoi se nourrit l’IA ? Qui construit l’intelligence artificielle ? Car il est évident qu’il ne s’agit pas simplement de corriger les erreurs une fois qu’elles apparaissent, comme dans le cas des CV d’Amazon ou de la carte Apple de Goldman Sachs. Les images insérées dans les ensembles de données basées sur la vision artificielle pour la reconnaissance d’objets, en catégorisant les genres, se retrouvent à organiser et à étiqueter, par exemple, des photos dans lesquelles des hommes ont souvent été photographiés en plein air en train de pratiquer une activité sportive et avec des objets liés au sport et au sport. les femmes principalement dans la cuisine avec quelques ustensiles de cuisine (Wang, A., Liu, A., Zhang, R., Kleiman, A., Kim, L., Zhao, D., Shirai, I. Narayanan, A. Russakovsky, O., 2021 : 9). Ces données sont pertinentes en elles-mêmes et doivent être analysées d’une manière ou d’une autre car les biais sont déjà encapsulés dans le système.

Fei-Fei Li, un expert en vision par ordinateur qui travaille également sur débiaisercomment réduire les biais que les ensembles de données ont tendance à intégrer, affirme que les conséquences de la situation actuelle sont « des ensembles de données insuffisamment diversifiés, y compris celui d’ImageNet ». [a cui la stessa Li ha lavorato, n.d.a.], exacerbée par des algorithmes mal testés et des décisions douteuses. Quand Internet présente une image majoritairement blanche, occidentale et souvent masculine de la vie quotidienne, nous nous retrouvons avec une technologie qui a du mal à donner un sens à tout le monde » (Li, 2024 : 253). Les ensembles de données reflètent également une conception du monde fortement ancrée dans celle de ceux qui y travaillent.

Il est intéressant de savoir que, selon le Gardien, dans l’équipe de Sam Altman, 75 % des employés d’OpenAI sont des hommes (Kassova, 2023). Et la question qui se pose inévitablement est la suivante : quelles sont les conséquences d’une IA développée sans la pleine participation des femmes, des minorités et des pays non occidentaux ? Car dans l’état actuel des choses, il est évident que leur manque de représentation dans l’industrie technologique signifie que les algorithmes fonctionnent mal sur ceux qui ne sont pas blancs et de sexe masculin.

L’IA et la marque du capitalisme

Les autres questions tout aussi cruciales sont : à qui est destinée l’IA ? À qui appartiennent les ensembles de données et quel usage en font-ils ? Et ici, évidemment, la démocratie en matière de transparence et l’éthique de non-discrimination entrent également en jeu. L’un des éléments clés des données est qu’elles sont collectées sans contexte et sans consentement. Nick Couldry et Ulises Mejias (2022) dressent un parallèle intéressant entre l’époque coloniale et la société actuelle. Si à l’époque du colonialisme, le pouvoir agissait de manière extractive, c’est-à-dire que les colonisateurs pillaient les pays colonisés de matières premières précieuses et de main-d’œuvre (par le biais de l’esclavage), ses homologues contemporains extraient des données dans un but lucratif sans demander le consentement des propriétaires légitimes, comme dans le cas de Midjourney qui, comme l’a récemment révélé un recours collectif promu par certains artistes américains, a utilisé les œuvres de 16 000 artistes sans demander leur consentement et en contournant le droit d’auteur. Les grands géants de la technologie recherchent constamment et avec voracité des quantités massives de données pour alimenter et entraîner les systèmes d’intelligence artificielle (Metz, C., Kang, C., Frenkel, S., Thompson, S.A., Grant, N., 2024). Internet a été conçu par ceux qui travaillent dans le secteur de l’IA comme une sorte de ressource naturelle, disponible à partir de laquelle des données peuvent être extraites à volonté. Le colonialisme des données est un ordre social émergent fondé sur une nouvelle tentative de s’emparer des ressources mondiales au profit de quelques élites, comme ce fut le cas dans le passé avec le colonialisme « classique ». Il y a une continuité profonde dans les modalités d’acquisition, dans les attitudes mentales, dans les formes d’exclusion et de préservation du pouvoir. Il est étonnant de constater à quel point cela est parfois ancré dans certaines biographies emblématiques : Elon Musk, par exemple, a un père qui possédait une mine d’émeraude en Zambie. Dans la famille, la forme de colonisation n’a fait qu’évoluer avec les temps et les technologies, mais la marque est la même.

L’IA, comme autrefois le colonialisme, génère de la valeur de manière inéquitable et asymétrique, ce qui a un impact négatif sur de nombreuses personnes, que nous les définissions en termes de race, de classe sociale ou de sexe, ou à travers l’intersection de toutes ces catégories.

Et le rendre plus inclusif ne sera pas une tâche facile.

RÉFÉRENCES BIBLIOGRAPHIQUES

Crawford, K. (2021), Ni intelligente ni artificielle : le côté obscur de l’IAIl Mulino, Bologne.

Couldry, N., Mejias, UA (2022), le prix de la connexion : Comment la data colonise nos vies et se l’approprie pour gagner de l’argent,Le Moulin, Bologne.

Dastin, J. (2018), « Amazon abandonne l’outil secret de recrutement d’IA qui montrait des préjugés à l’égard des femmes », dans Reuters,11 octobre.

Glantz, A., Martinez of Reveal, E. (2018), « Exclus : comment les banques bloquent l’accession des personnes de couleur à l’accession à la propriété, APnews, 15 février.

Hao, K. (2020), « Nous avons lu l’article qui a forcé Timnit Gebru à quitter Google. Voici ce qu’il dit », dans Revue technologique du MITle 4 décembre.

Kassova, L. (2023) « Où sont toutes les « marraines » de l’IA ? Les voix des femmes ne sont pas entendues », Le gardien,25 novembre.

Li, FF, (2024), Tous les mondes que je vois,Presses universitaires Luiss, Rome.

Metz, C., Kang, C., Frenkel, S., Thompson, SA, Grant, N. (2024), « Comment les géants de la technologie coupent les coins ronds pour récolter des données pour l’IA », Le New York Times,6 avril.

Telford, T. (2019), « L’algorithme Apple Card suscite des allégations de préjugés sexistes contre Goldman Sachs »Washington Post,11 novembre.

Wang, A., Liu, A., Zhang, R., Kleiman, A., Kim, L., Zhao, D., Shirai, I. Narayanan, A. Russakovsky, O., (2021, « Un outil pour Misuring et atténuation des biais dans l’ensemble de données visuelles », arXiv : 2004.07999v4 [cs.CV] 23 juillet 2021.