Derrière les résultats raffinés de l’IA se cache une réalité troublante : le travail racisé et exploité. De nombreux ensembles de données d’IA sont améliorés par des travailleurs du Sud qui sont payés de faibles salaires pour passer en revue des contenus perturbants et traumatisants, en signalant les contenus racistes, sexistes et offensants afin de rendre l’IA « sûre » pour les utilisateurs. Ce travail invisible est essentiel, mais il est sous-évalué et souvent préjudiciable pour ceux qui l’effectuent.
De plus, les processus de formation de l’IA peuvent renforcer les préjugés sexistes. Comme le révèle le projet « Excavating AI » (Creuser l’IA) de Kate Crawford et Trevor Paglen, de nombreux ensembles de données partent du principe qu’il n’existe que des identités de genre binaires, effaçant ainsi les expériences vécues par les personnes non binaires et de genre divers.