Le premier risque posé par les algorithmes d’IA est celui de discrimination résultant de la collecte de données qui reproduisent une situation à un moment donné. C’est le Défenseur des droits qui pourra établir s’il y a discrimination ou non. La CNIL, de son côté, va vérifier si l’algorithme respecte le RGPD. Certaines solutions proposées sur le marché promettent de révéler certaines caractéristiques des candidats à travers des questionnaires comme le MBTI (Myers Briggs Type Indicator) qui annonce pouvoir cerner le type de personnalité du candidat et le rattacher à une typologie. L’un des risques de ces solutions est d’aboutir à un profilage, alors que ces outils sont loin de faire l’objet d’un consensus scientifique, des études ayant notamment montré que ces tests pouvaient déboucher sur des résultats différents selon qu’ils étaient effectués le matin ou le soir par un même individu… Le RGPD, dans son article 22, interdit la prise de décision entièrement automatisée au sujet d’une personne sauf si la loi l’autorise, si c’est strictement nécessaire à l’exécution du contrat ou si la personne a donné un consentement « libre et éclairé ». Même dans ces cas, des garanties spécifiques doivent être prévues afin de limiter les risques d’arbitraire soulevés par une telle prise de décision. Ainsi, des obligations spécifiques de transparence sont prévues : les personnes doivent être informées, lors de la collecte de leurs données et à tout moment, de l’existence d’une telle décision, de la logique sous-jacente ainsi que de l’importance et des conséquences prévues de cette décision. Par ailleurs, toute personne ayant fait l’objet d’une telle décision peut demander qu’un tiers intervienne, notamment afin d’obtenir un réexamen de sa situation, d’exprimer son propre point de vue, d’obtenir une explication sur la décision prise ou de contester la décision. La CNIL devrait pouvoir demander quelles données sont injectées dans ces algorithmes et comment ils fonctionnent, même s’il peut y avoir des difficultés liées à la propriété intellectuelle. La plupart des algorithmes utilisés par les entreprises sont rarement développés par des entreprises françaises. Demander à des Gafam d’ouvrir leurs algorithmes pour les disséquer relève du défi. Un autre problème porte sur la qualité de la donnée. Le RGPD fixe une obligation d’exactitude et de pertinence des données. Or il n’est pas toujours possible de savoir avec quel jeu de données (data set) les algorithmes ont été entraînés. Nous avons en tout cas constaté qu’ils sont souvent entraînés avec des jeux de données à la qualité très pauvre, de sorte que l’exactitude des données laisse à désirer.

Une décision doit être endossée par une personne. Nous attirons souvent l’attention des responsables de traitement sur la fascination qu’exerce le « solutionnisme technologique ». Toute décision, qu’elle soit prise à travers un calcul ou un raisonnement mené par une personne humaine, est « politisée » dans la mesure où elle fait appel à des critères et à une pondération de ces critères. Dans un algorithme, les programmeurs décident de la pondération des critères tout comme dans un raisonnement mené par un être humain. La décision d’un algorithme est donc tout aussi « politisée » que celle d’un humain. Il est difficile aujourd’hui de connaître l’étendue de l’utilisation des algorithmes basés sur l’IA. Ce sont en tout cas des nouvelles technologies qui peuvent faire l’objet d’une procédure d’information dans les CSE et qui méritent aussi un large débat public. Les CSE peuvent se tourner vers l’inspection du travail pour vérifier si ces algorithmes sont conformes au droit du travail et l’inspection du travail peut aussi nous solliciter si elle a besoin d’une analyse plus poussée sur l’usage des données personnelles.

L’un des éléments qui pourraient réduire la méfiance actuelle envers ces algorithmes serait de les mettre aussi au service des salariés et de ne plus être exclusivement dans une utilisation descendante. Les salariés pourraient ainsi utiliser ces algorithmes pour avoir des informations sur leur évolution de carrière ou les écarts de salaire, par exemple, ce qui permettrait de réduire l’asymétrie de pouvoir existant.