Les algorithmes, c'est quoi ? C'est quoi le problème ?

« Nicolas Martin : (...) Nous parlons d’algorithmes avec Cathy O’Neil qui est ici avec nous, qui est mathématicienne, data scientist et militante, auteure de Algorithmes, la bombe à retardement aux éditions des Arènes, qui nous fait le plaisir d’être avec nous aujourd’hui. C’est Marguerite Capelle qui assure la traduction tout au long de cette heure.

On va en venir à ces algorithmes et surtout essayer de comprendre exactement comment s’organisent ces biais autour des algorithmes et comment finalement les mathématiques, qui sont censées être le langage le plus pur et le plus neutre de description du réel peuvent devenir faussées. Vous écrivez, Cathy O’Neil, dans votre livre : « On nous classe avec des formules secrètes que nous ne comprenons pas et qui n’offrent pas souvent des systèmes de recours ». La question se pose donc : et si les algorithmes étaient faux ? Comment est-ce qu’on peut qualifier un algorithme de faux ?

Cathy O'Neil traduite par Marguerite Capelle : Avant de donner un exemple d’algorithme faux, ce qui est assez facile à faire, je vais expliquer ce que c’est qu’un algorithme avec un exemple très simple que tout le monde peut comprendre.


Ce que je dis, en fait, c’est qu’on utilise tous des algorithmes au quotidien. Les algorithmes sont une manière d’utiliser des tendances historiques pour prédire ce qui va se passer et la seule chose dont vous avez besoin ce sont des données historiques ; ça peut être simplement des souvenirs dans votre tête, se souvenir de comment les choses ont pu fonctionner par le passé et essayer de prédire ce qui fait que quelque chose fonctionne. Quelque chose qui a conduit à une réussite dans le passé a des chances de produire une nouvelle réussite dans le futur. Par exemple alimenter les enfants. Moi, quand je cuisine pour ma famille, j’ai beaucoup de souvenirs sur ce que mes enfants aiment manger, ce qu’ils veulent bien manger, à quel point est-ce qu’ils apprécient. J’ai aussi, évidemment, les ingrédients dont le dispose. Une autre donnée c’est le temps dont je dispose. Tout ça ce sont des données. À partir des tendances historiques, des souvenirs que je peux avoir sur ces questions-là, je décide quoi cuisiner. Je cuisine et ensuite nous mangeons en famille et là c’est moi qui définis – et c’est ça qui est important – si c’était une réussite ou pas. Pour moi, c’est réussi si mes enfants ont mangé des légumes ; ils n’en ont peut-être pas mangé assez, mais ils ont mangé des légumes. Donc en fait, là c’est moi qui décide en fonction de mes propres priorités que je projette sur ma famille ; c’est moi qui décide ce qui est important. Ce n’est pas une vérité mathématique, ce n’est pas objectif, c’est mon opinion que j’inclus, que je projette dans cet algorithme. J’appelle ça un algorithme parce que ce n’est pas quelque chose que je fais une fois, c’est quelque chose que je fais au quotidien, donc je mets à jour mon algorithme à partir des nouvelles informations dont je dispose et je l’optimise pour réussir au mieux le menu que je propose à ma famille, ce qui a pu rater par le passé ou ce qui a pu réussir.

Évidemment, pour mon plus jeune fils qui a dix ans et qui adore le Nutella, un repas extrêmement réussi, si c’était lui qui était responsable de l’évaluer, le critère serait est-ce que j’ai mangé ou pas du Nutella ? Donc si ça c’était la définition de l’objectif atteint qu’on retenait pour notre algorithme, on aurait un résultat complètement différent qui ressemblerait plus à nos petits déjeuners d'ailleurs, où il y a beaucoup de Nutella.

Pour revenir à ce que je voulais dire, le premier point c’est que c’est une opinion, la mienne ou celle de mon fils, mais en tout cas c’est un point de vue et c’est toujours vrai : quel que soit l’algorithme, la personne qui le développe, qui construit cet algorithme, décide de ce que va être le critère de réussite ou pas. Et ce n’est jamais objectif, c’est ce qui lui profite à elle.

Et le deuxième point c’est que la raison pour laquelle c’est moi qui décide et pas mon fils c’est que c’est moi qui ai le pouvoir et donc ça aussi c’est systématique. Ce sont les gens qui ont le pouvoir qui décident ce qui est un objectif atteint, un algorithme qui obtient un succès. Et nous, les gens qui sommes partie prenante du système, qui sommes les cibles du système, nous espérons simplement que leur définition de la réussite nous conviendra aussi et souvent ce n’est pas le cas. »

 Cathy O'Neil : pour une éthique des algorithmes, France Culture, 31 déc 2018 (transcription de l'APRIL)

"La mathématicienne, informaticienne et activiste Cathy O'Neil est notre toute dernière invitée de l'année.
Quel est son parcours et d’où lui est venue sa passion pour les mathématiques ? Pourquoi appelle-t-elle les algorithmes des “armes de destruction mathématiques” ? Comment ces nouveaux pouvoirs algorithmiques transforment-ils les pratiques professionnelles de la société ?
Quoi de plus neutre qu'un ordinateur ? Quoi de plus a priori objectif qu'une suite de calculs, qu'une série d'opérations mathématiques ? Quoi de plus éloigné d'une opinion finalement qu'un algorithme ? Et bien tout justement. Parce qu'ils sont programmés par des humains qui sont eux perclus de biais, parce qu'ils tentent d'objectiver des réalités qui sont plus complexes que ce que peut décrire une seule suite mathématique, parce qu'enfin derrière chaque algorithme il y a une intention et qu'une intention n'est pas neutre. Pour notre invitée du jour, les algorithmes sont devenus des weapons of math destruction, des armes de destruction mathématique. "

Son livre : Algorithmes, la bombe à retardement  De Cathy O'Neil, Les Arènes, 2018

" Qui choisit votre université ? Qui vous accorde un crédit, une assurance, et sélectionne vos professeurs ? Qui influence votre vote aux élections ? Ce sont des formules mathématiques.
Ancienne analyste à Wall Street devenue une figure majeure de la lutte contre les dérives des algorithmes, Cathy O’Neil dévoile ces « armes de destruction mathématiques » qui se développent grâce à l’ultra-connexion et leur puissance de calcul exponentielle. Brillante mathématicienne, elle explique avec une simplicité percutante comment les algorithmes font le jeu du profit.
Cet ouvrage fait le tour du monde depuis sa parution. Il explore des domaines aussi variés que l’emploi, l’éduca­tion, la politique, nos habitudes de consommation. Nous ne pouvons plus ignorer les dérives croissantes d’une industrie des données qui favorise les inégalités et conti­nue d’échapper à tout contrôle. Voulons-nous que ces formules mathématiques décident à notre place ? C’est un débat essentiel, au cœur de la démocratie. "