Les capitalistes de la surveillance à l’ère de l’intelligence artificielle

Extraits de la transcription d’une enquête documentaire « l’ère de l’intelligence artificielle » (YouTube) de Frontline PBS, traduits automatiquement par DeppL et légèrement améliorés.

Les passages en gras de mon fait.

Les personnes interviewées:

Kai-Fu Lee, informaticien en IA, homme d’affaires et auteur
Pedro Domingos, chercheur en apprentissage machine
Shoshana Zuboff, universitaire et femme de lettres américaine.
Alastair MacTaggart, président fondateur de « Californians for Consumer Privacy »
Éric Schmidt, ex-président exécutif d’Alphabet inc. la holding qui chapeaute Google
Roger McNamee, homme d’affaires américain. Il a été un des premiers actionnaires de Facebook.
Amy Webb, prospectiviste, directrice et fondatrice du « Future Today Institute »
Kate Crawford, chercheuse australienne, professeur à l’Université de New York et chercheuse à Microsoft, cofondatrice de l’« AI Now Institute », connue pour ses travaux sur les effets sociaux du numérique, et notamment du big data et de l’intelligence artificielle
Yoshua Bengio, chercheur québécois spécialiste en intelligence artificielle, pionnier de l’apprentissage profond



Kai-Fu Lee:

L’IA est vraiment l’outil ultime de création de richesses.
Pensez à l’énorme quantité de données que Facebook possède sur les préférences des utilisateurs et à la façon dont ils peuvent très intelligemment cibler une publicité dont vous pourriez acheter le produit et obtenir une part beaucoup plus importante qu’une petite entreprise ne pourrait le faire. Pareil avec Google ; pareil avec Amazon. L’intelligence artificielle (IA) est donc un ensemble d’outils qui vous aident à maximiser une fonction objective, et cette fonction objective au départ sera simplement de « faire plus d’argent ».
(…)



Pedro Domingos:

Partout où vous allez, vous générez un nuage de données ; vous laissez s’échapper des données. Tout ce que vous faites produit des données. Et puis, il y a des ordinateurs qui examinent ces données et qui sont en train d’apprendre, et ces ordinateurs essaient essentiellement de mieux vous servir. Ils essaient de personnaliser les choses pour vous. Ils essaient d’adapter le monde à vous. Donc, d’une part, c’est génial, parce que le monde s’adaptera à vous sans même que vous ayez à l’adapter explicitement.
Il y a aussi un danger, parce que les entités dans les entreprises qui contrôlent ces algorithmes n’ont pas nécessairement les mêmes objectifs que vous, et c’est là que les gens doivent être conscients de ce qui se passe, afin qu’ils puissent avoir un meilleur contrôle.
(…)

Shoshana Zuboff :

Vous savez, nous sommes arrivés dans ce nouveau monde en pensant que nous étions des utilisateurs des médias sociaux. Il ne nous est pas venu à l’esprit qu’en fait les médias sociaux nous utilisaient. Nous pensions que nous cherchions sur Google ; nous n’avions aucune idée que Google recherchait sur nous.
(…)

Ainsi, pour la dynamique du marché, le capitalisme industriel a revendiqué la nature (rivières, prairies et forêts innocentes, etc.) pour qu’elle renaisse sous la forme de biens immobiliers, comme une terre qui pourrait être vendue et achetée. Pour la dynamique du marché, le capitalisme industriel a revendiqué le travail pour qu’il renaisse en tant que main-d’œuvre qui pourrait être vendue et achetée. [le concept de marchandise fictive chez Polanyi]
Maintenant, voici le capitalisme de surveillance, qui suit ce modèle, mais avec une tournure sombre et surprenante. Ce que le capitalisme de surveillance revendique est une expérience humaine privée. L’expérience humaine privée est revendiquée comme une source gratuite de matière première, transformée en prédictions du comportement humain. Et il s’avère qu’il y a beaucoup d’entreprises qui veulent vraiment savoir ce que nous allons faire maintenant, bientôt et dans le futur.
(…)

Alastair MacTaggart:

Ce que j’ai appris depuis, c’est que toute leur activité économique [NDT: des GAFAM & co] est d’en apprendre le plus possible sur vous. Tout ce qui concerne vos pensées, vos désirs et vos rêves, qui sont vos amis et ce que vous pensez, qu’elles sont vos pensées personnelles. Ceci est le vrai pouvoir. Et donc, je pense, je ne savais pas cela à l’époque, que toute leur activité économique consiste essentiellement à extraire les données de votre vie.
(…)

Shoshana Zuboff :

Et parallèlement à cela, il y a eu une autre série de découvertes où il s’est avéré que chaque fois que nous cherchons ou que nous surfons sur internet, nous laissons derrière nous des traces, des traces numériques de notre comportement. Et ces traces, à l’époque, s’appelaient « échappement numérique ».

Narrateur :

[NDT : au début des années 2000], ils ont réalisé à quel point ces données pouvaient être précieuses en appliquant des algorithmes d’apprentissage machine pour prédire les centres d’intérêt des utilisateurs.

Shoshana Zuboff :

Ce qui s’est passé, c’est qu’ils ont décidé de consulter ces historiques de données de façon systématique et ont commencé à utiliser ces données excédentaires pour obtenir des prédictions précises de ce sur quoi un utilisateur cliquerait c’est-à-dire sur quel type de publicité il cliquerait.

Et à l’intérieur de Google, ils ont commencé à voir les profits s’accumuler à un rythme effarant. Ils ont réalisé qu’ils devaient garder cela secret. Ils ne voulaient pas qu’on sache combien d’argent ils gagnaient ou comment ils le faisaient. Parce que les utilisateurs n’avaient aucune idée que ces données extracomportementales qui en disaient tant sur eux existaient juste là, et qu’elles étaient utilisées pour prédire leur avenir.
(…)

Eric Schmidt:

Nous n’avons pas besoin que vous tapiez sur votre clavier parce que nous savons où vous êtes — avec votre permission ; nous savons où vous avez été — avec votre permission ; donc nous pouvons plus ou moins deviner à quoi vous pensez. Est-ce aller trop loin ?
(…)

Roger McNamee:

Ensuite, ils ont réalisé qu’il y avait beaucoup de données à récolter dans l’ensemble du système économique. Ils se sont donc adressés aux entreprises de cartes de crédit et de services d’évaluation du crédit et leur ont dit : « Nous voulons acheter vos données. » Ils sont allés voir les applications de santé et de bien-être en leur disant : « Vous avez des données sur les cycles menstruels des femmes ? Nous les voulons. »
Pourquoi font-ils cela ? Ils le font parce que la prédiction comportementale consiste à retirer l’incertitude de la vie. La publicité et le marketing sont une question d’incertitude : on ne sait jamais vraiment qui va acheter votre produit. Jusqu’à aujourd’hui.
(…)

Narrateur :

Le modèle est tout simplement le suivant : offrez un service gratuit — comme Facebook — et en échange vous recueillez les données des millions de personnes qui l’utilisent. Et chaque information a de la valeur.

Shoshana Zuboff :

Ce n’est pas seulement ce que vous publiez, c’est le fait que vous publiez. Ce n’est pas seulement que tu fais des projets pour voir tes amis plus tard. C’est le fait de leur dire : « Je te verrai plus tard » ou « Je te verrai à 18 h 45. » Ce n’est pas seulement le fait que vous parliez des choses que vous avez faites aujourd’hui ; il s’agit de savoir si vous vous contentez de les énumérer dans un texte décousu ou si vous de les énumérer sous forme de liste synthétique.
Tous ces minuscules signaux sont le surplus comportemental qui s’avère avoir une immense valeur prédictive [de nos comportements].
(…)

Narrateur :

En 2010, Facebook a expérimenté les pouvoirs prédictifs de l’IA dans ce qu’il a appelé une « expérience de contagion sociale ». Ils voulaient voir si, grâce à la messagerie en ligne, ils pouvaient influencer le comportement dans le monde réel.
L’objectif était d’amener plus de gens aux urnes lors des élections de mi-mandat de 2010.
(…)

Ils ont mis à la disposition de 61 millions d’utilisateurs un bouton « J’ai voté » à côté des visages d’amis qui avaient voté ; un sous-ensemble d’utilisateurs n’a reçu que le bouton. À la fin de l’expérimentation, ils ont prétendu avoir poussé 340 000 personnes à voter.
Ils ont mené bien d’autres expériences de « contagion massive », dont une montrant qu’en ajustant le mur des utilisateurs [ce que facebook leur donne à voir], ils pouvaient rendre les utilisateurs heureux ou tristes.

Shoshana Zuboff :

Quand ils ont rédigé les conclusions de ces expérimentations, ils se sont vantés de deux choses. L’une d’elles était : « Oh, mon Dieu. Maintenant, nous savons que nous pouvons utiliser des éléments dans l’environnement numérique pour changer le comportement du monde réel. » C’est une grande nouvelle.

La deuxième chose qu’ils ont comprise et qu’ils ont célébrée, c’est qu’ils peuvent le faire sans que l’utilisateur en soit conscient.

Roger McNamee:

Des entreprises ont construit un état de surveillance privé sans que nous en soyons conscients ou sans notre permission. Les systèmes nécessaires pour le faire fonctionner s’améliorent considérablement, en particulier avec ce que l’on appelle « l’internet des objets » [IoT] — des appareils intelligents, alimentés par le système de reconnaissance vocale Alexa ou le système Google Home.
(…)
Ces entreprises vont mettre la surveillance dans des endroits où nous ne l’avons jamais eue auparavant, c’est-à-dire dans les salons, les cuisines et les chambres à coucher. Je trouve tout ça terrifiant.
(…)

Amy Webb:

Plus vous utilisez des interfaces vocales, donc des micros intelligents, plus ces objets sont entraînés non seulement à vous reconnaître, mais ils commencent aussi à définir des points de référence et à évaluer les changements au fil du temps. Votre cadence vocale augmente-t-elle ou diminue-t-elle ? Vous éternuez pendant que vous parlez ? Votre voix est-elle hésitante ?
Le but est de mieux vous connaître en temps réel pour qu’un système puisse faire des déductions, par exemple : « Avez-vous un rhume ? Êtes-vous dans une phase maniaque ? Vous sentez-vous déprimé ? »
C’est donc une quantité extraordinaire d’informations que l’on peut glaner quand simplement vous vous réveillez et demandez à votre micro intelligent : « Quel temps fait-il aujourd’hui ?
(…)

Shoshana Zuboff :

Le fait est qu’il s’agit d’un ciblage microcomportemental de chaque individu en fonction d’une compréhension intime et détaillée des personnalités. C’est précisément ce qu’a fait Cambridge Analytica, qui après avoir travaillé pour des annonceurs s’est attaqué à la politique.

Narrateur :

Le scandale de Cambridge Analytica en 2018 a submergé Facebook , forçant Mark Zuckerberg à comparaître devant le Congrès pour expliquer comment les données de 87 millions d’utilisateurs de Facebook avaient été recueillies par une société de consultation politique basée au Royaume-Uni.
Le but était de cibler et de manipuler les électeurs lors de la campagne présidentielle [américaine] de 2016 et lors du référendum du Brexit ; Cambridge Analytica était largement financé par le milliardaire conservateur Robert Mercer.

Shoshana Zuboff :

Et maintenant, nous savons que n’importe quel milliardaire avec assez d’argent, qui peut acheter les données, qui peut acheter les capacités de renseignement numériques, et les scientifiques spécialisés dans la donnée, peut, lui aussi, réquisitionner le public et infecter, infiltrer et renverser notre démocratie avec les mêmes méthodes que le capitalisme de surveillance utilise tous les jours.
(…)

Narrateur :

Zuckerberg s’est excusé pour de nombreuses violations de la vie privée, et la Commission Fédérale du Commerce lui a récemment imposé une amende de 5 milliards de dollars.
Il a déclaré que Facebook allait maintenant faire de la protection des données une priorité. La société a suspendu des dizaines de milliers d’applications tierces de sa plate-forme à la suite d’une enquête interne.

Kate Crawford:

Vous savez, j’aimerais pouvoir dire qu’après Cambridge Analytica, nous avons retenu la leçon et que tout ira beaucoup mieux après cela, mais je crains que ce soit le contraire. D’une certaine manière, Cambridge Analytica utilisait des outils vieux de 10 ans. C’était vraiment, d’une certaine façon, de la science des données de la première vague, de la vieille école.

Ce que nous voyons maintenant, avec les outils actuels et l’apprentissage machine, c’est la capacité de manipulation, à la fois en termes d’élections et d’opinions, mais plus généralement, la façon dont l’information circule. C’est un problème beaucoup plus important et certainement beaucoup plus grave que celui auquel nous avons été confrontés avec Cambridge Analytica.
(…)

Yoshua Bengio :

Les IA sont donc des outils, et ils serviront les personnes qui contrôlent ces outils. Si les intérêts de ces gens vont à l’encontre des valeurs de la démocratie, alors la démocratie est en danger.
(…)

Alastair MacTaggart:

Le vote est pour moi le plus alarmant. Si moins de 100 000 voix ont séparé les deux derniers candidats à la dernière élection présidentielle dans trois États, ce n’est pas un problème très difficile. Vous parlez de convaincre une fraction relativement infime des électeurs d’une poignée d’États les uns de venir voter et les autres de rester chez eux. Et rappelez-vous, ces compagnies connaissent tout le monde intimement. Ils savent qui est raciste, qui est misogyne, qui est homophobe, qui est conspirationniste, ils savent qui est paresseux et qui est crédule. Ils ont accès à la plus grande mine de renseignements personnels qui ait jamais été recueillie ; ils ont les meilleurs scientifiques de la donnée au monde ; et ils ont fondamentalement une façon de communiquer avec vous sans aucun obstacle.
C’est le pouvoir.
(…)

Narrateur :

(…)
Le problème est que l’IA s’est déjà répandue profondément dans nos vies et notre travail.

Kate Crawford:

Eh bien, c’est dans les soins de santé, dans l’éducation, dans la justice pénale, dans l’expérience du shopping alors que vous déambulez dans la rue. L’IA a imprégné tant d’éléments de la vie quotidienne et d’une manière qui, dans de nombreux cas, est totalement opaque pour les gens. Alors que nous pouvons voir un téléphone, le contempler et qu’alors que nous savons qu’il y a une technologie d’intelligence artificielle derrière, beaucoup d’entre nous ne le savent pas lorsque nous nous rendons à un entretien d’embauche et que nous nous asseyons pour avoir une conversation, que nous sommes filmés et que nos micro-expressions sont analysées par des entreprises qui recrutent.

Ou que si vous êtes accusé par la justice pénale, qu’il existe des algorithmes d’évaluation du risque qui déterminent votre » score de risque « qui pourrait déterminer si vous serez libéré sous caution ou non.

Ce sont des systèmes qui, dans de nombreux cas, sont cachés dans les coulisses de nos institutions sociales. L’un des grands défis que nous avons à relever est donc de savoir comment rendre cela plus apparent, comment rendre les choses plus transparentes et les décideurs plus responsables.

Amy Webb:

Pendant très longtemps, nous avons eu l’impression, en tant qu’humains, en tant qu’Américains, que nous avions tout notre libre arbitre dans la détermination de notre propre avenir. Ce que l'on croit, c'est que nous sommes au commande. Pourtant, ce que Cambridge Analytica nous a appris, et ce que Facebook continue de nous apprendre, c’est que nous n’avons pas de pouvoir ; ce n’est pas nous qui maîtrisons.
Ce sont des machines qui automatisent certaines de nos compétences, mais elles prennent des décisions sur qui nous sommes. Et ils utilisent cette information pour raconter aux autres notre histoire.


  • Ajouter au recueil d'expressions
    • Pas de liste de mots pour Français -> Français...
    • Créer une nouvelle liste de mots...
  • Copier

Aucun commentaire:

Enregistrer un commentaire

Related Posts Plugin for WordPress, Blogger...