Dans la Silicon Valley, terre traditionnellement fertile pour les spiritualités excentriques, un nouveau récit se répand. Les start-up de l’intelligence artificielle vendent désormais aux investisseurs l’imminence de la fin des temps. L’IA deviendrait si intelligente qu’elle en serait divine, capable de nous sauver comme de nous anéantir. Sous son influence, l’industrie de la tech tout entière bascule dans un discours aux accents religieux. On ne vend plus le progrès, mais la métamorphose. On ne vend plus le futur, mais la fin de l’histoire.
Certains les appellent les doomers – les catastrophistes – ou encore les techno-oligarques. Pour les besoins de ce livre, nous les appellerons les «prophètes». Cette congrégation se compose majoritairement d’hommes blancs, issus des élites universitaire et entrepreneuriale. Ils viennent de Stanford, Oxford, Harvard ou du MIT. Ils sont ingénieurs, chercheurs, philosophes, patrons, investisseurs et milliardaires, et pas une semaine ne passe sans que ces prophètes apparaissent dans la presse pour prononcer un oracle. Dans un inquiétant amalgame d’autoritarisme et d’ultracapitalisme, ils veulent nous faire croire en leur toute-puissance pour mieux imposer leur pouvoir. Ce faisant, ils représentent une réelle menace pour la société civile et nos libertés.
Journaliste indépendant spécialiste des nouvelles technologies, Thibault Prévost travaille depuis dix ans pour divers médias français, notamment Arrêt sur images.
ÉTAT DES LIEUX
LA TERRE SAINTE DU TRANSHUMANISME
FUTURITARISMES
L’APOCALYPSE SELON L’IA
DU BON USAGE DES PROPHÉTIES
SYSTÈMES D’EXPLOITATION
REMERCIEMENTS
NOTES ET RÉFÉRENCES
Nombre de pages
216
Langue
Française
Année de publication
2024
Éditeur
Lux
ISBN
978-289833-1602
Qu’ils soit modérés comme Yann Le Cun, illuminés comme Sam Altman, pessimistes comme Eliezer Yudkowsky ou purs optimistes comme Larry Page, tous ces entrepreneurs, philosophes ou investisseurs de la Silicon Valley ont un point en commun : ce sont les nouveaux prophètes de l’IA.
Pas un jour sans qu’ils prononcent un oracle repris très largement par les médias du monde entier, qui semblent bien incapables de prendre la distance nécessaire à une analyse critique pourtant essentielle et qui sont réduits à un exercice de futurologie face aux promesses des techno-oligarques.
De l’avènement de la superintelligence qui sonnera la fin de l’humanité à la fusion entre l’homme et la machine en passant par l’IA qui sauvera le monde, une bande d’éclairés semble avoir pris le pouvoir de l’autre côté du Pacifique.
Journaliste et observateur critique des technologies, Thomas Prévost nous décrypte dans son essai, avec talent et précision, les raisons qui poussent les start-up de l’IA à adopter des récits aux accents messianiques de fin du monde, pour mieux contrôler le présent.
Acheter le livre:
Et soutenir le blog
Utilisant les techniques éprouvées par les industries du pétrole et du tabac avant eux, l’industrie de la Tech multiplie les opérations de lobbying à Washington et à Bruxelles, retourne les élus, remet au goût du jour la capture réglementaire, finance majoritairement les chercheurs en IA au risque d’influer sur les résultats des recherches, investit dans les think tank à dominance ultra-libérale et alimente les promesses et les angoisses de nos contemporains sur une IA incontrôlable et tellement complexe qu’elle serait la seule à pouvoir réguler. Telles des magiciens, les big Tech à la manœuvre ambitionnent de reconfigurer le présent (de la main droite) alors que nous regardons (la main gauche) avec sidération vers un avenir improbable d’une IA pouvant nous détruire ou nous sublimer.
L’auteur nous détaille également les grands mouvements philosophiques qui parcourent depuis quelques années la Silicon Valley et qui viennent légitimer ces comportements de domination : transhumanisme, altruisme efficace, singularité.
Les prophètes de l’IA est un essai de Thibault Prévost remarquablement documenté qui permet de sortir du récit marketing de l’IA actuel et nous donne les clés pour mieux questionner le discours techno-solutionniste ambiant tout en ayant le mérite de réveiller notre esprit critique. À découvrir aux éditions LUX.
Dans la Silicon Valley, une terre fertile pour les spiritualités, malgré ses habits technoscientifiques, un récit aux accents messianiques se diffuse. Face aux investisseurs, les start-up de l’intelligence artificielle vendent l’imminence de la fin des temps. Sur les campus des facs britanniques et états-uniennes, un réseau d' »instituts de recherche » forme des futures oracles, éthiciens et philosophes de la technique, qui iront ensuite convertir les ingénieurs californiens au culte de l’IA. Sous l’influence de ces start-up aux accents sectaires, qui reçoivent désormais des montagnes d’investissements, l’industrie de la tech tout entière bascule dans un discours technoreligieux. On ne vend plus le progrès, mais la transcendance. On ne vend plus le futur, mais la fin des temps. (p.10)
En 2024, leur chef de fil est sans aucun doute Sam Altman, patron d’OpenAI – né en 1985, visage juvénile et sourire affable. Sa biographie, qui se transforme lentement mais sûrement en légende, s’inscrit déjà dans la mythologie des Steve Jobs, Bill Gates et autres saint patrons de la Silicon Valley. Sam, raconte la presse états-unienne dans de longs portraits fascinés, a été un enfant prodige, capable de réparer un magnétoscope à trois ans. Son premier ordinateur, un Mac LC II offert pour ses huit ans, a changé sa vie, marquant « un avant et un après ». Sa découverte des chat rooms d’AOL est un événement « transformatif ». Il entre à Stanford en 2003 pour y étudier l’informatique – la voie royale pour évoluer dans la tech -, mais quitte la prestigieuse université deux ans plus tard sans diplôme pour fonder une start-up. Il rejoint ensuite le plus célèbre incubateur de la Silicon Valley, Y Combinator, à la tête duquel il va ensuite être coopté en 2014. (p.16)
Au jeu du lobbying, aucun des prophètes ne donne plus de sa personne que Sam Altman. Depuis qu’il a lancé ChatGPT en décembre 2022, le P-DG d’OpenAI s’est transformé en un prosélyte acharné. Aux États-Unis, il a rencontré près d’une centaine de députés, démocrates comme républicains, afin de les convaincre d’adopter les cadres de régulation les plus avantageux pour son activité. Altman a même été reçu plusieurs fois à la Maison-Blanche, seul et en compagnie d’autres leaders de l’IA, où il a été entendu par Joe Biden, la vice-présidente Kamal Harris et plusieurs autres membres du gouvernement. (p.20)
Des fronts idéologiques se consolident, reflétant chacun la panique ou le scepticisme face à la « superintelligence » qui vient. On peut, grosso modo, les découper en quatre factions.
Les modérés, parmi lesquels le Français Yann Le Cun, chercheur en chef chez Meta/Facebook, s’opposent à la régulation de leurs activités, et répètent d’un ton rassurant que les intelligences artificielles sont encore très loin d’égaler nos capacités cognitives. Cette faction est la plus discrète dans les médias, il va de soi.
Ensuite, il y a les illuminés, dont Sam Altman est l’incarnation la plus visible et le philosophe suédois Nick Bostrom, le théoricien le plus populaire. Ce sont eux qui nous intéressent le plus. Ils sont ingénieurs, patrons, éthiciens ou investisseurs et travaillent pour la plupart dans les compagnies qui produisent les systèmes d’IA actuels. Certains sont des pionniers de la recherche en informatique. À force de jouer les Prométhée modernes, ils ont développé une relation apparemment ambivalente à leur création, entre crainte et admiration.
Entre le calme olympien des premiers et l’exaltation mystique des autres, il. y a le pessimisme sincère de ceux qui sont persuadés que la naissance de cette « superintelligence » provoquera inexorablement la fin d’Homo sapiens. Surnommés les « doomers », ils appellent à l’arrêt pur et simple des recherches en IA. Ils sont guidés par l’influent théoricien et « génie » autoproclamé Eliezer Yudkowsky. […]
Enfin, à l’autre extrême, on trouve les purs optimistes, une frange minoritaire mais puissante représentée par l’ex-PDG de Google Larry Page et les investisseurs-stars de la Silicon Valley Marc Andreessen, Peter Thiel et Reid Hoffman. Eux affirment qu’il n’y a aucune raison de paniquer puisque l’IA « va sauver le monde » en « améliorant tout ce qui nous importe », et que ralentir le développement de la machine qui pense est « spéciste ». Leur maître à penser, Ray Kurzweil, gourou du futurisme chez Google, professe depuis vingt ans l’évangile d’une fusion entre l’être humain et la « superintelligence » qui vient comme aller simple vers l’immortalité. (p.25)
Obnubilés par le miroir déformant de l’IA générative, nous oublions vite que l’entité qui nous fait face n’est rien de plus qu’un outil d’autocomplétion de texte, qui repose sur le même principe que l’algorithme qui nous aide à composer nos textos. Pour reprendre le terme inventé par quatre chercheuses critiques de l’IA dans un article devenu célèbre, ces systèmes sont en réalité de simples « perroquets stochastiques », des calculateurs de probabilités qui n’ont aucune compréhension des mots et concepts qu’ils reprennent. Le chatbot ne sait pas ce qu’il dit, il estime ce qu’il doit dire. (p.28)
Acheter le livre:
Et soutenir le blog
En 1998, Max O’Connor, un jeune doctorant en philosophie britannique, quitte les flèches néogothiques d’Oxford pour les arcs néo-romans de l’université de Californie du Sud à Los Angeles. Saisissant rapidement l’esprit du temps et des lieux, il injecte une bonne dose de libertarianisme californien au transhumanisme britannique d’Huxley et lui donne le nom d’extropianisme – la quête de l‘extropie, un néologisme inventé comme autonyme à l’entropie, le processus physique de dégradation. […] qui se fera désormais appeler Max More.
Alcor, une entreprise sise en Arizona et dirigée par Max More entre 2010 et 2021, leur propose l’immortalité par la cryogénisation. Pour 200 000 dollars, ils peuvent mourir tranquilles : leur corps sera plongé dans un bain d’azote liquide à -196°C, juste après leur décès. Pour un petit supplément variant entre 30 000 et 130 000 dollars, on en fera autant avec leur animal de compagnie. Les cryogénisés seront conservés dans un cylindre en inox, en vue d’être ressuscités un jour par leurs descendants […] Alcor revendique 1 400 candidats à la cryogénisation parmi lesquels More lui-même, sa femme, l’entrepreneur libertarien star de la Silicon Valley Peter Thiel, le prophète critique de l’IA Eliezer Yudkowsky et deux papes du transhumanisme actuel, Ray Kurzweil et Nick Bostrom. Tous portent un bracelet, sur lequel sont inscrits le numéro d’Alcor et la marche à suivre pour la préservation de leur corps. (p.41)
Le discours, pour contre-intuitif qu’il soit, fait mouche auprès des ploutocrates. En 2018, l’historien superstar Yuval Noah Harari, nouveau conférencier du transhumanisme, affirme sans trembler que « nous sommes probablement la dernière génération d’Homo sapiens. D’ici un siècle ou deux, la Terre sera dominée par des entités qui seront plus différentes de nous que nous le sommes de Neandertal ou d’un chimpanzé […] Rien de tel que me transhumanisme, philosophie du dépassement éternel, pour parler aux puissants. (p.45)
Si ces patrons lisaient le roman Tous les hommes sont mortels, de Simone de Beauvoir, ils comprendraient peut-être que l’immortalité serait une malédiction et que la finitude existentielle est en fait une bénédiction. Mais on n’a pas affaire à des existentialistes. (p.48)
Non contente de ressusciter l’utopie transhumaniste, l’industrie californienne de la tech s’est récemment entichée d’un autre mouvement philosophique futuriste, né entre les États-Unis et l’Angleterre au début des années 2010 : l’altruisme efficace (effective altruism), dont les adeptes se définissent comme « EA ». Les origines remontent aux débuts de l’utilitarisme, doctrine fondée dans l’Angleterre du XVIIIe siècle par le juriste Jeremy Bentham – lui aussi partisan de l’eugénisme et célèbre inventeur du panoptique, un modèle de prison devenu allégorie de la société de surveillance […] L’objectif est de toujours viser « le plus grand bonheur du plus grand nombre », dixit Bentham dans son Fragment sur le gouvernement,le bonheur consistant en gros à limiter les souffrances individuelles, sans trop se soucier de l’état des sociétés. Au XXe siècle, l’idée est reprise par le philosophe et bio-éthicien australien Peter Singer […] Certes, il affirme que les Occidentaux ont le devoir moral d’aider les populations en difficulté, mais il ajoute que « le meilleur moyen de prévenir la famine, sur le long terme, est le contrôle de la population ». […] On retrouve ici l’obsession eugéniste des transhumanistes, et la notion suprémaciste selon laquelle certaines vies valent objectivement moins que d’autres.
L’altruisme efficace n’est ni altruiste ni efficace : c’est « un cocktail d’arrogance élitiste et de naïveté » qui défend férocement la légitimité morale des inégalités de classe […] le long-termisme est « taillé sur mesure pour permettre aux élites technos, financières et philosophiques de s’abandonner à leurs tendances antihumanistes tout en se félicitant mutuellement de leur supériorité intellectuelle », résume le Washington Post. (p.63)
Quand l’élite belliqueuse de la Silicon Valley se met à nous cajoler, à parler de pouvoir d’achat, de revenu universel et de la fin de la pauvreté, quand elle nous promet qu’elle va s’occuper de tout, il vaut mieux s’inquiéter pour notre autonomie collective, parce qu qu’elle s’apprête à déployer une technologie disciplinaire,. L’avenir des sociétés de contrôle, qu’appellent de leurs vœux ces bonzes, c’est un mélange d’abrutissement consumériste et de surveillance algorithmique, avec l’IA pour contremaître, et une caste quasi aristocratique bien à l’abri de l’abomination qu’elle a déployée. D’un côté, des masses passives, qui réagissent à des stimuli, plus qu’elles n’agissent, qui ont des réflexes et non des réflexions; de l’autre, les ingénieurs, les cadres et les patrons qui pensent, décident et s’enrichissent. La philosophe Antoinette Rouvroy décrit ce système de « gouvernementalité algorithmique » comme « un système immunitaire développé par le capitalisme pour lutter contre tout ce qui pourrait le mettre en crise ». (p.73)
Au cours des années suivantes, on a assisté à un véritable mariage gris entre Silicon Valley, capitalisme spéculatif et recherche universitaire. Des laboratoires de recherche en IA d’un nouveau genre, peuplés de philosophes et d’éthiciens, ont fleuri sur les campus des plus prestigieuses universités anglo-saxonnes, financés par de généreuses donations de l’industrie. Leur mission : tenter de prévoir et de prévenir une destruction de l’humanité par l’intelligence artificielle, et imaginer des solutions pour éviter le carnage. Cette entreprise de relations publiques prend le nom d’AI safety. […] Aujourd’hui, l’AI safety a aussi son lobby européen, l’European Network for AI Safety, et sa coalition internationale, l’AI Alliance, un think tak crée fin 2023, qui réunit près de 80 organisations du monde universitaire et de l’entreprise privée. (p.110)
Pour d’autres, dans la Silicon Valley et ailleurs, la peur de l’IA est une matière première qui génère des financements universitaires, des contrats, des investissements. Dans son analyse du marché de l’AI panic, la chercheuse Nirit Weiss-Blatt, autrice de The Techlash and Tech Crisis Communication, sépare le « panic-as-a-business » (Bostrom, Yudkosky et autres prophètes à plein temps, comme William MacAskill et Toby Ord), qui consiste à vendre de la peur contre des financements, et l' »Ai panic marketing » (Sam Altman, Dario Amodei, Demis Hassabis, Emad Mostaque, tout le patronat de l’IA), où la panique sert de discours publicitaire pour vendre des logiciels. (p.117)
L’expérience de pensée d’Asimov inspire Norbert Wiener, l’inventeur de la cybernétique, qui postule en 1960 que « si pour atteindre nos objectifs, nous utilisons des agents mécaniques avec lesquels nous ne pouvons pas interférer […] nous avons intérêt à être certains que l’objectif programmée dans la machine est bien celui que nous désirons ».
Le récit catastrophique repose sur une série de préconceptions présentées comme des certitudes. Pour commencer, dans le monde biologique, l’intelligence n’est pas corrélée à la volonté de domination, contrairement à ce que laissent entendre ces vulgaires évolutionnistes ; elles est plutôt un processus d’interaction sociale, qui implique la coopération et une forme de mutualité. L’idée d’une superintelligence superprédatrice est une vision inspirée du capitalisme, qui est basé sur la compétition entre tous, portée par des dominants soucieux de garder leur place au sommet de la chaîne alimentaire. (p.121)
Les transhumanistes de Nick Bostrom, les altruistes efficaces de William MacAskill et les rationalistes d’Eliezer Yudkowsky se fondent dans une même vision, déjà explorée dans le chapitre supérieur, les ingénieurs et les philosophes vont non seulement sauver le monde de l’apocalypse qu’ils ont été les seuls à voir venir, mais ils vont aussi « résoudre » la fusion entre humanité et machine […] En dix ans à peine, avec l’aide d’une poignée de milliardaires de la tech et de philanthro-capitalistes, les transhumanistes et les altruistes efficaces ont inventé, diffusé et financé trois disciplines savantes pour trouver des solutions à des problèmes qui n’existent pas […] aligner une intelligence artificielle générale sur les « valeurs humaines » pour éviter qu’elle ne nous extermine. Rien de tout ça n’existe ; ni les démons ni les anges informatiques… (p.122)
Ce qu’ils cherchent avec leurs milliards de dollars, leurs discours apocalyptiques, leurs think tanks et leurs utopies réversibles, c’est bien à reconfigurer le présent pendant que nous regardons vers un avenir improbable. Il leur faut donc rester au-dessus des lois, coûte que coûte. Engoncés dans leurs costumes de lobbyistes, nos futuristes à la petite semaine n’ont rien inventé. Ils ne fond que réutiliser l’arsenal des techniques de manipulation, de corruption légale et de retournement d’élus, testé et approuvé par Big Oil, Big Tobacco et Big Tech. Science, pouvoir, argent : la Sainte Trinité du capitalisme avancé. (p.126)
En décembre 2023, le Washington Post révélait que sur 33 professeurs d’université ayant publié des articles sur l’IA dans les revues Nature et Science, tous sauf un avaient reçu de l’argent des géants de la Silicon Valley, ponctuellement ou en tant qu’employés. Selon le chercheur Christopher Newsfield : « la majeure partie de la recherche en IA est menée sans liberté universitaire, ce qui risque de forcer les chercheurs à modifier les résultats, notamment en supprimant les découvertes qui entrent en contradiction avec le récit ou l’image de l’entreprise qui les paie. Or, la modification des résultats de recherche par le secteur privé a des précédents, notamment avec des exemples offerts par les industries de l’automobile, du tabac, de la chimie et des carburants fossiles. » (p.135)
Pour atteindre son objectif de contrôle, la Big Tech ment. Elle ment sur les capacités de ses logiciels, sur leur coût écologique, sur la façon dont elle les déploie et avec qui elle collabore. Lorsque Meta lance son IA, Llama-3, en open source sous prétexte d’en faire bénéficier le monde, c’est pour mieux tenter d’exempter les modèles open source des règles européennes et continuer de développer ses produits en paix. Lorsque le président de Microsoft, Brad Smith, propose de réguler l’IA « comme les voitures et les médicaments » via un système de permis (la vision est un peu réductrice), c’est parce qu’il sait que ce serait lui qui les délivrerait. Lorsque Sam Altman supplie les députés des États-Unis de le réguler, lorsqu’il affirme que le secteur n’a pas besoin de régulation « avant plusieurs générations », lorsqu’il fait la cour à la présidente de la Commission européenne, lorsqu’il menace de quitter l’Union européenne et lorsqu’il se rétracte, il joue la comédie – la même que ses prédécesseurs de Big Oil et Big Tobacco, et que les industriels corrompus de l’âge d’or états-unien, les Carnegie et les Rockefeller, qui ont inventé la capture réglementaire pour consolider leurs monopoles respectifs. (p.153)
Depuis soixante-quinze ans, les mêmes axiomes fallacieux soutiennent l’évangile de la machine pensante : la conscience se résume à l’intelligence, celle-ci loge exclusivement dans le cerveau, se réduit à du traitement d’informations, et elle est proportionnelle à la capacité de calcul. Ainsi, puisque le cerveau est une sorte d’ordinateur, un ordinateur peut devenir un cerveau. Les prophètes de l’IA veulent nous faire croire (et semblent réellement persuadés) que si on ajoute de la puissance et des données à un logiciel de calcul de probabilités, celui-ci deviendra non seulement conscient, mais carrément omnipotent. Comme le résume le technocritique Cory Doctorow, c’est à peu près comme si on affirmait qu’en élevant des chevaux de plus en plus rapides, on finira par avoir une locomotive. […] Sauf que ça ne fonctionne pas comme ça. Le raisonnement est deux fois mensonger, biologiquement et politiquement. Pour commencer, personne ne s’accorde sur une définition de l’intelligence humaine, un phénomène extraordinairement complexe, qui mobilise non seulement l’entièreté du corps, mais aussi les êtres humains avec qui chaque individu interagit matériellement et symboliquement. L’intelligence est incarnée, situationnelle, collective, relationnelle, sociale, culturelle, institutionnelle, historique. N’en déplaise aux transhumanistes, nous n’existons pas dans le vide. […] Plus important encore, il n’y a pas de corps pensant sans corps social. Les techno-évangélistes ont beau fétichiser l’individu rationnel tout-puissant, qui culmine dans la figure du génie solitaire, le monde fonctionne sur la mutualité, la réciprocité et le partage de compétences. Nous sommes collectivement cette super-entité intelligente et autonome qui ne cesse de s’autopréserver, de s’autorépliquer et de s’autoaméliorer. (p.159)
Alors en 2024, pendant que leurs P-DG célèbrent la fin du travail et brandissent la corne d’abondance du futur, les responsables produits chez Microsoft, Google et Amazon suggèrent discrètement à leurs vendeurs de calmer le jeu auprès des clients, afin d’éviter la publicité mensongère. Certains plaident même pour retarder le lancement de logiciels qui ne sont même plus assez performants pour faire illusion. Sam Altman, qui subit le « burnout de l’IA » dont il a été le principal artisan en 2023, joue désormais les blasés en déclarant que GPT-4 est « un peu nul » et que l’AGI « changera moins le monde et le travail que ce qu’on pense », après avoir passé un an à dire exactement le contraire. (p.164)
Expert en cybersécurité et en marketing (ex-directeur des Réseaux Sociaux chez Microsoft) et fervent défenseur des libertés numériques, Clément partage ses coups de cœur littéraires. Et vous, que pensez-vous de ce livre ?
