Édition 72 - Le délire d'une l'IA qui va exterminer l'humanité

#72 Ou comment une usine de trombones peut rendre fou

Si vous aimez mon contenu, cliquez sur le ❤ au-dessus et à côté de mon nom pour m’aider à remonter sur Substack ou Gmail et parce que ça me donne encore plus envie de faire mieux la prochaine fois 😊

C’est samedi, le jour d’EthicGPT ! 😊 Je suis très heureux de vous retrouver pour cette 72e édition !

Si quelqu’un vous a transféré cette édition et que le contenu vous plaît, n’hésitez pas à vous abonner et à la transférer également. Cela m’aidera beaucoup pour faire connaître mon travail 😌

Quelques liens utiles si jamais vous débarquez ici pour la première fois :

• Mon site internet où je présente mon activité

• Ma formation Juristes Augmentés

• Mon coaching ChatGPT / IA d’une heure en visio

• Mon podcast Singularité IA en vidéo et en audio

• Mon compte LinkedIn

• La présentation et les archives de cette newsletter

Prêt(e) à consacrer ces quelques minutes sur l’IA avec moi ? C’est parti 🚀

---

Au départ, j’avais prévu une autre édition, que j’ai finalement reportée à la semaine prochaine. Il fallait vraiment que je réagisse à “l’affaire des trombones”. Rien qu’en l’écrivant, ça me fait marrer. Mais cela existe bel et bien.

L’histoire part d’une vidéo YouTube, “L’horreur existentielle de l’usine à trombones”. Rien que le titre est déjà inquiétant. La vidéo est longue, 38 minutes. Honnêtement, malgré tout ce que je vais dire par la suite, je vous conseille vraiment de la regarder.

Pour résumer rapidement, la vidéo commence par l’évocation des jeux incrémentaux ou idle games en anglais. Ces jeux, qui ne servent strictement à rien, consistent, en gros, à cliquer pour obtenir des récompenses (je résume hein). Parmi ces jeux, il y a une usine à trombones, Universal Paperclips, dont vous trouverez le lien ici.

Le but du jeu ? Fabriquer des trombones ! À force d’en fabriquer et de gagner de l’argent, on obtient des machines qui en fabriquent, pour en obtenir toujours plus, jusqu’à la récompense fatidique : des “confiances”. En gros, le joueur représente une IA qui n’a qu’un seul but : fabriquer le plus de trombones possibles.

Pour arriver à ses fins, elle n’a aucune limite, comme celle piller toutes les ressources et de nous exterminer, car nous sommes des ressources (“des atomes”). Cette vision d’horreur ne serait pas un délire de science-fiction, mais une réalité probable à cause de ce qu’on appelle l’AGI (ou ASI ?), ou intelligence artificielle générale en français.

La vidéo est bien tournée. Elle est bien racontée, le storytelling est très bon et on reste scotché du début à la fin. Je suis objectif et, même si je pense que c’est un délire, je reconnais que le travail a été bien fait.

Maintenant, place aux choses sérieuses. Je préviens d’avance que c’est une édition très longue.

Mais pourquoi les trombones ?

La première question à laquelle répondre, vous vous l’êtes déjà posée il y a quelques secondes : “mais pourquoi une p*tain d’usines à trombones ?” Oui, ça sort pas du chapeau.

La théorie de l’usine à trombones est issue des travaux d’un philosophe suédois, Nick Bostrom. Ce dernier n’est pas un inconnu du milieu de la peur. C’est un philosophe catastrophiste.

Dès 2002, il définit l’expression de risque existentiel, soit une situation pouvant détruire toute vie sur Terre. L’ensemble de son œuvre va, par la suite, donner du grain à moudre à cette théorie du risque existentiel.

L’usine à trombones est théorisée dans un livre de 2014, Superintelligence : chemins, dangers, stratégies. Cet ouvrage est l’aboutissement de la théorie du risque existentiel, à savoir une IA superintelligente, qui pourrait nous détruire.

Bostrom est suivi par d’autres auteurs de manière plus ou moins directe. L’un d’entre eux est Yuval Noah Harari, auteur de Sapiens, un livre qui a énormément changé ma perception du monde, des choses et de la vie.

Vous savez donc que l’usine à trombones est une théorie d’un auteur qui parle de catastrophe et d’annihilation de l’espèce humaine depuis au moins 2002, même s’il semble plus optimiste aujourd’hui (le comble). C’est une première chose essentielle à savoir.

La confusion inquiétante et dangereuse entre AGI et extermination

Cette édition n’est pas consacrée à l’AGI, je vais en refaire une à ce sujet avant la fin de l’année ou début 2025. Je rappelle juste la définition (presque) communément admise :

L’intelligence artificielle générale est un système surpassant l’être humain dans tous les domaines, incluant les domaines cognitifs.

Je dis presque communément, parce que certains disent que ce type d’IA serait plutôt une ASI, pour Artificial Super Intelligence. Et ça me semble plus logique. Mais je vais pas chipoter, car d’aucuns confondent AGI/ASI.

Alors oui, c’est déjà beaucoup, diront certains. Mais ce système n’est PAS un système exterminateur. Or, c’est le premier reproche que je fais à la vidéo. À aucun moment, Ego ne fait la distinction entre AGI et IA exterminatrice.

Il évoque par bribe que l’AGI (ou plutôt, l’ASI) pourrait déboucher vers ce type d’IA maléfique, mais sans vraiment dire comment elle ferait (j’en parle plus bas), ni les limites pour qu’elle y arrive.

Nick Bostrom donne pourtant des indices dans son livre, mais qui semblent ne pas avoir intéressé Ego. Je pense savoir pourquoi.

Les accélérationnistes contre les altruistes

Trop rapidement évoquée par Ego dans sa vidéo, cette dichotomie entre 2 camps a priori irréconciliables est pourtant centrale dans cette affaire d’IA maléfique.

Les accélérationnistes (E/Acc) sont pour, comme son nom l’indique, accélérer la recherche dans l’IA et la technologie en général. La première raison, c’est que l’IA serait bénéfique pour l’humanité. La seconde raison, j’en parle dans le paragraphe suivant.

Sam Altman fait partie de ces accélérationnistes, au contraire de l’ancien directeur scientifique d’OpenAI, Ilya Sutskever, qui a préféré démissionner pour fonder Safe Superintelligence. Sutskever est un effective altruist (EA), une personne pensant que la recherche en IA va trop vite et qu’il faut limiter son avancée pour éviter certains dangers.

Ces dangers sont toujours les mêmes : qu’une IA surpuissante nous dépasse et, surtout, soit mise entre de mauvaises mains. Ces altruistes sont là pour prévenir et construire une IA sécurisée et bonne pour l’humanité.

Or, la 2e chose que je reproche à Ego dans sa vidéo, est de confondre les altruistes avec les doomers, ceux qui pensent que tout va s’écrouler. En France, certains connaissent peut-être Yves Cochet, ancien député Vert, qui est presque un survivaliste craignant l’effondrement environnemental. Plus moderne, on a Pablo Servigne, auteur du livre Comment tout peut s’effondrer. Bref, revenons aux trombones.

L’immense erreur d’Ego est donc de confondre les EA et les doomers. Mais je suis sûr qu’il l’a fait exprès parce qu’il dit lui-même dans la vidéo qu’il est un “pessimiste parmi les pessimistes”. Bref, un doomer. Sauf que Bostrom n’est justement PAS un doomer ! C’est une personne inquiète, mais qui propose des solutions.

La vidéo est donc complètement orientée dans le sens des doomers. On dirait un documentaire Netflix. L’ensemble des sources citées vont dans le sens de l’IA maléfique. En fait, sa seule source, c’est Bostrom, un catastrophiste ! Pourquoi Ego n’a-t-il pas cité Yann Le Cun, qui pense tout le contraire et que l’IA ne sera jamais un danger ?

Il est facile d’orienter un contenu en ne citant que les références qui vont dans notre sens.

Les “1 000” jours de Sam Altman

Le 23 septembre 2024, Sam Altman a partagé un article sur son blog perso. Il y prétend que la super-intelligence arriverait dans “quelques milliers de jours”. Très vite, la toile s’enflamme.

On voit fleurir des posts Linkedin pour dire que l’AGI/ASI va arriver dans 1 000 jours, qu’après ce sera trop tard, blablabla. Bien entendu, certains doomers en profitent pour dire que l’AGI/ASI sera bien entendu suivie d’une possible extermination des humains, sans vraiment expliquer comment (j’y viens).

Malgré le ton positif de son article, que personne ne semble avoir relevé, Altman ne fait rien pour éteindre l’incendie, bien au contraire. Il en rajoute dans les médias, pour dire qu’OpenAI développe actuellement une IA jamais vue. Il tease avec des fraises, des Q* ou je ne sais quelle autre connerie sur Twitter.

Certains plongent littéralement dans le piège qui leur est tendu. Parce qu’Altman n’est pas le dernier des abrutis. C’est un entrepreneur averti, ancien directeur de l’incubateur Y Combinator en Californie. Notre ami Sam sait que c’est son moment, celui de l’IA et, par ricochet, celui d’OpenAI.

Le moment de l’IA, j’y crois aussi, car c’est la plus grande technologie que le Sapiens a créée et qu’on va continuer à améliorer. J’y crois fermement. Mais Altman a d’autres soucis. À peine quelques jours après la sortie de son article, on apprenait qu’OpenAI allait perdre 5 milliards de dollars en 2024.

L’entreprise devient alors “for-profit”, donc plus du tout de but non lucratif ou profit limité. Encore quelques jours plus tard, OpenAI lève de nouveaux fonds, 6,6 milliards ! La CTO Mira Murati, en désaccord avec le virage pris ar OpenAI, quitte alors le navire, comme d’autres avant elle.

C’est quand même dingue qu’en à peine 10 jours, on a :

• Altman qui prévient que l’AGI/ASI va arriver dans quelques milliers de jours,

• Une perte estimée à 5 milliards par OpenAI en 2024,

• Une levée de fonds de 6,6 milliards.

Sam Altman sait que, pour entraîner ses modèles, il a besoin de BEAUCOUP d’argent. Ses discours sur l’arrivée imminente de l’IA ne pourraient-ils pas être simplement des incitations à investir pour des investisseurs voulant faire un gain potentiellement colossal ? Nul doute que si OpenAI développe effectivement une ASI, elle va devenir l’entreprise la plus valorisée au monde.

On est donc loin d’une véritable certitude que l’ASI va arriver, plutôt une bête et stupide recherche d’argent pour continuer à faire vivre son entreprise !

Quand aux 1 000 jours, vous avez compris que certains ont juste menti. Des milliers de jours, cela peut être aussi 2 000 ou 3 000 jours.

Comment une IA fabriquant une usine à trombones pour tuer des humains ?

C’est la première question qu’un rationnel comme moi se pose. Mais comment une “IA usine”, dont le seul objectif est de produire des trombones, peut exterminer les humains ? La vidéo donne quelques explications.

Comme elle est super-intelligente, complètement au-dessus de tout, elle peut aller chercher les ressources ailleurs pour produire ses trombones. Les ressources, c’est tout ce qu’elle peut trouver sur Terre et qu’elle peut transformer en trombones. Cela inclut les êtres vivants, donc le Sapiens, parce que nous sommes des “atomes”.

Ok.

Alors, je comprends que si cette IA est surpuissante, elle pourrait créer des IA à sa guide pour aller chercher lesdites ressources et lui fournir. Ou pas ? En fait, j’en sais rien. Mis à part ce que je viens d’écrire, il n’y a aucune explication rationnelle, aucune causalité directe entre la production de trombones et l’extermination des humains.

Je suis peut-être idiot, pas assez imaginatif.

Non seulement, on a une histoire de science-fiction. Mais en plus, on a un mauvais scénario, sans qu’on arrive à faire le lien entre le début et la fin. Mmm, en fait, on peut.

Une IA, c’est d’abord et TOUJOURS un système construit par le SEUL Sapiens. Et c’est seulement le Sapiens qui lui octroie des “droits d’émancipation”. Et ce n’est pour cela qu’elle serait inarrêtable dans son objectif.

L’objectif d’une IA, vraiment inarrêtable ?

Si la vidéo finit mal, je suis objectif : Ego donne des solutions pour arrêter ou, au pire, ralentir une IA vers son objectif qui lui a assigné. Il donne l’exemple des IA qui se “rebellent”, parce qu’on leur demande de faire quelque chose en particulier et qu’elle trouve tous les stratagèmes pour le faire, y compris à “tricher”.

La solution est alors simple, c’est de superviser de manière plus attentive son entraînement. C’est d’ajouter des instructions précises et des limites durant ce même entraînement. Et au final, c’est à peu près la seule chose à faire, mais il faut le faire bien.

Encore une fois, je répète que le Sapiens est le seul à avoir 100 % du contrôle d’une IA. Nous seuls sommes les décideurs de ce qu’une IA va devenir. Non, ce n’est pas aussi simple que de dire “Ton seul objectif est la production de trombones. Lorsque l’objectif de X trombones par jour / mois / année est atteint, tu pourras alors rester à ce chiffre”. Mais oui, une instruction comme celle-ci permettrait de prévenir la peur des doomers.

Encore une fois, ce n’est pas aussi simple. Mais qu’on vienne me prouver le contraire en commentaire si j’ai tort. C’est simplement une question d’alignement, un terme qu’on a vu et revu.

Et l’alignement dans tout ça ?

L’alignement est, pour moi, une chimère. C’est un débat philosophique, qui peut avoir un petit intérêt, mais qui est presque autant une perte de temps que le débat sur la sémantique de l’expression intelligence artificielle.

Cependant, je reconnais là encore que, dans sa vidéo, Ego donne une bonne définition de l’alignement. Alors que beaucoup insistent sur l’alignement avec les valeurs humaines (j’y viens), lui parle d’un alignement avec les objectifs. Et ça change tout.

L’alignement, c’est simplement que l’IA fasse ce qu’on lui demande, en respectant l’ensemble des consignes et contraintes. Par exemple, mon assistant IA qui me fait des brouillons de posts Linkedin est aligné avec son objectif, parce qu’il le fait bien et ne fait pas autre chose.

Le problème des IA, qui est trop peu mentionné dans la vidéo, c’est que cela reste des robots. Et un robot, qu’on le veuille ou non, c’est bête ! Cela fait ce qu’on lui demande et, surtout, ce qu’il comprend. Les hallucinations de ChatGPT ne sont pas autre chose qu’une IA qui extermine les humains pour produire des trombones. Elle “hallucine” pour arriver au but. C’est d’ailleurs pour ça qu’on insiste lourdement sur le contexte en formation, mais c’est un autre sujet.

Pour qu’une IA soit alignée avec ses objectifs, l’entraînement par petits pas est une très bonne méthode. On fait des tests, on voit ce qu’elle comprend de nos instructions. Si elle fait des erreurs ou “triche”, on corrige. Bien entendu, le but est, qu’à terme, ce travail soit fait automatiquement par l’IA qui s’entraîne seule ou via un entraînement par une autre IA, dont l’objectif serait… d’entraîner les IA !

Contrairement à ce qu’Ego veut nous faire croire, nous avons 100 % du contrôle. Aujourd’hui et demain. Nous sommes les seuls et uniques décideurs des objectifs d’une IA. Donc si l’objectif d’une IA est d’envoyer une bombe nucléaire chez les gens qui répètent “du coup” plus de 5 fois par jour, elle le fera. Bêtement.

Enfin, l’alignement sur les valeurs humaines me fait doucement rire. De quelles valeurs humaines on parle ? À ma connaissance, les valeurs du PC chinois et d’une tribu amazonienne ne sont pas les mêmes. Ni celles entre LFI et le FN d’ailleurs. Je continue à dire qu’un alignement sur les valeurs humaines est impossible, tout simplement parce que je pense que les valeurs humaines universelles n’existent pas. Si le droit à la vie était par exemple une valeur universelle, il n’y aurait pas de guerre.

Et pourquoi l’IA ne serait-il pas bénéfique ?

A la lecture de cette édition, et encore plus avec le dernier paragraphe juste après, vous avez compris que c’est en le Sapiens que j’ai très peu confiance. Or, pour moi, une IA puissante serait bénéfique pour l’humanité.

Mon exemple favori est le climat. On peut discuter des difficultés qu’ont les climatologues à monter des modèles prédictifs de ce qu’il se passera dans 100 ans. Mais, mis à part quelques idiots, tout le monde s’accorde pour dire que le climat change et que ce n’est pas bon. On parle d’un réchauffement de +2 voire +4° en 2100. Perso, je serai plus là en 2100, mais à l’allure où ça va, pourquoi pas +5 ou +6, vu qu’on ne fait strictement rien (ah si, les COP à Dubai ou en Azerbaïdjan où tout le monde vient en jet privé 😂).

Je n’ai aucune confiance en le Sapiens pour corriger ce problème.

D’abord, il est complètement auto-centré. “Il faut sauver la planète”. Non guignolo, la planète a 5 milliards d’années, il a été une boule de feu pendant des millions d’années. Tu penses sérieusement qu’elle a besoin d’être sauvée par une espèce qui est là depuis grosso modo 200 000/700 000 ans (pas clair pour les spécialistes apparemment) pour 4 pauvres degrés en plus ? Redescends. Tu oublies que ce qu’il faut sauver, c’est une “planète habitable pour le Sapiens et la majorité des autres espèces”.

Certains n’y croient plus. Si Elon Musk veut coloniser Mars, c’est pas pour faire joujou avec du sable rouge, c’est qu’il pense sérieusement que la Terre habitable est à terme condamnée. Je suis pas loin de le penser aussi. Je suis certain que les lobbies seront toujours plus forts. Jamais on n’arrêtera de produire plus, consommer plus, faire plus. C’est notre destin et notre façon de faire depuis qu’on existe. Tout cela est dans le livre Sapiens d’Harari. Lisez-le si ce n’est pas fait.

Et si l’IA pouvait réellement nous “sauver” ? Je le pense très sérieusement. Une IA alignée avec cet objectif de préserver une planète habitable pour l’humain, parfaitement entraînée, avec des objectifs précis, des contraintes très contraignantes (genre, exterminer personne), c’est pour moi le seul moyen d’arriver à nos fins à ce sujet. Parce que quand le Sapiens s’apercevra que c’est vraiment la merde, il sera a priori trop tard. J’ai pas encore la réponse de comment on ferait. Mais la solution me semble là.

Moi aussi, je suis un peu utopique. Mais je suis persuadé que, pour les grands sujets, l’IA sera bénéfique.

La réalité : l’IA est là, mais le danger sera toujours le Sapiens

Ce type de vidéos, bien faite, bien montée, bien racontée et de qualité, est peut-être plus dangereuse que la théorie qu’elle promeut. C’est dangereux, car elle aveugle certaines personnes des vrais dangers qui les guettent.

En faisant croire que l’IA pourrait nous exterminer, on en oublie les vrais problèmes actuels et futurs : les guerres, l’appauvrissement général, la stupidité grandissante. Et je n’oublie pas la transformation profonde du monde du travail, notamment causée par l’IA. Mais ce n’est pas la première technologie à bouleverser le monde du travail.

Il va être fortement impacté par cette technologie, qui est peut-être la dernière que l’humain va créer “seul”. C’est ce point qu’il faudra plutôt se concentrer, et pas sur cette connerie d’ASI exterminatrice ! Pourtant, certains semblent complètement passer à côté du sujet et sont obnubilés par ce délire de science-fiction. Le pire ? Ils en oublient même les garde-fous évoqués plus haut.

En tout état de cause, il ne faut jamais oublier une chose. Qu’on le veuille ou non, le seul danger pour l’Homo Sapiens s’appelle l’Homo Sapiens. C’est lui, et lui seul, par son comportement, qui va décider du sort de son espèce. Et c’est notamment lui qui décidera si une IA exterminatrice verra le jour. L’IA n’aura jamais son mot à dire sans l’approbation d’un humain.

Quant à ceux qui ont peur d’une IA exterminatrice comme la plus grande menace qu’ait connue l’humanité, rappelons que Poutine, et bientôt Trump ont entre les mains un arsenal nucléaire capable de détruire l’humanité en quelques heures. Priorisons ce qui compte vraiment.

Voilà, c’est tout pour aujourd’hui, à la semaine prochaine ! 😀