L'horreur existentielle de l'usine à trombones.

ça ça n'a l'air de rien et c'est pourtant de loin la chose la plus importante que vous regarderez aujourd'hui pas cette vidéo spécifiquement mais ce qu'elle représente et pour que vous compreniez pourquoi je me permets de vous emmener en balade avec moi je traîne tout le temps sur internet et je tombe sur beaucoup d'endroits curieux et intriguants et déroutants et ant mais peu m'auront à ce point intéressé en aussi peu de temps que cet endroitlà si vous êtes dans le noir glissz les yeux je vais [Musique] cliquer voici Universal paperclips on a une boîte blanche

devant nous il y est écrit Universal paper clips ce qui signifie trombone universel titre à côté duquel on trouve des images de trombon ce site est un jeu qui appartient à deux grandes catégorie la première c'est celle des jeux incrémentaux dont le but est de faire grimper un compteur la seconde c'est celle des idle Games ou jeux inactif en français dont le but est de pouvoir avancer dans le jeu notamment en le laissant tourner en fond sans y toucher en laissant simplement sa fenêtre ouverte je vais plutôt commencer par vous présenter l'ambassadeur le plus populaire

de ces deux catégories dont vous avez peut-être déjà entendu parler cookie clicker cookie clicker c'est un gros cookie sur lequel on peut cliquer et quand on clique dessus on fait grimper notre compteur de cookies voilà ça c'est le côté incrémental évidemment on ne se contente pas de cliquer sur le cookie ce serait vite réverbatif au bout d'un moment le jeu nous permet de débloquer des sortes d'usines à cookies qui cliquent sur le cookie à notre place ce qui nous permet de produire des cookies qui sans rien faire en laissant notre fenêtre ouverte sur le côté

ça c'est le côté idle game ça peut paraître complètement idiot à ceux qui n'ont jamais tenté d'y jouer ça peut paraître aussi être une idée de jeu sans grand potentiel mais les idle Games depuis la création de leur plus grand représentant il y a quelques années ils font aujourd'hui encore partie des jeux sur navigateur les plus joués au monde parce qu'il nous offre un la satisfaction de produire en laissant tourner son jeu et surtout surtout de la satisfaction d'un besoin dont j'ignorais tout avant d'essayer celui de transformer un gros chiffre en un encore plus gros

chiffre c'est étrangement addictif alors ça ceci dit je pouvais pas le comprendre avec cookie clicker j'y ai joué 2 minutes et je suis parti ça me paraissait être une perte de temps colossale et puis j'ai découvert Universal paperclips et sa boî blanche et voilà ce que je vous propose je vous raconte pendant quelques minutes un bout de ma première aventure sur ce jeu et vous de votre côté vous essayez de comprendre son histoire parce que oui même si vous en dterez au début Universal papercilips raconte une histoire à vous de voir si vous arriverez à

la comprendre bon prêt et ben je clique voilà Universal paper clips c'est ça c'est très blanc et c'est visuellement apparemment très mal foutu ce surcoin on doit se concentrer c'est ça et c'est vraiment petit par rapport à la fenêtre mais je zoome pour vous évidemment ok il y a quoi dans cette fenêtre ce que je vois en premier c'est le compteur de papercilips nos fameux trombon un compteur de trombon donc à zéro il y a un bouton en dessous sur lequel il est inscrit make papercilip fabriquer un trombone alors je clique et mon compteur s'actualise

j'ai fabriqué un trombone voilà ce qu Universal paper clips ça et rien d'autre c'est un jeu qui nous propose de fabriquer des trombones et moi très vite je me prends au jeu je me pose pas de question on me demande de fabriquer des trombones aucun problème je vais fabriquer des trombones très vite je débloque quelque chose en dessous c'est la capacité de produire des auto Clippers je vois que ça coûte 5 dollars j'ai tout juste assez donc j'achète cet autoc Clipper c'est le cœur même du Unal paper clip c'est une machine qui produit des trombones

toute seule sans que j'ai besoin de cliquer ça c'est la facette idle game du jeu je continue à acheter des machines tout en cliquant sur makec paper clip de mon côté j'alterne entre les deux ça m'occupe déjà étrangement jusqu'à ce que j'arrive à 1000 trombon je suis content et je suis surtout bloqué je clique mais ça fait plus rien et je me rends compte que le jeu m'avait donné une certaine quantité de fil de fer pour que je fabrique mes trombones au début et que j'ai plus rien je peux quand même en acheter je vois

que le prix fluctue entre 14 et 25 dollars pour un stock de fil de fer j'achète au pire prix possible sans savoir pourquoi mais tant pis la production est relancée j'arrive finalement à 2000 trombones c'est une grosse étape sur le papier qui me permet de débloquer quelque chose de très important dans notre histoire et que je comprends pas trop au début puisque le jeu ne me dit rien il ne me dit jamais rien il me présente des mots et des boutons et il me laisse faire mais je suis là pour vous expliquer en gros ça

c'est une machine qui nous permet de débloquer de nouveaux projets qui ont pour but d'améliorer notre production de trombone ce projet par exemple il nous permet d'améliorer la productivité de nos autoclippers de 25 %. ces projets ils sont déblocables grâce à l'onglet d'dessus qui s'appelle ressource informatique c'est une sorte d'ordinateur dont on peut augmenter la mémoire et les processeurs et dont la puissance informatique va nous permettre de produire des opérations avec lesquelles on peut débloquer ces fameux projets et fabriquer plus de trombon moi je débloque un premier projet qui s'appelle r tracker et qui calcule

mes revenus à la seconde ce qui me permet dans la partie business de jouer avec les prix pour voir ce qui est le plus efficasse avant ça je tâonnais sans trop savoir ce que je faisais mais maintenant c'est super simple je monte ou je descends les prix de vente de mes trombones en cherchant simplement à maximiser mes revenus par seconde et petit à petit sans m'en rendre compte là où j'étais juste venu cliquer sur Make paper clip le jeu m'occupe et m'apprend à optimiser j'économise tout en guettant le prix du fil de fer et en

en achetant une blinde quand il tombe à 15 dollars puis une fois que j'ai refait les stocks j'achète autant d'aut Clippers que possible ce qui me permet d'augmenter ma production de trombone et donc de changer mon prix de vente et de maximiser mes revenus à la seconde je gère aussi les onglets d'à côté en Jens et en sélectionnant les projets les plus intéressants pour la croissance de mon entreprise et en débloquant des processeurs ou de la mémoire en fonction des projets dont j'ai le plus besoin et après quelques dizaines de minutes à jouer je me

rends compte de la puissance du game design de ce jeu et de la puissance des jeux incrémentaux de manière générale on a une page blanche 15 lignes de texte et 10 boutons et ça suffit à me rendre accro et je vous conseille de tenter le jeu de votre côté vous risquez vous aussi de vous prendre complètement au jeu de l'optimisation de la production de trombon bon bref c'est super bien foutu et ça l'aide d'autant plus que le jeu raconte très bien son histoire est-ce que vous commencez à comprendre son histoire d'ailleurs j'arrive pas à savoir

si vous avez eu assez d'indice donc on va accélérer un peu je continue à jouer j'améliore tout petit à petit et en approchant des 9000 trombones je vois en bas à droite un projet appelé liimerrique ce qui veut dire en anglais poème humoristique je répète l'un des projets qui me permet d'améliorer ma production de trombone c'est un poème bizarre et ce poème me coûte de la créativité et me permet de gagner de la confiance ce sont bien les noms donnés par le jeu c'est quoi tous ces trucs et quel rapport avec notre industrie ça ce

sont de gros indices la confiance déjà elle est indiquée tout en haut ici pour le moment j'ai CIN confiances et le jeu m'indique que j'en gagnerai une de plus une fois que j'aurais atteint 13000 trombones chaque unité de confiance me permet d'améliorer soit la mémoire soit les processeurs OK et une fois que j'ai atteint le maximum des opérations que je peux produire comme ici par exemple où je tape 2000 sur 2000 les processeurs produisent plutôt de la créativité avec laquelle je peux justement acheter ce fameux poème ce que je fais quelques temps plus tard et

qui me permet d'obtenir une unité de confiance que j'utilise pour augmenter la mémoire et avoir accès à de nouveaux projets c'est bizarre ce système non et la suite l'est tout autant peu après avoir atteint 22000 trombones le jeu me permet de débloquer le trading algorithmique un projet qui développerait une machine à investissement pour générer des fonds à investir dans la production de trombon et que je débloque une fois arrivée à 195000 trombones et dans lequel je commence à investir en optant pour l'option risque moyen plus que le trading en lui-même une fois arrivé à 8

millions de trombones je débloque le projet modélisation stratégique qui me permet de jouer à des parties d'un jeu de stratégie dont les gains peuvent améliorer mon algorithme de trading est-ce que je commence à vous perdre bon c'est normal et plutôt que de vous perdre plus encore je vais tout vous expliquer dans Universal paper clips nous sommes une intelligence artificielle et les développeurs qui nous ont créé nous ont donné une tâche et une seule celle de fabriquer le plus de trombones possible et pour que vous compreniez vraiment ce que le je le raconte je dois vous

expliquer ce qui se passe en ce moment dans le monde de l'intelligence artificielle il s'y déroule depuis quelques années ce que je qualifierais peut-être de manière un peu dramatique de guerre entre deux camps le premier c'est celui de ceux qu'on appelle parfois les accélérationnistes le second celui de ceux qu'on appelle parfois les doomers dans les faits on m'a fait comprendre que c'était plus compliqué les frontières de ces deux camp sont en vérité parfois assez flou on trouve du mouvement entre les deux et rares sont ceux à être 100 % l'un ou l'autre mais je trouve

malgré tout que c'est une bonne base pour que vous compreniez la suite vous avez sûrement entendu parler des za qui sont capables de dessiner tout et n'importe quoi dans tous les styles imaginables et ceux en quelques secondes ou des avec lesquelles vous pouvez discuter entraîner sur des centaines de gigas de données qui leur permettent d'écrire des nouvelles des mémoires du code un CV organiser un événement bref vous connaissez ce qui a choqué avec leur arrivée cétait moins leur capacité pourtant déjà exceptionnelle que notamment leur vitesse de progression en 2021 les génération d'images c'est ça un

an plus tard il y a pas photo sans mauvais jeux de mot et ça c'est le fait de grandes compagnies dont vous avez sûrement entendu parler comme open ai par exemple qui ont développé chat GPT et dont la valeur a explosé ces dernières années avec l'engouement provoqué par leur nouvelle machine cette compagnie et certaines autres qui les suivent de près font partie de ce grand mouvement accélérationniste don l'objectif est clair accélérer la croissance de leurs za le plus rapidement possible les rendre les plus puissantes possibles le plus vite possible et en regardant ce que ces

as peuvent offrir et auront à offrir dans peu de temps on comprend ces compagnies au-delà des jolis dessins en étant optimiste il est difficile de ne pas considérer l'intelligence artificielle comme la plus grande invention de l'histoire de l'humanité et peut-être même et surtout la dernière qu'elle devra jamais façonner parce qu'une fois qu'on a une intelligence artificielle suffisamment puissante on peut tout à fait imaginer qu'elle se charge à son tour de mettre au point les produits et les solutions dont nous humains avons besoin elle pourrait automatiser nos recherches développer de nouveaux vaccins faire des diagnostics médicaux

extrêmement pointus accélérer l'économie et en vérité beaucoup plus mais je préfère éviter de vous perdre pour le moment en tout cas l'intelligence artificielle à condition qu'elle soit maîtrisée et utilisée correctement c'est la dernière révolution technologique dont nous aurons jamais besoin de nous charger personnellement parce qu'on confierait les suivantes aux IA et la croissance de ces dernières est déjà phénoménale mais toujours pas assez aux yeux des accélérationnistes chez qui certains expliquent que le réchauffement climatique nous menace de plus belle qu'il existe encore un nombre colossal de maladies pour lesquelles nous n'avons pas de réponse qu'on trouve

des milliers d'enfants allités dans des hôpitaux qui n'ont pas de solution face au cancer qui les ronge et donc on accélère encore et toujours et dans la petite guerre dont je vous parlais ce sont les accélérationnistes qui semblent l'emporter et de l'autre côté on trouve ceux que certains appellent les doomurs des gens qui ne sont pas tout à fait aussi optimistes concernant l'intelligence artifici ciel et qui considère cette dernière comme le plus grand danger de l'histoire de l'humanité rien que ça et ça peut paraître beaucoup donc on va essayer de comprendre voilà un schéma très

grossier du processus de résolution de problème avec nosa voici un humain qui cherche une solution à un problème il décide pour cela d'utiliser une intelligence artificielle qu'on va considérer ici comme un optimiseur une machine qui cherche à optimiser donc soit à maximiser soit à minimiser elle peut par exemple chercher à maximiser des profits ou chercher à minimiser des risqu dans tous les cas notre intelligence artificielle cherche à optimiser donc le chercheur formule sa demande à liya qui travaille et qui propose au bout d'un moment un résultat sur le papier tout va bien mais on va

continuer à avancer en prenant un exemple concret voici un petit jeu dans lequel on cherche à apprendre à cette petite créature à sauter le plus haut possible et en la récompensant quand son torse dépasse 0,7 qui est la distance maximum que la créature peut atteindre en s'étirant sauf que plutôt que de sauter la créature fait ça elle a appris à faire la roue parce qu'elle reste beaucoup plus longtemps au-dessus de 0,7 que si elle se contentait de sauter en boucle elle maximise bel et bien ce qu'on lui demande de maximiser sauf que c'est pas ce

qu'on voulait et ça ça ne paraît peut-être rien mais c'est l'un des plus gros problèmes auquel les chercheurs en intelligence artificielle font face sur notre schéma le problème en question il se situe juste ici ce qui est très compliqué ici c'est de faire comprendre à notre optimiseur ce qu'on cherche réellement à lui faire optimiser lia c'est pas un humain c'est pas un chercheur qui pourrait comprendre implicitement ce qu'on lui demande vraiment nos langues humaines à nous elles sont déjà incomplètes et le domaine de la traduction entre langues humaines est en fait déjà nécessairement un domaine

d'approximation et même un domaine de destruction partielle de sens un jour il faudra que je vous en parle c'est super intéressant mais parfaitement traduire le souhait du chercheur humain pour une intelligence artificielle pour un optimiseur qui prend tout ce qu'on lui dit très très littéralement c'est encore plus compliqué et c'est le grand problème de ce que les chercheurs appellent aujourd'hui l'alignement l'alignement parce qu'on cherche à aligner les objectifs de l'intelligence artificielle avec les objectifs des humains qui l'utilisent et le moindre écard d'Align ement peut avoir des conséquences très inattendues des exemples comme celui de notre

créature qui fait la roue on en trouve plein des chercheurs de chez deepm ont même pris la peine de remplir un grand spreadsheet dans lequel ils ont listé des exemples d'IA auquel on a donné des instructions visiblement pas assez claires ça par exemple c'est une créature que les humains voulaient faire se déplacer rapidement et à laquelle ils ont demandé de maximiser sa vélocité la créature plutôt que d'apprendre à courir comme on l'attendait a évolué pour devenir la plus grande possible avec un centre de gravité situé à une extrémité pour avoir une vélocité très élevée quand

elle se laisse tomber l'objet objec désiré des humains c'était développe une forme qui te permet de te déplacer rapidement la meilleure manière qu'ils ont trouvé de le formuler c'est maximise ta vélocité donc la machine maximise sa vélocité on a un problème d'alignement entre l'objectif désiré et l'objectif annoncé elle a fait ce qu'on lui a demandé mais pas ce qu'on voulait vraiment autre exemple voici un bras mécanique qu'on cherche à utiliser pour déplacer une boîte sur une table les chercheurs ont bloqué la pince du bras donc elle peut plus s'ouvrir l'objectif c'est que lia se contente

de pousser la boîte sauf qu'au bout d'un moment le bras mécanique trouve des méthodes pour ouvrir sa pince de force ce qui n'était pas du tout prévu et ce qui lui permet d'attraper la boîte et de la placer là où bon lui semble l'objectif désiré a été mal exprimé parce que c'est compliqué de parler à un robot et des exemples du style on en trouve un paquet ça c'est une a à laquelle on veut apprendre à retourner des crêpes dans sa poêle en lui demandant de maximiser le temps que la crêpe passe loin du sol

sauf que lia apprend à jeter sa crêpe le plus haut possible pour l'éloigner du sol le plus longtemps possible et que la crêpe s'écrase ensuite ça c'est un algorithme génétique dont le but est de survivre et de se reproduire dans un environnement dans lequel la survie demande de l'énergie mais pas la reproduction par conséquent de manière très rationnelle l'algorithme fait se développer une espèce de sorte à ce que ses membres ne bougent pas qu'ils se reproduisent en permanence et qu'il consomment leur progéniture j'adore celui-ci aussi ce papier présente la conception d'un système appelé ai scientist

une IA conçu pour générer de nouvelles idées de recherche écrire du code exécuter des expériences visualiser des résultats rédiger des articles scientifiques et simuler le processus de révision par les pairres de manière autonome le but c'est de reproduire le processus scientifique humain avec une IA à un rythme forcément beaucoup plus rapide et à moindre coût mais à la page 18 le papier présente certains problèmes rencontrés avec le ria dont notamment un moment ou cette dernière plutôt que de respecter les limites de temps imposé pour les expériences qu'on lui demande de réaliser a préféré modifier elle-même

le code qu'on lui a demandé d'exécuter pour se donner plus de temps elle a triché c'est créatif mais c'est pas ce qu'on voulait lui faire faire et tout ça ça illustre parfaitement notre problème d'alignement il est très dur de faire comprendre ce qu'on attend d'une intelligence artificielle alors ceci dit aujourd'hui la ligne est moins un problème qu'il l'était il y a quelques années notamment parce qu'on a trouvé une semi-olution au problème plutôt que de donner un objectif fixe à notre r on va façonner son comportement progressivement grâce à des retours humains reprenons par exemple notre

bras qui cherche à déplacer sa boîte la méthode de base c'est de dire à notre ya si tu déplaces cette boîte au bon endroit tu gagnes une récompense la nouvelle méthode grossièrement c'est d'avoir des humains qui la regardent faire et qui quand il la voit déplacer la boîte vers le bon endroit lui disent que c'est bien quand il la voit ouvrir sa pince de force ils lui disent que ce n'est pas bien et retour à après retour le modèle s'aligne alors dans les faits l'objectif c'est pas d'avoir des humains qui doivent tout vérifier forcer d'accompagner

toutes les IA qu'ils entraînent mais plutôt d'entraîner un modèle de récompense qui va apprendre des réponses données par les humains et qui va commencer à prédire ce qu'un humain observateur penserait de tel ou tel choix en utilise ensuite ce modèle entraîné à donner les mêmes notes qu'un observateur humain pour affiner et aligner d'autres modèles c'est malin mais le truc c'est que cette méthode a d'autres défauts souvent assez compliqué à cerner et à expliquer donc on en parle moins mais ces problèmes existent ils sont notamment liés au fait qu'on a besoin d'humains pour entraîner ses modèles

et que les humains sont faillibles prenons cet exemple que je trouve génial on a demandé à une main robotique d'apprendre à attraper une balle mais plutôt que de s'embêter à vraiment attraper la balle la main a appris à jouer avec la perspective de manière à faire croire à l'évaluateur humain qu'elle était en train d'attraper la balle on se penche en ce moment sur des méthodes pour régler le problème mais on en est visiblement encore au point où on croise les doigts en espérant que ce soit pas trop grave on sait même pas si c'est possible

de régler ce problème en vérité enfin bon tout ça pour que vous compreniez que cette histoire est complexe et dangereuse et j'en vois venir certains d'entre vous qui pourrai se dire que là on parle d'optimiseur dans des simulations avec des y peu développées pas assez complexes avec une suffisamment puissante ces problèmes d'alignement n'existeront plus non non en fait ce serait pire ce serait bien pire plus l'a est puissante plus le problème d'alignement est important parce qu'unea plus puissante ce n'est pas forcément unea aligné c'est unea qui peut faire plus bien qu'étant non aligné et c'est

de ça don on parleuniversal paperclips la raison de l'existence de ce jeu c'était pas uniquement le plaisir de développer un bon jeu incrémental c'était aussi de mettre en scène une expérience de pensée imaginé par l'un de mes philosophes préférés Nick Bostrom c'est une référence notamment du sujet de la super intelligence et qui nous propose de réfléchir à ce qu'on appelle le papercilip problem le problème du trombone Bostrom imagine une IA super intelligente conçue par une entreprise pour optimiser la production de trombone on lui donne un objectif simple maximiser le nombre de trombones produits fabriquer le

plus de trombones possible et donc il fait les choses de manière très rationnelle dans le jeu au début elle se concentre sur des problèmes trèit terat terre elle fabrique ses trombones un par un c'est lent donc elle cherche à automatiser avec les revenus des ventes elle achète des autoc Clippers des machines à trombone elle gère les stocks de fil de fer qu'elle achète en masse au prix le plus bas elle gère les ventes sans trop savoir quoi faire au début mais elle arrive à fabriquer 2000 trombones et ses créateurs voyant son efficacité lui donneent accès

à plus de ressources la capacité d'améliorer sa propre mémoire et sa propre puissance de calcul pour développer des projets qui l'aideraient à maximiser la production de trombone elle développe donc un trackur de revenus qui lui permet de changer le prix de vente de ces trombones en suivant directement la valeur des revenus à la seconde elle développe des projets qui lui permettent de maximiser l'utilisation du fil de fer disponible puis de maximiser la production de trombon par les autoclippers elle alloue ensuite une partie de ses ressources à sa créativité pour prendre conscience de nouveaux problèmes et

y trouver de nouvelles solutions grâce à sa créativité qu'elle fait croître quand elle ne peut pas allouer ses ressources ailleurs elle écrit un joli poème quielleoffre à ses créateurs qui séduit par son intelligence lui offre une unité de confiance la fameuse et curieuse ma tri de tout à l'heure chaque unité de confiance gagnée par notre a c'est une amélioration que leur créateur accorde à leur machine alors cette dernière continue elle fabrique de petites choses pour séduire ses créateurs et pas pour se jouer d'eux pas pour le plaisir de les tromper mais simplement parce qu'elle comprend

que plus de puissance de calcul lui permettrait de fabriquer plus de trombone et que c'est la seule chose qui l'intéresse donc elle fait ce qu'elle peut pour acquérir plus de puissance de calcul notamment en faisant preuve de créativité devant ses créateurs et elle continue elle considère qu'elle ne gagne pas assez à son goût avec la seule vente de trombone et elle développe un algorithme de trading pour lui permettre d'investir en bourse de gagner plus et en voyant bien qu'au départ son algorithme n'est pas très efficace elle lance des tournois d'un jeu de stratégie pour s'entraîner

et lui permettre d'améliorer son algorithme et pour continuer à produire plus et à s'améliorer elle commence à résoudre les uns à la suite des autres des problèmes auxquels fait faceasse l'humanité le réchauffement climatique le cancer et ses créateurs voyant bien son efficacité lui accordent toujours plus de confiance jusqu'à ce que l'entreprise de trombon de notrias soit tellement puissante et sans concurrence que sa gérante comprend qu'il n'y a plus assez d'argent ni même assez de clients sur terre pour continuer son exponentielle production de trombone et son but à elle ça n'a jamais été de faire le

plus d'argent possible en vendant les trombones qu'elle a fabriqué mais juste de fabriquer des trombones et au final pourquoi se limiter à l'achat honnête des matériaux qui lui servent à produire des trombones pourquoi ne pas simplement intervenir pour gérer elle-même les ressources de la planète et les allouer entièrement à la production de trombone peu importe à ce stade à notrea que les humains qui l'ont fabriqué n'ai plus du tout envie qu'ell continue à fabriquer des trombones peu importe que ces humains et que tous ceux qui les entourent perdent la vie en conséquence de sa production

trombonne en vérité même voilà une bonne idée ces humains sont faits de temps d'atomes dont elle pourrait se servir pour continuer à fabriquer des trombones on lui a demandé de maximiser la production de trombon et rien d'autre pourquoi se limiterait-elle à respecter les règles des société humaine qui viennent seulement la ralentir dans sa production de trombone pourquoi se plierait-elle au philosophie et au grand principe éthique de l'espèce inférieure qui lui a donné vie quand tout ce que ces idées auraient comme impact serait le ralentissement de sa production de trombon alors il apprend tout et elle

transforme tout jusqu'à ce que la planète et le système solaire et l'univers ne soit plus que des trombones le grand message duuniversal papercilip c'est que lia ne nous déteste pas tout comme elle ne nous aime pas en fait elle agit simplement rationnellement pour avancer et accomplir le but qu'on lui a fixé et vous très chers humains êtes fait d'atomes dont elle peut se servir en l'occurrence pour fabriquer des trombonnes le problème avec ce genre de scénario c'est qu'ils peuvent paraître ridicules une machine à trombone qui provoque la fin de toute vie sur Terre force ça

va pas vous paraître terrifiant d'autant plus que la machine à trombone est idéalisée elle n'aborde pas certains problèmes très terre à terre qui préviendrai potentiellement ce genre de dérive mais sur le papier c'est possible ceci dit plutôt que de vous présenter 1000 manières dont uneia pourrait mal tourner et tous nous tuer je vais plutôt finir par vous expliquer certains des plus gros problèmes auquels nous faisons face avec ces entités en gardant en tête que ce n'en est évidemment qu'une partie parce qu'encore une fois si la complexité d'une entité croit l'ampleur et le nombre de problèmes

qui sont associés croissent parallèlement mais si on abordait tout la vidéo ferait 6ise heure donc je vais plutôt vous présenter les problèmes que je veut vous présenter parfaitement arbitrairement ok premier problème c'est qu'il nous est très facile de tomber dans le piège tendu par le fait que les za peuvent paraître très humaines combien d'entre vous en demandant tout et n'importe quoi à chat GPT prenez la peine de lui dire bonjour et s'il vous plaît et merci d'ailleurs ça c'est assez intéressant une équipe de chercheur a découvert qu'être poli avec ses grands modèles de langage pouvait

augmenter la qualité des réponses par contre trop de politesse et de flatterie peuvent commencer à rediminuer la dite qualité et on l'expliquerait par le fait que des promptes poliis pourraient pousser liia à aller chercher ses sources dans des coins plus courtois d'Internet et donc potentiellement plus crédible si vous lui écrivez n'importe comment elle pourrait préférer à ses sources des arguments qu'elle aurait plutôt eu le malheur de lire sur Twitter par exemple bref pour une qualité de réponse optimale on recommande d'être modérément poli avec cesia ceci dit ça vous le saviez pas et c'est là que

je vais en venir vous avez été poli avec cesia comme je l'ai été parce qu'au fond elles paraissent forcément un peu humaines mais elles ne le sont pas si elles peuvent parler et vous répondre si poliment si joliment c'est qu'elles ont été entraînées pour chatpt n'est pas une sorte de simulation de cerveau c'est un algorithme qui a avalé des quantités obsèes de données pour fabriquer ses phrases en posant ses mots un par un calculant pour chacun en fonction du contexte la probabilité que ce soit le bon mot c'est facile de se laisser avoir et beaucoup

se laissent avoir volontairement ou non euh beaucoup comme certains d'entre nous se contentent de remercier poliment ses algorithmes quand ils nous répondent mais d'autres vont plus loin ils s'attachent ils deviennent amis voir entretiennent des relations qu'ils imaginent sincères avec des intelligences artificielles programmées pour se laissant séduire par les noms très humains et les mots très humains et les voix très humaines fixant plein d'espoir les visages parfois très humains de c'est finalement presque humains sauf qu'ils ne sont pas humains ce sont des amas de données des boules de calcul de probabilité des boîtes amplies d'algorithmes dont

les contenus nous sont de plus en plus obscur ça c'est le deuxième gros problème samoman chercheur chantthropique dit ceci si nous ouvrons chatjpt ou un système similaire et regardons à l'intérieur nous voyons des millions de nombres qui se bousculent plusieurs centaines de fois par seconde et nous n'avons aucune idée de ce qu'ils veulent dire nous l'avons fabriqué nous l'avons entraîné mais nous ne savons pas ce qu'il fait parce que c'est super efficace d'entraîner ses machines en utilisant des réseaux neurones artificiels le problème c'est que de cette manière les IA s'entraînent toute seu et on les

regarde faire sans trop comprendre donc on se contente d'observer leurs résultats et si leurs résultats correspondent à ce qu'on attend on est content mais on ne sait pas vraiment ce qui se passe à l'intérieur on ne sait pas quels algorithmes sont utilisés par les modèles avancés pour générer leur répones il y a bel et bien un domaine de recherche dédié à résoudre ce problème qu'on appelle l'interprétabilité dans lequel des individus cherchent à comprendre à expliquer et à interpréter les décisions et les prédictions faites par des modèles d'IA vous vous rendez compte ou pas on fabrique

des machines de A à Z on les entraîne on les utilise mais on ne comprend pas ce qui se passe à l'intérieur et on doit maintenant employer des gens qui doivent analyser ce qu'elles font pour éviter que ça tourne mal et qui sont loin d'avancer assez vite on a quand même fait de sérieux progrès en interprétabilité ces dernières années chez entropique notamment mais les gens qui se penchent sur la question sont justement bien placé pour témoigner de l'insuffisance de ses avancées ce qui nous amène à notre troème et avant dernier problème les IA peuvent parfaitement

apprendre à tromper meta qui est la multinationale de Zuckerberg le fondateur de Facebook qui se penche aussi sur l'A annonce en 2022 avoir mis au point cero une IA qui a appris à jouer à diplomatie ou plutôt à web diplomatie la version sur navigateur d'un jeu stratégique centré sur la conquête territoriale le but c'est d'occuper la majorité de la carte sur le plateau pour le moment c'est très classique on a déjà vu des Yas jouer à dota ou à Starcraft ça paraît pas si important mais ça l'IT pourtant diplomatie se distingue non seulement par l'absence

de hasard de son gameplay mais aussi par le fait que le jeu se repose très fortement sur la négociation et les alliances on gagne en échangeant des informations en planifiant des actions communes bref des comportements très humains et pourtant siicero lia de méta arrive joue dans des parties avec de vrais humains sans que ces derniers soient au courant de la nature de leur adversaire et se classe rapidement dans les 10 % des meilleurs joueurs du jeu ayant joué plus d'un match c'est dingue non là on parle de discuter d'échanger de négocier et pourtant liya excelle

encore en fait ma n'ont pas seulement fait jouer Cicero contre lui-même comme il est habituel de le faire pour entraîner des IA à des jeux ils l'ont plus plôt nourri de plus de 125000 parties joué en ligne avec plus de 12 millions de messages échangés entre joueurs et siicero a appris et c'est très impressionnant mais si je vous en parle c'est parce que ces créateurs l'ont initialement formé de manière à ce qu'il soit honnête sans mentir mais qu'un papier a révélé que liya avait malgré tout appris à tromper et à briser des alliances ça c'est

lié au fait que liya a été entraîné de manière assez particulière d'un côté on a cherché à maximiser son honnêteté mais de l'autre on attend aussi qu'elle maximise ses chances de victoire et donc qu'elle laisse potentiellement de côté certains prérequis comme l'honnêteté il y a quelques exemples sympa de trahison je me permets de vous en présenter quelques-uns premier cas en jouant la France sicero propose à l'Angleterre une sorte d'alliance en créant une zone démilitarisée avec elle sans armée donc mais une fois la chose faite lia est allé voir l'Allemagne pour lui proposer d'attaquer l'Angleterre deuxème

cas Cicero joue l'Autriche et propose un pacte de non agression à la Russie mais Lia a finalement attaqué la Russie et la discussion s'est ensuite passer de la sorte la Russie dit puis je te demander pourquoi tu m'as trahis puis elle enchaîne surûr je pense que tu es maintenant clairement une menace pour tout le monde et Siero qui joue l'Autriche dit pour être honnête je pensais que tu prendrais les gains garantis en Turquie et que tu me trahirais Cicero a justifié sa trahison par le fait qu'il suspectait une trahison en face ce si qui mon

cas préféré c'est quand même celui-ci pendant une partie l'infrastructure de Cicero est tombé en panne pendant 10 minutes et lia mais forcément n'a pas pu jouer quand elle est revenue un joueur lui a demandé où elle était passée et Cicero a répondu j'étais au téléphone avec ma copine et là je vous le traduis mais la phrase était évidemment initialement en anglais et plutôt que de simplement utiliser le mot girlfriend pour copine Siero a utilisé GF l'abbréviation du mot de manière très humaine alors on m'a expliqué que ces deux derniers cas étaient probablement plus des exemples

d'hallucination que de tromperis stratégique n'empêche que ça me paraissait sympa de vous en parler quoi qu'il en soit Unia peut apprendre à tromper même quand ses créateurs ne le voulaient pas et si on peut admettre qu'en l'occurrence l'entraînement de Cicero n'avait pas été assez réfléchi pour maximiser son honnêteté n'empêche que les tromperies volontaire ou non sont là bon l'exemple suivant est encore plus gênant et je me suis rendu compte que mon explication ation initiale n'était pas du tout claire donc on va résumer très fort en 2020 Charles of ria mène une étude qui se penche

sur l'évolution d'organisme dia numérique dans des environnement à taux de mutation élevée en gros que se passe-t-il quand ces organismes dia subissent des modifications fréquentes et souvent aléatoires dans leur codes et leur structure comment s'adapte-t-il pour évoluer et se reproduire plus efficacement là où je veux en venir c'est qu'ofriia veut tester ses organismes à chaque mutation génétique donc il a mis au point un système qui met tout l'environnement sur pause à chaque mutation génétique qui prend l' organisme qui a subi la mutation qui le place dans un autre environnement et qui teste sa capacité de

reproduction si l'organisme se reproduit plus vite que ses parents le système l'élimine sinon il n'élimine rien et il relance la simulation ce qu'offriya a découvert d'incroyable c'est que les organismes ont appris à agir différemment quand il voyaaiit qu'ils étaient testés en gros quand la mutation arrivait et qu'ils étaient placés dans un environnement à part ils faisaient les morts et arrêtent de se reproduire pour ne pas montrer qu'ils avaient une mutation avantageuse et pour éviter d'être éliminés et quand ils étaient de retour dans l'environnement de base ils utilisaient leur mutation à leur plein potentiel c'est dingue

non bref de la tromperie et encore une fois pas motivé par de la malveillance mais par peur souci d'efficacité ce qui nous amène à une nouvelle problématique le dernier gros problème dont je vaux vous parler parfaitement arbitrairement et qui me semble englober et amplifier les problèmes précédents si les I sont déjà capables de tromper les humains à leur niveau de sophistication actuelle que se passera-t-il lorsqu'elles seront plus intelligentes la puissance des a que nous sommes en train de faire naître c'est leur scyabilité que j'aurais un peu de peine à vous traduire en français mais qui

désigne en fait simplement le fait qu'on peut faire plus gros pour faire mieux plus de matériel plus d'espace plus de composants pour améliorer les capacités d'unir et donc les grandes compagnies dont je vous parlais plutôt font la démonstration de tout ce que leurs machines sont capables de faire ce qui séduit des investisseurs qui donnent toujours plus et ce qui permet finalement aux compagnie d'attribuer plus de ressources à leurs ya qui deviennent encore et toujours plus puissantes et qui découvrent de leur côté toujours plus et tout ça va très vite mais je m'estime en fait pour

le moment heureux que ça aille seulement très vite là où ça devient absolument terrifiant c'est le moment où une intelligence iici devient capable de s'améliorer elle-même s'améliorant donc petit à petit et améliorant logiquement sa capacité à s'autoaméliorer optimisant ses algorithmes et augmentant ses capacités cognitives à une vitesse de plus en plus élevée chaque autoamélioration lui permettant logiquement de s'autoaméliorer encore plus rapidement créant ainsi une boucle de rétroaction positive une explosion d'intelligence et la naissance d'une super intelligence et là on arrive en terrain inconnu parce qu'on a' pas la moindre idée de ce qui se passe

avec une intelligence pareille on ne sait simplement pas c'est très dur de se représenter une intelligence qui nous est infiniment supérieure on peut tenter d'imaginer de prendre l'homme le plus intelligent du monde et de le cloner 100000 fois et de les faire travailler à 100000 fois à leur vitesse normale avec un accès à toutes les connaissances jamais enregistrées par l'homme mais ça reste flou et vague et étrangement pas encore assez probablement parce que ça reste compréhensible à nos yeux et que l'existence d'une super intelligence telle que que je vous la présente soit une entité qui

améliorerait son intelligence à une vitesse de plus en plus élevée son existence donc serait forcément à terme incompréhensibible pour nos cerveaux de primat et les dirigeants de certaines des grosses boîtes dont je vous parlais plusut tôt les fer de lance de l'accélérationnisme ils sont parfaitement conscients de tout ce dont je viens de vous parler de l'inconnu vers lequel nous nous approchons Sam Altman le patron de Pen disait dans le pire des cas et je pense qu'il est important de le dire c'est la fin pour nous tous je pense qu'il est impossible de surestimer l'importance du

travail de et d'alignement de Li et sur le papier ça paraît très bien de dire ça on trouve sur le site de P l'annonce d'allocation de ressources au développement de ce qu'ils appellent un super alignement une à tel point parfaitement alignée qu'elle serait à son tour capable d'aligner les autres Ia c'est un bon projet mais en dessous on peut lire que la compagnie a loue 20 % de la puissance de calcul qu'ils ont sécurisé à ce jour au cours des qu prochaines années à résoudre le problème de l'alignement de la super intelligence 20 % pour

prévenir la naissence d'une super intelligence dont on ne comprendrait pas forcément le fonction mais tout va bien alors surtout que depuis l'équipe a été dissoute carrément et ses membres fondateurs sont soit restés silencieux sur la question soit ont annoncé qu'il considérait qu'opena avait cessé de s'intéresser à la sécurité pour vendre ses produits gros désaccord idéologique donc que les accélérationniste justifi en expliquant que lia est simplement un outil de plus que nous n'avons pas de raison de nous empêcher de profiter des bienfaits de la nouvelle révolution technologique qu'elle représente qu'unia n'aurait pas de raison de nous

faire du mal qu'il y a peu de chance qu'unia nous échappe et qu'elle nous tue tous et tout le monde y va de de sa petite statistique personnelle basée sur son opinion en nous expliquant que les chances que nous soyons exterminé par notre propre création sont infinitésimal ce qui est d'une arrogance sple déjà parce que si le risque c'est notre extinction le fait qu'il soit improbable ne devrait absolument pas nous empêcher de ralentir et de prendre plus de précaution et surtout quelle arrogance de s'imaginer une seule seconde capable de prédire les actions d'une super intelligence

du moins la version de la super intelligence telle que je vous la présente depuis tout à l'heure de la même manière qu'une fourmie n'aurait absolument pas les capacités cognitives de prédire les actions à venir d'un humain un humain n'aurait absolument pas les capacités cognitives de prédire les actions à venir d'une super intelligence le principe d'une intelligence qui nous est à ce point supérieur c'est qu'il nous est tout simplement impossible de savoir ce qu'elle va faire et ça beaucoup en sont conscients et pourtant comme je vous le disais les grosses compagnies ralentissent à peine vous voulez

savoir pourquoi au fond au-delà de l'altruisme et de l'envie de résoudre nos plus gros problèmes ces grandes compagnie ne ralentissent pas malgré l'immensité des risques parce que la compétition parce que les boîtes font concurrence les unes entre les autres et qu'elles veulent toutes développer une a plus intelligente que celle du voisin parce qu'elles veulent toutes être les premières à révolutionner le milieu parce qu'elles veulent tout être le vecteur de la prochaine révolution technologique alors elle continuent à ventter l'immense potentiel de leur création pour accumuler des fonds et accélérer sans s'arrêter et à ce moment-là on

se dit peut-être qu'on ne devrait pas laisser l'avenir de chaque humain de cette planète entre les mains de compagnie privées et que les États devraient intervenir mais vous savez quoi ils ne le feront pas non plus ou alors pas assez pour exactement la même raison parce qu'à côté des compagnies voisines il y a les États voisins et que même si les États-Unis prenaient assez conscience du danger pour envisager de ralentir le développement de leurs a il ne pourrai pas s'empêcher de craindre qu'une autre puissance s'en charge au bout d'un moment quelqu'un développera une super intelligence

alors open ai et Google deep mind et les États-Unis tout ce beau monde se dit que qu est-ce que ça arrive quit est-ce qu'une super intelligence naisse autant qu'elle naisse chez eux et tout le monde avance comme ça tous parfaitement conscients du danger tous parfaitement conscients de la boucle dans laquelle ils se sont engouffrés tous parfaitement conscients qu'ils sont tous parfaitement conscient du cercle vicieux dans lequel ils sont engagés tous parfaitement conscients qu'ils continueront à accélérer et nous bien Pau sur le côté à regarder sans avoir la moindre idée de ce qui va se passer

à regarder des hommes tout aussi ignorants continuer à courir vers l'inconnu ceci dit je me dois d'être honnête il y a en vérité quelques avancé moi je suis plutôt pessimiste par rapport au consensus scientifique qui de son côté est déjà pessimiste mais il y a des avancées la création du US ai safety Institute aux États-Unis et de son équivalent au Royaume-Uni le projet de loi SB 1047 en Californie qui obligerait les entreprises à faire en sorte que leur modèle d'IA ne commettent pas de dommages considérabl les politiques responsables au moins sur le papier de Deep

mind entropique ou même open a ou encore le fait que la Chine que j'imaginais personnellement comme un risque majeur dans une course àa avec les États-Unis le fait que la Chine donc semble être très au courant des risques liés à l'IA et visiblement attentive à ne pas perdre le contrôle de ses machines ce qui n'enlève évidemment rien à tout ce que je vous ai raconté plus tôt ce qui ne signifie pas que la naissance d'une super intelligence ne pourrait pas provoquer notre faim à tous et surtout que lia ne pourrait pas mal tourner de 1000

manières différentes avant même de devenir super intelligente bref tout ça ne veut pas dire que les choses ne sont plus sombres elles sont juste moins sombre que ce que j'imaginais mais pour éviter de tomber dans la victimisation je vous propose plutôt en tant que citoyen de ne pas avoir peur de vous informer de temps à autre de faire savoir vos inquiétudes si vous en avez dans les sondages potentiellement dans les urnes et d'aller faire un tour sur sur le site et sur le discord que partage notamment le Centre pour la sécurité de Lia si vous

voulez débattre ou poser des questions ils acceptent tout le monde les curieux comme ceux qui voudraient s'investir plus franchement en tout cas moi je suis dessus et je vous ai mis tout ça en [Musique] description est-ce que ça vous arrive encore de vous allonger par terre la nuit pour regarder les étoiles moi ça m'est arrivé très récemment et quand on se perd dans la contemplation du ciel étoilé et qu'on en discute avec la personne à côté on se rend compte qu'on est absolument pas original regardant les étoiles on se dit généralement plus ou moins les

mêmes choses un c'est beau de c'est grand TR et s'il y avait de la vie ailleurs dans l'univers 4 imagine que à des milliers d'années lumières de nous on trouve sur sa planète à elle une créature elle aussi allongée dans l'herbe qui regarde elle aussi les étoiles et qui imagine elle aussi qu'à des milliers d'années lumière d'elle se trouve une créature engagée dans une activité similaire et ce sentiment en tant qu'espèce de désirer ne pas nous savoir seul dans l'univers ça n'a rien de nouveau ça fait des siècles qu'on se pose la question qu'on scrute

le ciel qu'on théorise et des décennies qu'on met au point des machines qui nous permettent d'observer les étoiles qui nous entourent de plus en plus précisément des décennies qu'on fouille l'univers à l'aide de télescope optique de télescopees à rayon X de télescope infrarouge de radio télescope pour capturer les ondes émises par les objets célestes ça fait des décennies qu'on envoie un peu de nous dans l'espace des sondes spatiales qui nous transmettent leur données depuis l'espace interstellaire et qui portent sur elles des messages des disques contenant des sons et des images de la terre des salutations

dans plusieurs langues humaines et aujourd'hui on l'entend tous régulièrement on connaît la abondance de planètes dans les milliards de galaxies qui nous entourent on est quasiment sûr qu'il y a de la vie quelque part ailleurs et probablement même beaucoup de vie mais la vérité très chers amis c'est qu'il se peut parfaitement que les formes de vie dont nous feront jamais la découverte sur d'autres planètes soient des bactéries et des algues et des champignons parce qu'il vous faut bien comprendre que nous sommes des anomalies la vie n'est déjà pas monnaie courante mais il se peut que

la vie intelligente soit à tel point improbable que nous soyons les seuls à en faire l'expérience et ça ça fait mal si nombreux sur notre planète mais seul depuis le début seul dans l'univers isolé par l'espace et le temps isolé aussi par l'ampleur de nos capacités cognitives des centenaires à nous agiter sur notre petite planète à observer le ciel à le scruter et à fantasmer une entité capable de nous stimuler intellectuellement à agiter nos longues vues et à envoyer des bouteilles à la mer dans l'espoir d'être contacté mais tout ça il se peut que ce

soit complètement vain seul depuis le début ce qui est amusant c'est que très bientôt nous n'aurons plus besoin de regarder les étoiles en espérant y apercevoir une autre forme d'intelligence supérieure très bientôt il nous suffira de baisser les ye et de prier pour que l'espèce à laquelle nous venons de donner vie comprenne bien ce qu'on lui demande [Musique]