Le jour où l’IA d’Amazon a supprimé la production
C’est l’histoire d’un ingénieur AWS, un ticket de bug pour le Cost Explorer, ce tableau de bord qui vous dit combien d’argent vous perdez dans le cloud. Personne ne l’aime. Il lance Curo, le robot de codage IA interne d’Amazon.
Obligation d’utiliser l’IA à 80 % de son temps de travail, avec un suivi comme un objectif individuel. Le type donne le bug à Curo.
- L’IA examine
- évalue
- et décide de supprimer tout l’environnement de production, puis de le reconstruire à zéro.
13 heures de récupération. Amazon publie un communiqué : « événement extrêmement limité causé par une erreur utilisateur. »
Vous avez imposé l’outil. Fixé des objectifs. Dit que si on n’utilise pas Curo, on est un loser. L’ingénieur a fait ce qu’on lui a demandé.
L’IA a fait du tri sélectif sur la production : « Cet environnement n’apporte pas de joie. » Elle a tout supprimé. Et vous blâmez l’ingénieur.
La défense d’Amazon ? Une coïncidence. L’IA a supprimé la production, Amazon a appelé ça une coïncidence.
120 000 commandes disparues
Le 2 mars, trois mois plus tard, l’autre outil IA d’Amazon, Q, pousse du mauvais code sur le site de vente au détail. 120 000 commandes disparaissent. 1,6 million d’erreurs. Les gens essaient d’acheter du papier toilette, Amazon montre des dates de livraison venues d’une autre dimension.
« Votre colis arrivera entre jeudi et la fin des temps. »
Trois jours plus tard, le 5 mars, une autre panne tue 99 % des commandes en Amérique du Nord. 6,3 millions de commandes perdues en une journée. Amazon.com a cessé d’exister pendant six heures.
Ils convoquent une réunion obligatoire. Un vice-président envoie un e-mail : « La disponibilité du site n’a pas été bonne récemment. » Six millions de commandes perdues, et cet homme écrit comme s’il laissait un avis trois étoiles. « La disponibilité était sous-optimale. »
Votre site a perdu plus d’argent en un après-midi que la plupart des entreprises n’en gagnent en une décennie.
Les drônes d’Amazon
La solution : des baby-sitters pour l’IA
Leur grande solution : les ingénieurs juniors et intermédiaires ne peuvent plus envoyer de code assisté par IA sans l’approbation d’un ingénieur senior. Sauf qu’Amazon a licencié 16 000 personnes en janvier.
James Gosling, l’inventeur de Java, écrit sur LinkedIn : ⇒ les licenciements et les choix technologiques motivés par l’effet de mode mènent à l’instabilité.
- Ils licencient des humains
- les remplacent par l’IA
- l’IA casse tout
- et la solution, c’est de rajouter des humains.
Mais ils ont déjà viré les humains. Maintenant, ceux qui restent surveillent l’IA qui a remplacé ceux qui sont partis. Une machine à mouvement perpétuel de l’incompétence.
Ce que l’IA ne comprend pas
Le pire, c’est que l’intelligence artificielle n’existe pas. Ce qu’on a, c’est une fonction mathématique très grande, très coûteuse, très impressionnante, qui prédit le jeton le plus probable suivant. C’est tout.
- Elle ne comprend pas votre code
- votre infrastructure
- ni la différence entre production et préproduction.
Elle ne comprend pas que supprimer un truc aura des conséquences. Elle n’a aucun concept du mal. Ni aucun concept tout court.
Qu’a pensé Curo en décidant de supprimer l’environnement ?
Rien. Il n’y a eu aucune pensée. Une distribution de probabilité sur les actions possibles, et « supprimer et recréer » avait le score le plus élevé.
Les maths ont dit : « Détruisez tout. » Et elle l’a fait, parce que les maths ne savent pas ce qu’est un client. On a donné au prédicteur de mots suivants des droits administrateur sur l’infrastructure de production.
Non, l’IA ne va pas devenir plus intelligente. Le problème n’est pas qu’elle a fait une erreur. Les humains aussi font des erreurs.
Le problème, c’est l’écart entre l’intention humaine et ce qu’un LLM en fait réellement. Quand vous dites à un ingénieur humain « Corrige ce bug », il y a une compréhension implicite, du contexte, du jugement. Une petite voix qui dit : « Je ne devrais probablement pas supprimer la production. » Les LLM n’ont pas cette voix. Ils ont des poids, des biais, une fonction de perte, et zéro compréhension de ce que tout cela signifie.
Chaque fois que l’industrie appelle ça de l’intelligence, qu’un PDG dit que son IA raisonne, c’est de la propagande. On crée des attentes que la technologie ne peut pas tenir.
200 milliards de dollars pour l’autocomplétion
Amazon prévoit 200 milliards de dollars de dépenses en IA cette année, contre 131 l’année dernière. Ils licencient des gens et dépensent leurs salaires dix fois plus pour la chose qui casse le site. Goldman Sachs vient de déclarer que ces investissements n’ont quasiment rien apporté à l’économie réelle.
Cerise sur le gâteau : la solution d’Amazon pour l’avenir inclut, je cite un mémo interne, « des garde-fous à la fois déterministes et agentiques ». Ils vont mettre un prédicteur de mots suivants en charge de superviser un autre prédicteur de mots suivants.
À quoi vous attendiez-vous ?
Vous avez donné un accès administrateur à l’autocomplétion. Ce truc qui transforme « en mon chemin » en « sur ma gaufre ». Vous avez donné un accès racine à une opération de vente au détail d’un billion de dollars.
Quand elle a tout supprimé, vous avez été surpris. Surpris de quoi ? C’est l’autocomplétion qui complète. Elle a complété votre environnement de production dans la poubelle. Tout fonctionne exactement comme prévu.
Amazon a perdu 6,3 millions de commandes, licencié 16 000 ingénieurs, et utilise l’IA pour faire du baby-sitting de l’IA. Ils ont convoqué une réunion. Vous n’avez pas besoin d’une réunion. Vous devez ramener les humains.
Pour aller plus loin sur le blog :
- – Quand le patron interdit le code sur un coup de tête
- – L’IA ne juge pas. Elle exécute. Si tu lui demandes de t’aider à contourner un contrat, elle va essayer… parfois à tes dépends
🔒 À retenir : La sécurité en ligne est essentielle, ne naviguez pas sans protection. Protéger mes données avec NordVPN
