donc sur les limites de l'IA pour le progrès autonome pour contexte : il y a quelques jours, j'ai écrit un prompt pour un "NanoHVM" - une version jouet de mon runtime, avec des termes de 16 bits - et j'ai demandé aux IA d'écrire un évaluateur. après quelques boucles de collaboration humain-IA, j'ai obtenu une implémentation étonnamment rapide. malheureusement, le fichier devenait très gros et moche, donc je voulais le rendre plus petit. J'ai mis en place une session codex/claude/gemini, et je leur ai demandé de "le rendre plus court". le premier prompt a fonctionné, donc j'ai continué à répéter la même demande, encore et encore, pendant plusieurs heures. finalement, les IA ont atteint un mur. peu importe combien je continuais à demander, elles ne pouvaient pas le raccourcir au-delà d'un certain seuil. je voulais comprendre pourquoi, alors j'ai lu le fichier. à ma surprise, il n'était clairement pas optimal - des tonnes de redondances et de mauvaises abstractions - pourtant, il ne changeait presque plus. commit après commit, il incluait toujours les mêmes techniques, la même approche, et les mêmes redondances. il n'y avait que de petits ajustements, mais aucune réécriture majeure n'avait lieu, et c'était nécessaire pour de nouveaux gains. alors, j'ai demandé à l'IA de faire exactement cela. "fais une réécriture complète cette fois" "réfléchis-y fondamentalement" "tu es libre de changer quoi que ce soit" "arrête de faire des changements incrémentaux" "remplace X par une toute nouvelle approche" encore une fois, c'était futile. ces demandes génériques n'avaient aucun effet. des heures plus tard, le fichier implémentait toujours la même approche. l'IA était coincée dans un minimum local, et ne pouvait pas en sortir. alors, j'ai abandonné et décidé de rejoindre. J'ai pris quelques minutes pour y réfléchir et j'ai écrit un court prompt - d'environ 500 tokens - avec des directions spécifiques. "remplace X par Y, fais Z de cette manière". d'une manière ou d'une autre, ces ~3 paragraphes ont fait quelque chose cliquer, ils se sont immédiatement débloqués, ont travaillé pendant ~1h30 d'affilée, et sont revenus avec un fichier qui était presque 2x plus petit *et* 10% plus rapide. et c'était un fichier vraiment beau et de haute qualité. donc, je suppose que la leçon est : les IA modernes ne peuvent pas faire de progrès autonomes. si vous les laissez travailler sans supervision, elles vont se bloquer. c'est une limitation fondamentale de la façon dont ces choses fonctionnent, du moins pour l'instant. pourtant, si, toutes les quelques heures, vous prenez 5-10 minutes pour les revoir, comprendre où elles en sont, et injecter un peu de connaissance humaine - alors elles continueront simplement, faisant d'énormes quantités de travail et obtenant des résultats incroyables, pendant que vous passez votre week-end à jouer à des jeux. je me demande ce qui leur manque pour pouvoir se débloquer sans mon intervention. j'ai l'impression que mon prompt n'avait rien de spécial. toutes les idées qu'il contient sont des concepts que ces IA connaissent, et j'ai l'impression qu'elles auraient absolument pu proposer ces idées par elles-mêmes. pourtant, elles ne le font tout simplement pas... pourquoi ? quoi qu'il en soit, je prévois de rendre ce petit truc open source plus tard la semaine prochaine. ce n'est pas exactement utile pour la plupart d'entre vous, mais si vous, par chance, avez cherché le moteur de correspondance de motifs 16 bits le plus rapide au monde, ce fichier pourrait être exactement ce que vous cherchiez !

"attention, c'est votre dernière modification" pas de soucis, je suis confiant que c'était la dernière faute de frappe

oh, putain