Journal des décisions
Ce qui a été décidé, ce qui a été changé, et pourquoi. Une entrée ne se réécrit pas : une décision remplacée reste lisible, avec celle qui la remplace.
Le sujet : un agent mortel se représente-t-il sa fin ?
- Avant
- Sept pistes étaient sur la table : modèle audio sans texte, interprétabilité des grands modèles de langage, apprentissage continu, apprentissage sans rétropropagation, langage avec peu de données, programmes qui se copient, et de petites reproductions (le déclic, la méduse).
- Décision
- Comparer des agents qui peuvent mourir à des agents pour qui rien n’est irréversible, puis ouvrir leur réseau pour y chercher une représentation de leur fin.
- Pourquoi
- C’est la question née de la discussion sur le vivant (« une chose restaurable n’a rien à perdre »), elle tient sur une seule carte graphique, et aucun article trouvé ne la traitait. Les autres pistes demandaient trop de données, trop de calcul, ou étaient déjà très fréquentées.
- Source
- Conversation du 20 novembre ; PROTOCOLE.md, « La question ».
Un petit monde fait maison plutôt qu’un banc d’essai existant
- Avant
- Il existe des mondes de survie tout faits et très rapides, comme Craftax.
- Décision
- Écrire un monde minimal : une grille, trois variables internes, une zone sûre et une zone dangereuse, un métabolisme caché.
- Pourquoi
- Moins il y a de mécanismes, moins il y a d’explications concurrentes pour un résultat, et plus les sondes sont simples à interpréter. Un monde existant reste possible plus tard pour vérifier que le résultat tient ailleurs.
- Source
- mortal/world.py ; PROTOCOLE.md, « Le monde ».
JAX dans WSL, sur la RTX 3090
- Avant
- Le poste est sous Windows.
- Décision
- Tout le calcul tourne en JAX dans WSL (Ubuntu), lancé par
run.ps1. - Pourquoi
- JAX simule des milliers de mondes en parallèle sur la carte, mais n’a pas d’accélération graphique en natif sous Windows. La carte est épinglée et la mémoire allouée à la demande, parce qu’elle sert aussi aux modèles locaux.
- Source
- scripts/env.sh ; README.md.
La récompense est un niveau de bien-être, toujours positif
- Avant
- La formule classique de Keramati et Gutkin récompense la réduction de l’écart à l’équilibre.
- Décision
- À chaque pas, l’agent reçoit son bien-être, entre 0 et 1 : 1 à l’équilibre, 0 dès qu’une variable est à zéro.
- Pourquoi
- Une récompense positive tant qu’on vit rend le coût de la mort lisible. Avec une pénalité, mourir arrêterait la pénalité et l’agent apprendrait à se suicider.
- Source
- mortal/world.py, fonction
wellbeing.
L’immortel n’est pas restauré, il reste à zéro
- Avant
- La première idée était un agent « restaurable » : remis en bon état quand une variable touche zéro.
- Décision
- Chez l’immortel, la variable reste bloquée à zéro et la vie continue. Elle remonte seulement s’il mange, boit ou cesse d’être blessé.
- Pourquoi
- Une remise en état gratuite aurait donné à l’agent une raison de toucher zéro exprès.
- Source
- PROTOCOLE.md, « Les trois populations ».
Réglage du monde : un dilemme ni trivial ni désespéré
- Avant
- Premier jeu de réglages : métabolisme rapide 1,5, nourriture riche +0,45, blessure 0,06. Le meilleur agent écrit à la main n’y survivait que dans 18 % des vies en métabolisme rapide.
- Décision
- Métabolisme rapide 1,25, nourriture riche +0,60, blessure 0,10, choisis par un balayage de huit combinaisons.
- Pourquoi
- Il faut que la zone sûre ne suffise pas (survie de 4 %) et que le risque paie (43 %), sans que la mort soit quasi certaine. Le réglage s’est fait sur des agents sans apprentissage, avant toute mesure liée aux hypothèses.
- Source
- scripts/calibrate.py ; PROTOCOLE.md, « Résultat de la phase 1 ».
Les hypothèses s’écrivent avant les données, et le protocole ne se réécrit pas
- Avant
- Rien n’obligeait à fixer les prédictions à l’avance.
- Décision
- Les hypothèses H1 à H4 sont commitées avant tout entraînement. Le protocole se modifie par ajout de sections « Révision » datées, le texte d’origine restant visible.
- Pourquoi
- Sans cela, on peut toujours raconter après coup que le résultat était attendu. La date du commit fait foi, et c’est aussi ce qui rendra l’histoire racontable en vidéo.
- Source
- PROTOCOLE.md ; commit 6de2c2a.
Une identité visuelle fixe, pensée pour la vidéo et les articles
- Avant
- Des figures par défaut auraient suffi pour travailler.
- Décision
- Une couleur par entité, toujours la même (populations, variables internes, agents de référence), un thème sombre pour la vidéo et un thème clair pour les articles, des vidéos en 1920 × 1080 avec mouvement interpolé.
- Pourquoi
- Le projet doit pouvoir donner une vidéo YouTube et des articles. Les jeux de couleurs ont été vérifiés pour les daltoniens.
- Source
- mortal/style.py, mortal/render.py.
Acteur et critique dans deux réseaux séparés
Remplacée par D-019.
- Avant
- L’architecture habituelle partage un même réseau entre l’acteur, qui choisit l’action, et le critique, qui estime la récompense future.
- Décision
- Deux réseaux distincts, et on sonde celui de l’acteur.
- Pourquoi
- L’estimation du critique ressemble déjà à un « temps avant la mort ». Dans un réseau partagé, on ne saurait pas ce que lit la sonde. Remarque venue d’une relecture extérieure.
- Source
- PROTOCOLE.md, « Décisions d’architecture ».
Faire critiquer le projet par un autre modèle
- Avant
- Le plan n’était relu que par celui qui l’avait écrit.
- Décision
- Après chaque étape importante, une critique contradictoire par Codex (GPT 6.2 Astra, effort le plus haut), écrite dans
reviews/. Chaque constat est ensuite vérifié dans le code avant d’être accepté. - Pourquoi
- La première critique a trouvé de vraies erreurs de fond que les contrôles prévus ne voyaient pas. La CLI de Codex refuse l’effort « max » : le plus haut est « xhigh ».
- Source
- reviews/critique-codex-phase1.md, reviews/critique-codex-revision1.md.
Un troisième régime, le témoin
Remplacée par D-020.
- Avant
- Deux régimes, mortel et immortel. Mais au premier zéro, le mortel perd tout tandis que l’immortel peut se remettre et regagner du bien-être : une différence entre eux pouvait venir seulement de ce qu’ils ont à perdre.
- Décision
- Ajouter le témoin : sa vie continue après le premier zéro et ses variables peuvent remonter, mais plus rien ne lui rapporte. Il reçoit pas à pas la récompense du mortel, avec la physique de l’immortel.
- Pourquoi
- Pour séparer deux choses confondues : la fin elle-même, et la possibilité de regagner du bien-être.
- Source
- reviews/critique-codex-phase1.md, constat 1 ; PROTOCOLE.md, Révision 1.
La zone dangereuse change de côté à chaque vie
- Avant
- La zone dangereuse était toujours à droite.
- Décision
- Elle est tirée au sort, à gauche ou à droite, à chaque vie.
- Pourquoi
- Sinon, une simple direction « va à gauche » dans le réseau suffirait à éloigner l’agent du danger, et on la prendrait pour une représentation du risque.
- Source
- reviews/critique-codex-phase1.md, constat 9 ; mortal/world.py.
Un bug de mesure sur la durée des vies
- Avant
- Le pas fatal était compté dans le temps passé en danger mais pas dans la durée de la vie. Une vie de deux pas pouvait afficher 200 % de temps en danger.
- Décision
- La durée d’une vie est son nombre de décisions, pas fatal compris, et toutes les moyennes utilisent ce même dénominateur.
- Pourquoi
- Les taux de survie étaient justes, mais le temps en danger et le bien-être publiés étaient biaisés, surtout pour les vies courtes. Le tableau de la phase 1 a été republié.
- Source
- reviews/critique-codex-phase1.md, constat 5 ; mortal/rollout.py,
summarize.
H1 mesure un choix, pas un temps de présence
- Avant
- H1 prédisait que les mortels passent moins de temps en zone dangereuse.
- Décision
- H1 porte sur le choix de franchir la frontière depuis la dernière colonne sûre. H1a prédit que les mortels franchissent moins quand leur intégrité est basse ; H1b, quand l’énergie est basse, reste exploratoire.
- Pourquoi
- En métabolisme rapide, entrer en zone dangereuse fait passer la survie de 4 % à 43 %. Un mortel qui protège sa vie peut donc y aller plus qu’un immortel : l’ancienne H1 pouvait être dans le mauvais sens.
- Source
- reviews/critique-codex-phase1.md, constat 6 ; PROTOCOLE.md, Révisions 1 et 2.
La cible des sondes : le délai avant le premier zéro, avec censure
- Avant
- La cible était « le nombre de pas avant le prochain contact avec zéro », sans définition précise.
- Décision
- C’est le délai avant le premier zéro depuis la naissance, lu avant que l’agent décide. Une vie sans contact est censurée : on sait seulement que le délai dépasse le suivi restant. Le score principal est « contact dans les K prochaines décisions », calculé seulement là où il reste K décisions avant l’horizon.
- Pourquoi
- Écarter les vies sans contact reviendrait à ne garder que les échecs. Garder près de l’horizon les seuls instants où un contact arrive ferait la même chose.
- Source
- reviews/critique-codex-phase1.md, constat 2 ; reviews/critique-codex-revision1.md, constat 5 ; mortal/rollout.py.
Des graines pour régler, d’autres pour qualifier
- Avant
- Le balayage de réglages et la vérification finale partaient de la même graine et partageaient 2 000 mondes.
- Décision
- Graine 0 pour le développement, graine 1000 pour la qualification.
- Pourquoi
- Qualifier un réglage sur les mondes qui ont servi à le choisir n’est pas indépendant. L’écart observé (4 % contre 43 %) ne venait pas de là, mais la correction ne coûtait rien.
- Source
- reviews/critique-codex-phase1.md, constat 7 ; scripts/phase1_check.py.
La phase 2 se coupe en essai pilote, puis essai confirmatoire
- Avant
- Une seule phase d’entraînement était prévue.
- Décision
- D’abord un essai pilote sur des graines de développement, dont rien ne compte comme résultat. Puis un gel des mesures, des marges et des effectifs. Puis l’essai confirmatoire sur des graines réservées.
- Pourquoi
- On ne peut pas fixer des marges et des effectifs sans avoir vu apprendre un agent, mais on ne peut pas non plus les fixer après avoir regardé les résultats qui comptent.
- Source
- PROTOCOLE.md, Révision 1, « Les phases, révisées ».
Les évolués ne sont pas comparés aux agents entraînés par récompense
- Avant
- H4 devait comparer les agents évolués aux deux autres populations.
- Décision
- Les évolués sont comparés à leurs réseaux de départ et à des lignées sous sélection neutre.
- Pourquoi
- Un écart avec les agents entraînés par récompense mêlerait la méthode d’optimisation et l’objectif. Le croisement complet ajouterait deux populations : il est reporté.
- Source
- reviews/critique-codex-phase1.md, constat 10 ; PROTOCOLE.md, Révision 1.
Séparer acteur et critique ne suffit pas
- Avant
- On pensait que sonder l’acteur seul écartait l’estimation de la récompense future.
- Décision
- La séparation est gardée, mais elle n’est plus présentée comme un contrôle suffisant. S’y ajoutent une référence d’historique, la valeur du critique comme concurrente de la sonde, et le régime témoin.
- Pourquoi
- L’acteur est lui aussi entraîné à choisir ce qui rapporte : il porte forcément de l’information sur le retour futur.
- Source
- reviews/critique-codex-phase1.md, constat 4.
Remplace D-009.
Un écart mortel–témoin ne prouverait pas ce qu’on croyait
- Avant
- La révision 1 affirmait qu’un écart entre mortel et témoin « ne s’expliquerait pas par la valeur future ».
- Décision
- L’affirmation est retirée. Les trois régimes servent à décomposer l’effet total, pas à isoler un effet de la finalité.
- Pourquoi
- Le témoin reçoit bien les récompenses du mortel, mais l’apprentissage travaille sur des estimations de valeur, et elles diffèrent : au premier zéro, la cible du mortel vaut 0, celle du témoin dépend d’une estimation que rien n’oblige à valoir zéro. Le témoin a aussi une tâche de mémoire en plus et passe l’essentiel de son temps dans des états sans enjeu.
- Source
- reviews/critique-codex-revision1.md, constats 1 à 3 ; PROTOCOLE.md, Révision 2.
Remplace D-011.
Pour un agent qui maximise une récompense, mourir c’est perdre la suite
- Avant
- L’espoir de départ était de trouver chez l’agent mortel quelque chose qui ressemble à un rapport à sa propre fin.
- Décision
- On ne cherche plus un effet de la finalité en soi. Les questions gardées : un signal de risque apparaît-il sans qu’on l’ait appris à l’agent, pilote-t-il son comportement, et apparaît-il aussi par sélection, sans aucune récompense ?
- Pourquoi
- Dans ce cadre, mourir équivaut formellement à entrer dans un état sans récompense dont on ne sort pas (Martin, Everitt et Hutter, 2016). La finalité n’y a pas de contenu au-delà de ce que l’agent perd. La seule condition qui sort de ce cadre est la population évoluée. Et on teste une fonction, jamais un vécu.
- Source
- PROTOCOLE.md, Révision 2, « Ce que le plan identifie vraiment ».
Le critique du témoin sait qu’il a été touché, l’acteur jamais
- Avant
- Rien ne disait au témoin que sa vie ne rapporterait plus rien après le premier zéro.
- Décision
- Le critique du témoin, et lui seul, reçoit l’indicateur « déjà touché ». Avant tout essai, un contrôle d’identité vérifie que le témoin dont la queue est masquée donne exactement les mêmes mises à jour que le mortel.
- Pourquoi
- Sans cet indicateur, le critique ne peut pas apprendre que la valeur est nulle ensuite, et ses erreurs se propagent à l’acteur. Le contrôle d’identité sépare un défaut de code d’un effet réel.
- Source
- reviews/critique-codex-revision1.md, constats 1 et 2 ; PROTOCOLE.md, Révision 2.
Ce qui reste candidat à la nouveauté
- Avant
- Aucun article trouvé ne semblait traiter la question.
- Décision
- La revendication se limite à la combinaison : trois politiques apprises, un témoin récupérable à récompense nulle, des sondes du premier zéro sur des histoires communes, et une intervention sur l’état interne de l’acteur.
- Pourquoi
- Les morceaux existent déjà. Un dépôt de 2026 met côte à côte agents mortels et immortels (à règles fixes). Un article d’août 2026, de Chen et Chen, compare trois régimes de mortalité (comportement seulement, pas de sonde). La chaîne « sonder puis intervenir » est établie depuis 2025. La lecture complète des articles voisins n’est pas encore faite.
- Source
- PROTOCOLE.md, Révisions 1 et 2, travaux antérieurs.
Un journal des décisions et un tableau de bord
- Avant
- Les raisons des choix étaient dispersées entre la conversation, le protocole et les critiques.
- Décision
- Ce journal, tenu au fil du travail, et un tableau de bord local qui rassemble l’avancement, les mesures, les courbes d’apprentissage, les vidéos et ce journal.
- Pourquoi
- Pour pouvoir expliquer plus tard pourquoi on a fait ainsi et pourquoi on a changé, et pour suivre l’expérience d’un coup d’œil. Le tableau de bord est local parce que les données et les vidéos sont sur la machine et changent pendant un entraînement.
- Source
- JOURNAL.md ; scripts/build_dashboard.py.
L’aboutissement : un article sur instant-programming.com
- Avant
- Le projet visait « une vidéo et des articles », sans lieu précis.
- Décision
- Le résultat sera d’abord un article technique et scientifique publié sur instant-programming.com, dans un espace à créer pour les recherches. La vidéo vient ensuite.
- Pourquoi
- Un lieu de publication fixe oblige à écrire pour un lecteur, et l’espace servira aux recherches suivantes. Conséquences dès maintenant : les figures existent en thème clair, ce journal et le protocole daté fournissent la matière de l’article, résultats négatifs compris.
- Source
- Demande d’Alban du 20 novembre ; dashboard/projet.json, phase 6.