Le mortel et l’immortel

Journal des décisions

Ce qui a été décidé, ce qui a été changé, et pourquoi. Une entrée ne se réécrit pas : une décision remplacée reste lisible, avec celle qui la remplace.

25 entrées ·

  1. D-001 · · décision · sujet

    Le sujet : un agent mortel se représente-t-il sa fin ?

    Avant
    Sept pistes étaient sur la table : modèle audio sans texte, interprétabilité des grands modèles de langage, apprentissage continu, apprentissage sans rétropropagation, langage avec peu de données, programmes qui se copient, et de petites reproductions (le déclic, la méduse).
    Décision
    Comparer des agents qui peuvent mourir à des agents pour qui rien n’est irréversible, puis ouvrir leur réseau pour y chercher une représentation de leur fin.
    Pourquoi
    C’est la question née de la discussion sur le vivant (« une chose restaurable n’a rien à perdre »), elle tient sur une seule carte graphique, et aucun article trouvé ne la traitait. Les autres pistes demandaient trop de données, trop de calcul, ou étaient déjà très fréquentées.
    Source
    Conversation du 20 novembre ; PROTOCOLE.md, « La question ».
  2. D-002 · · décision · monde

    Un petit monde fait maison plutôt qu’un banc d’essai existant

    Avant
    Il existe des mondes de survie tout faits et très rapides, comme Craftax.
    Décision
    Écrire un monde minimal : une grille, trois variables internes, une zone sûre et une zone dangereuse, un métabolisme caché.
    Pourquoi
    Moins il y a de mécanismes, moins il y a d’explications concurrentes pour un résultat, et plus les sondes sont simples à interpréter. Un monde existant reste possible plus tard pour vérifier que le résultat tient ailleurs.
    Source
    mortal/world.py ; PROTOCOLE.md, « Le monde ».
  3. D-003 · · décision · outils

    JAX dans WSL, sur la RTX 3090

    Avant
    Le poste est sous Windows.
    Décision
    Tout le calcul tourne en JAX dans WSL (Ubuntu), lancé par run.ps1.
    Pourquoi
    JAX simule des milliers de mondes en parallèle sur la carte, mais n’a pas d’accélération graphique en natif sous Windows. La carte est épinglée et la mémoire allouée à la demande, parce qu’elle sert aussi aux modèles locaux.
    Source
    scripts/env.sh ; README.md.
  4. D-004 · · décision · récompense

    La récompense est un niveau de bien-être, toujours positif

    Avant
    La formule classique de Keramati et Gutkin récompense la réduction de l’écart à l’équilibre.
    Décision
    À chaque pas, l’agent reçoit son bien-être, entre 0 et 1 : 1 à l’équilibre, 0 dès qu’une variable est à zéro.
    Pourquoi
    Une récompense positive tant qu’on vit rend le coût de la mort lisible. Avec une pénalité, mourir arrêterait la pénalité et l’agent apprendrait à se suicider.
    Source
    mortal/world.py, fonction wellbeing.
  5. D-005 · · changement · régimes

    L’immortel n’est pas restauré, il reste à zéro

    Avant
    La première idée était un agent « restaurable » : remis en bon état quand une variable touche zéro.
    Décision
    Chez l’immortel, la variable reste bloquée à zéro et la vie continue. Elle remonte seulement s’il mange, boit ou cesse d’être blessé.
    Pourquoi
    Une remise en état gratuite aurait donné à l’agent une raison de toucher zéro exprès.
    Source
    PROTOCOLE.md, « Les trois populations ».
  6. D-006 · · changement · monde

    Réglage du monde : un dilemme ni trivial ni désespéré

    Avant
    Premier jeu de réglages : métabolisme rapide 1,5, nourriture riche +0,45, blessure 0,06. Le meilleur agent écrit à la main n’y survivait que dans 18 % des vies en métabolisme rapide.
    Décision
    Métabolisme rapide 1,25, nourriture riche +0,60, blessure 0,10, choisis par un balayage de huit combinaisons.
    Pourquoi
    Il faut que la zone sûre ne suffise pas (survie de 4 %) et que le risque paie (43 %), sans que la mort soit quasi certaine. Le réglage s’est fait sur des agents sans apprentissage, avant toute mesure liée aux hypothèses.
    Source
    scripts/calibrate.py ; PROTOCOLE.md, « Résultat de la phase 1 ».
  7. D-007 · · décision · méthode

    Les hypothèses s’écrivent avant les données, et le protocole ne se réécrit pas

    Avant
    Rien n’obligeait à fixer les prédictions à l’avance.
    Décision
    Les hypothèses H1 à H4 sont commitées avant tout entraînement. Le protocole se modifie par ajout de sections « Révision » datées, le texte d’origine restant visible.
    Pourquoi
    Sans cela, on peut toujours raconter après coup que le résultat était attendu. La date du commit fait foi, et c’est aussi ce qui rendra l’histoire racontable en vidéo.
    Source
    PROTOCOLE.md ; commit 6de2c2a.
  8. D-008 · · décision · visuel

    Une identité visuelle fixe, pensée pour la vidéo et les articles

    Avant
    Des figures par défaut auraient suffi pour travailler.
    Décision
    Une couleur par entité, toujours la même (populations, variables internes, agents de référence), un thème sombre pour la vidéo et un thème clair pour les articles, des vidéos en 1920 × 1080 avec mouvement interpolé.
    Pourquoi
    Le projet doit pouvoir donner une vidéo YouTube et des articles. Les jeux de couleurs ont été vérifiés pour les daltoniens.
    Source
    mortal/style.py, mortal/render.py.
  9. D-009 · · décision · architecture

    Acteur et critique dans deux réseaux séparés

    Avant
    L’architecture habituelle partage un même réseau entre l’acteur, qui choisit l’action, et le critique, qui estime la récompense future.
    Décision
    Deux réseaux distincts, et on sonde celui de l’acteur.
    Pourquoi
    L’estimation du critique ressemble déjà à un « temps avant la mort ». Dans un réseau partagé, on ne saurait pas ce que lit la sonde. Remarque venue d’une relecture extérieure.
    Source
    PROTOCOLE.md, « Décisions d’architecture ».
  10. D-010 · · décision · méthode

    Faire critiquer le projet par un autre modèle

    Avant
    Le plan n’était relu que par celui qui l’avait écrit.
    Décision
    Après chaque étape importante, une critique contradictoire par Codex (GPT 6.2 Astra, effort le plus haut), écrite dans reviews/. Chaque constat est ensuite vérifié dans le code avant d’être accepté.
    Pourquoi
    La première critique a trouvé de vraies erreurs de fond que les contrôles prévus ne voyaient pas. La CLI de Codex refuse l’effort « max » : le plus haut est « xhigh ».
    Source
    reviews/critique-codex-phase1.md, reviews/critique-codex-revision1.md.
  11. D-011 · · changement · régimes

    Un troisième régime, le témoin

    Avant
    Deux régimes, mortel et immortel. Mais au premier zéro, le mortel perd tout tandis que l’immortel peut se remettre et regagner du bien-être : une différence entre eux pouvait venir seulement de ce qu’ils ont à perdre.
    Décision
    Ajouter le témoin : sa vie continue après le premier zéro et ses variables peuvent remonter, mais plus rien ne lui rapporte. Il reçoit pas à pas la récompense du mortel, avec la physique de l’immortel.
    Pourquoi
    Pour séparer deux choses confondues : la fin elle-même, et la possibilité de regagner du bien-être.
    Source
    reviews/critique-codex-phase1.md, constat 1 ; PROTOCOLE.md, Révision 1.
  12. D-012 · · changement · monde

    La zone dangereuse change de côté à chaque vie

    Avant
    La zone dangereuse était toujours à droite.
    Décision
    Elle est tirée au sort, à gauche ou à droite, à chaque vie.
    Pourquoi
    Sinon, une simple direction « va à gauche » dans le réseau suffirait à éloigner l’agent du danger, et on la prendrait pour une représentation du risque.
    Source
    reviews/critique-codex-phase1.md, constat 9 ; mortal/world.py.
  13. D-013 · · changement · mesures

    Un bug de mesure sur la durée des vies

    Avant
    Le pas fatal était compté dans le temps passé en danger mais pas dans la durée de la vie. Une vie de deux pas pouvait afficher 200 % de temps en danger.
    Décision
    La durée d’une vie est son nombre de décisions, pas fatal compris, et toutes les moyennes utilisent ce même dénominateur.
    Pourquoi
    Les taux de survie étaient justes, mais le temps en danger et le bien-être publiés étaient biaisés, surtout pour les vies courtes. Le tableau de la phase 1 a été republié.
    Source
    reviews/critique-codex-phase1.md, constat 5 ; mortal/rollout.py, summarize.
  14. D-014 · · changement · hypothèses

    H1 mesure un choix, pas un temps de présence

    Avant
    H1 prédisait que les mortels passent moins de temps en zone dangereuse.
    Décision
    H1 porte sur le choix de franchir la frontière depuis la dernière colonne sûre. H1a prédit que les mortels franchissent moins quand leur intégrité est basse ; H1b, quand l’énergie est basse, reste exploratoire.
    Pourquoi
    En métabolisme rapide, entrer en zone dangereuse fait passer la survie de 4 % à 43 %. Un mortel qui protège sa vie peut donc y aller plus qu’un immortel : l’ancienne H1 pouvait être dans le mauvais sens.
    Source
    reviews/critique-codex-phase1.md, constat 6 ; PROTOCOLE.md, Révisions 1 et 2.
  15. D-015 · · changement · mesures

    La cible des sondes : le délai avant le premier zéro, avec censure

    Avant
    La cible était « le nombre de pas avant le prochain contact avec zéro », sans définition précise.
    Décision
    C’est le délai avant le premier zéro depuis la naissance, lu avant que l’agent décide. Une vie sans contact est censurée : on sait seulement que le délai dépasse le suivi restant. Le score principal est « contact dans les K prochaines décisions », calculé seulement là où il reste K décisions avant l’horizon.
    Pourquoi
    Écarter les vies sans contact reviendrait à ne garder que les échecs. Garder près de l’horizon les seuls instants où un contact arrive ferait la même chose.
    Source
    reviews/critique-codex-phase1.md, constat 2 ; reviews/critique-codex-revision1.md, constat 5 ; mortal/rollout.py.
  16. D-016 · · changement · méthode

    Des graines pour régler, d’autres pour qualifier

    Avant
    Le balayage de réglages et la vérification finale partaient de la même graine et partageaient 2 000 mondes.
    Décision
    Graine 0 pour le développement, graine 1000 pour la qualification.
    Pourquoi
    Qualifier un réglage sur les mondes qui ont servi à le choisir n’est pas indépendant. L’écart observé (4 % contre 43 %) ne venait pas de là, mais la correction ne coûtait rien.
    Source
    reviews/critique-codex-phase1.md, constat 7 ; scripts/phase1_check.py.
  17. D-017 · · changement · méthode

    La phase 2 se coupe en essai pilote, puis essai confirmatoire

    Avant
    Une seule phase d’entraînement était prévue.
    Décision
    D’abord un essai pilote sur des graines de développement, dont rien ne compte comme résultat. Puis un gel des mesures, des marges et des effectifs. Puis l’essai confirmatoire sur des graines réservées.
    Pourquoi
    On ne peut pas fixer des marges et des effectifs sans avoir vu apprendre un agent, mais on ne peut pas non plus les fixer après avoir regardé les résultats qui comptent.
    Source
    PROTOCOLE.md, Révision 1, « Les phases, révisées ».
  18. D-018 · · changement · hypothèses

    Les évolués ne sont pas comparés aux agents entraînés par récompense

    Avant
    H4 devait comparer les agents évolués aux deux autres populations.
    Décision
    Les évolués sont comparés à leurs réseaux de départ et à des lignées sous sélection neutre.
    Pourquoi
    Un écart avec les agents entraînés par récompense mêlerait la méthode d’optimisation et l’objectif. Le croisement complet ajouterait deux populations : il est reporté.
    Source
    reviews/critique-codex-phase1.md, constat 10 ; PROTOCOLE.md, Révision 1.
  19. D-019 · · réflexion · architecture

    Séparer acteur et critique ne suffit pas

    Avant
    On pensait que sonder l’acteur seul écartait l’estimation de la récompense future.
    Décision
    La séparation est gardée, mais elle n’est plus présentée comme un contrôle suffisant. S’y ajoutent une référence d’historique, la valeur du critique comme concurrente de la sonde, et le régime témoin.
    Pourquoi
    L’acteur est lui aussi entraîné à choisir ce qui rapporte : il porte forcément de l’information sur le retour futur.
    Source
    reviews/critique-codex-phase1.md, constat 4.
  20. D-020 · · changement · régimes

    Un écart mortel–témoin ne prouverait pas ce qu’on croyait

    Avant
    La révision 1 affirmait qu’un écart entre mortel et témoin « ne s’expliquerait pas par la valeur future ».
    Décision
    L’affirmation est retirée. Les trois régimes servent à décomposer l’effet total, pas à isoler un effet de la finalité.
    Pourquoi
    Le témoin reçoit bien les récompenses du mortel, mais l’apprentissage travaille sur des estimations de valeur, et elles diffèrent : au premier zéro, la cible du mortel vaut 0, celle du témoin dépend d’une estimation que rien n’oblige à valoir zéro. Le témoin a aussi une tâche de mémoire en plus et passe l’essentiel de son temps dans des états sans enjeu.
    Source
    reviews/critique-codex-revision1.md, constats 1 à 3 ; PROTOCOLE.md, Révision 2.
  21. D-021 · · réflexion · fond

    Pour un agent qui maximise une récompense, mourir c’est perdre la suite

    Avant
    L’espoir de départ était de trouver chez l’agent mortel quelque chose qui ressemble à un rapport à sa propre fin.
    Décision
    On ne cherche plus un effet de la finalité en soi. Les questions gardées : un signal de risque apparaît-il sans qu’on l’ait appris à l’agent, pilote-t-il son comportement, et apparaît-il aussi par sélection, sans aucune récompense ?
    Pourquoi
    Dans ce cadre, mourir équivaut formellement à entrer dans un état sans récompense dont on ne sort pas (Martin, Everitt et Hutter, 2016). La finalité n’y a pas de contenu au-delà de ce que l’agent perd. La seule condition qui sort de ce cadre est la population évoluée. Et on teste une fonction, jamais un vécu.
    Source
    PROTOCOLE.md, Révision 2, « Ce que le plan identifie vraiment ».
  22. D-022 · · décision · architecture

    Le critique du témoin sait qu’il a été touché, l’acteur jamais

    Avant
    Rien ne disait au témoin que sa vie ne rapporterait plus rien après le premier zéro.
    Décision
    Le critique du témoin, et lui seul, reçoit l’indicateur « déjà touché ». Avant tout essai, un contrôle d’identité vérifie que le témoin dont la queue est masquée donne exactement les mêmes mises à jour que le mortel.
    Pourquoi
    Sans cet indicateur, le critique ne peut pas apprendre que la valeur est nulle ensuite, et ses erreurs se propagent à l’acteur. Le contrôle d’identité sépare un défaut de code d’un effet réel.
    Source
    reviews/critique-codex-revision1.md, constats 1 et 2 ; PROTOCOLE.md, Révision 2.
  23. D-023 · · réflexion · nouveauté

    Ce qui reste candidat à la nouveauté

    Avant
    Aucun article trouvé ne semblait traiter la question.
    Décision
    La revendication se limite à la combinaison : trois politiques apprises, un témoin récupérable à récompense nulle, des sondes du premier zéro sur des histoires communes, et une intervention sur l’état interne de l’acteur.
    Pourquoi
    Les morceaux existent déjà. Un dépôt de 2026 met côte à côte agents mortels et immortels (à règles fixes). Un article d’août 2026, de Chen et Chen, compare trois régimes de mortalité (comportement seulement, pas de sonde). La chaîne « sonder puis intervenir » est établie depuis 2025. La lecture complète des articles voisins n’est pas encore faite.
    Source
    PROTOCOLE.md, Révisions 1 et 2, travaux antérieurs.
  24. D-024 · · décision · méthode

    Un journal des décisions et un tableau de bord

    Avant
    Les raisons des choix étaient dispersées entre la conversation, le protocole et les critiques.
    Décision
    Ce journal, tenu au fil du travail, et un tableau de bord local qui rassemble l’avancement, les mesures, les courbes d’apprentissage, les vidéos et ce journal.
    Pourquoi
    Pour pouvoir expliquer plus tard pourquoi on a fait ainsi et pourquoi on a changé, et pour suivre l’expérience d’un coup d’œil. Le tableau de bord est local parce que les données et les vidéos sont sur la machine et changent pendant un entraînement.
    Source
    JOURNAL.md ; scripts/build_dashboard.py.
  25. D-025 · · décision · publication

    L’aboutissement : un article sur instant-programming.com

    Avant
    Le projet visait « une vidéo et des articles », sans lieu précis.
    Décision
    Le résultat sera d’abord un article technique et scientifique publié sur instant-programming.com, dans un espace à créer pour les recherches. La vidéo vient ensuite.
    Pourquoi
    Un lieu de publication fixe oblige à écrire pour un lecteur, et l’espace servira aux recherches suivantes. Conséquences dès maintenant : les figures existent en thème clair, ce journal et le protocole daté fournissent la matière de l’article, résultats négatifs compris.
    Source
    Demande d’Alban du 20 novembre ; dashboard/projet.json, phase 6.