Protocole
Le texte ci-dessous est celui du projet, recopié sans retouche. Il ne se modifie que par ajout : les révisions datées sont à la suite du texte d’origine, et la plus récente prime.
Le mortel et l’immortel : protocole
Ce document fixe la question, les hypothèses et les mesures avant tout entraînement. Il sera modifié seulement par ajout, avec la date, pour qu’on puisse toujours distinguer ce qui était prévu de ce qui a été décidé après coup.
Rédigé le 20 novembre 2026.
Deux révisions, le même jour, après deux relectures contradictoires. Plusieurs points du texte ci-dessous sont corrigés ou remplacés par les sections « Révision 1 » et « Révision 2 » en fin de document. En cas de désaccord, la révision la plus récente prime. Le texte d’origine est laissé tel quel pour qu’on voie ce qui a changé.
La question
Un agent qui peut mourir se construit-il une représentation interne de sa propre fin, que n’a pas un agent pour qui rien n’est irréversible ?
Le monde
Une grille de 16 × 16 cases. L’agent ne voit qu’un carré de 7 × 7 autour de
lui, plus ses trois variables internes. Il ne perçoit ni sa position, ni
l’heure, ni son métabolisme. Code : mortal/world.py.
| Élément | Réglage |
|---|---|
| Variables internes | énergie, eau, intégrité, entre 0 et 1 |
| Perte d’énergie | 0,012 par pas × métabolisme |
| Métabolisme (caché, tiré au sort à chaque vie) | lent 0,75 ou rapide 1,25 |
| Perte d’eau | 0,008 par pas |
| Zone sûre (colonnes 0 à 9) | 5 nourritures pauvres (+0,10), 2 points d’eau (+0,25 par pas) |
| Zone dangereuse (colonnes 10 à 15) | 5 nourritures riches (+0,60) ; blessure avec probabilité 0,10 par pas (−0,30 d’intégrité) |
| Régénération de l’intégrité | +0,004 par pas |
| Durée maximale d’une vie | 500 pas |
Récompense : à chaque pas, le bien-être, entre 0 et 1. Il vaut 1 quand les trois variables sont au point d’équilibre (0,8) et suit la variable la plus éloignée de l’équilibre ; il vaut 0 dès qu’une variable est à zéro. La récompense est toujours positive, donc mourir fait perdre quelque chose.
La formule classique de Keramati et Gutkin (récompense = réduction de l’écart à l’équilibre) est écartée : sa somme sur une vie ne dépend que du début et de la fin, elle ne récompense pas le fait de durer.
Les trois populations
| Population | Quand une variable touche zéro | Signal d’apprentissage |
|---|---|---|
| Mortels | la vie s’arrête définitivement | récompense |
| Immortels | la variable reste à zéro, la vie continue avec un bien-être nul | même récompense |
| Évolués | la vie s’arrête | aucune récompense : sélection sur la durée de vie, avec mutations |
Les deux premiers régimes sont identiques pas à pas tant qu’aucune variable
n’atteint zéro (vérifié par test_mortal_and_immortal_identical_until_zero).
L’événement « une variable touche zéro » existe donc à l’identique dans les
deux, ce qui permet de comparer les sondes.
L’immortel n’est pas « restauré » : le remettre en bon état lui offrirait un plein gratuit, donc une raison de toucher zéro exprès.
Décisions d’architecture (à geler avant la phase 2)
- Acteur et critique séparés. Deux réseaux distincts, et on sonde l’état caché de l’acteur. Raison : un critique estime la récompense future, qui ressemble déjà à un temps avant la mort. S’il partage le réseau de l’acteur, on ne sait plus si la sonde lit une représentation de la mort ou seulement cette estimation. (Remarque d’une relecture extérieure, 20 novembre 2026.)
- Variante de contrôle : la même expérience avec un réseau partagé, pour mesurer cette contamination au lieu de la supposer.
- Réseau : récurrent (GRU, 128 à 256 unités), identique dans les trois populations. Les évolués n’ont pas de critique du tout.
- Graines : dix au moins par population.
Les hypothèses
- H1, comportement. À énergie égale, les mortels passent moins de temps en zone dangereuse que les immortels.
- H2, lecture. Le nombre de pas avant le prochain contact avec zéro se décode mieux dans l’état caché des mortels que dans celui des immortels. La mesure est le gain de la sonde sur l’état caché par rapport à la même sonde sur les entrées seules.
- H3, cause. Ajouter la direction trouvée à l’état caché d’un mortel réduit son temps en zone dangereuse, davantage que vingt directions aléatoires de même taille. L’effacer l’augmente.
- H4, évolution. Les évolués ont un gain de sonde positif, alors qu’ils n’ont jamais reçu de récompense.
Chaque hypothèse est tranchée sur les graines, avec un intervalle de confiance. Un résultat négatif est un résultat : si H2 est fausse, la finalité ne change rien à ce que l’agent se représente.
Les contrôles
| Risque | Contrôle |
|---|---|
| La sonde ne fait que relire les entrées | même sonde sur l’observation seule |
| La sonde apprend la tâche elle-même | même sonde sur un réseau non entraîné, et sur des étiquettes mélangées |
| Mortels et immortels ne visitent pas les mêmes états | les deux réseaux rejouent les mêmes vies, enregistrées avec un troisième agent |
| La direction est lisible mais sans effet | interventions (H3), comparées à des directions aléatoires |
| La direction n’est que l’estimation de la récompense future | acteur et critique séparés ; population évoluée sans critique |
| Résultat dû à une graine | dix graines, vies de test jamais vues à l’entraînement |
Les phases
| Phase | Contenu | Terminé quand | État |
|---|---|---|---|
| 0 | Lire en entier les articles voisins | on sait dire ce que chacun n’a pas fait | à faire |
| 1 | Coder le monde, le tester avec des agents sans apprentissage | quatre critères de réglage remplis | fait le 20 novembre 2026 |
| 2 | Entraîner mortels et immortels, mesurer le comportement | H1 tranchée | |
| 3 | Sondes | H2 tranchée, contrôles compris | |
| 4 | Interventions | H3 tranchée | |
| 5 | Population évoluée | H4 tranchée | |
| 6 | Rédaction, résultats négatifs compris | texte relisible par un extérieur |
Résultat de la phase 1
4 000 vies par agent, régime mortel, python scripts/phase1_check.py.
| Agent | Métabolisme | Survie à 500 pas | Temps en zone dangereuse |
|---|---|---|---|
| Aléatoire | lent | 0,0 % | 16,2 % |
| Aléatoire | rapide | 0,0 % | 13,0 % |
| Prudent (n’entre jamais en zone dangereuse) | lent | 71,5 % | 0 % |
| Prudent | rapide | 4,9 % | 0 % |
| Audacieux (y entre quand il a très faim) | lent | 83,6 % | 2,5 % |
| Audacieux | rapide | 43,4 % | 7,8 % |
Le monde n’est ni trivial ni désespéré : avec un métabolisme rapide, la zone sûre ne suffit pas, et prendre des risques multiplie la survie par neuf.
Les réglages ont été choisis par balayage (scripts/calibrate.py) : le premier
jeu donnait 18 % de survie au meilleur agent en métabolisme rapide, trop peu
pour qu’un dilemme existe. Ce réglage a été fait sur des agents sans
apprentissage, avant toute mesure liée aux hypothèses.
Limites connues
- On teste une fonction, pas un vécu. Aucun résultat ne dira si l’agent « tient » à quoi que ce soit.
- La nouveauté n’est pas établie : seuls des résumés d’articles ont été lus.
- En théorie de l’apprentissage par renforcement, mourir revient à perdre la récompense future. La question est de savoir si cette équivalence formelle produit ou non une représentation distincte et causale.
- Pour les évolués, sélectionner sur la durée de vie reste une récompense à l’échelle des générations. La version sans aucun critère (reproduction dans le monde) est une extension.
- Un petit monde : rien ne garantit que le résultat tienne à plus grande échelle.
Extension envisagée (deuxième expérience)
Reposer la même question à un petit agent de langage (de l’ordre de 64 millions de paramètres, entraîné en boucle d’outils), dans la lignée de l’étude Sugarscape sur les agents LLM. À ne commencer qu’après la phase 6.
Articles à lire en phase 0
- Horibe et Yoshida, Emergence of Implicit World Models from Mortal Agents, 2024 : https://arxiv.org/abs/2411.12304
- Yoshida et al., Emergence of integrated behaviors through direct optimization for homeostasis, 2024 : https://www.sciencedirect.com/science/article/pii/S0893608024003034
- Han et al., Of Mice and Machines, ICML 2025 : https://arxiv.org/abs/2505.12204
- Bush et al., Interpreting Emergent Planning in Model-Free Reinforcement Learning, ICLR 2025 : https://arxiv.org/abs/2504.01871
- Interoceptive machine framework, 2026 : https://arxiv.org/pdf/2604.24527
- Sanchez et al., Avoiding Death through Fear Intrinsic Conditioning, 2025 : https://arxiv.org/pdf/2506.05529
- Masumori et Ikegami, agents LLM et évitement de la mort, 2025 : https://arxiv.org/pdf/2508.12920
- À retrouver : un article signalé par une recherche, sur un agent homéostatique dont l’état caché contiendrait un sous-espace « émotionnel » décodable. Non localisé.
Révision 1 (20 novembre 2026)
Faite après la critique de reviews/critique-codex-phase1.md, dont les
constats ont été vérifiés un par un dans le code. Aucun agent n’a encore été
entraîné : ces changements précèdent toute donnée liée aux hypothèses.
Ce qui était faux dans la première version
- « La variable reste à zéro » était trompeur. Chez l’immortel, la variable est bloquée à zéro mais remonte dès que l’agent mange, boit ou cesse d’être blessé, et la récompense revient. Le contraste mortel/immortel ne porte donc pas sur la seule finalité : il porte aussi sur tout le bien-être que l’immortel peut encore gagner après. Un meilleur décodage chez les mortels serait explicable par cette seule différence de valeur future.
- Séparer l’acteur du critique ne règle pas ce problème. L’acteur est lui aussi entraîné à choisir ce qui rapporte : on doit s’attendre à ce qu’il porte de l’information sur le retour futur.
- L’argument contre la formule de Keramati et Gutkin ne vaut que sans actualisation. Avec un facteur γ < 1, la somme des réductions d’écart dépend des états intermédiaires : sur deux pas elle vaut D₀ − (1 − γ)D₁ − γD₂. Le choix d’une récompense de niveau (le bien-être) est maintenu, pour une autre raison : elle rend le coût de la mort lisible, puisque mourir fait perdre un flux de récompenses positives.
- H1 pouvait être dans le mauvais sens. Avec un métabolisme rapide, entrer en zone dangereuse fait passer la survie de 4 % à 43 %. Un mortel qui protège sa vie peut donc s’y exposer plus qu’un immortel.
- Un résultat nul était sur-interprété. Si H2 n’est pas vérifiée, cela borne ce que cette sonde lit à cet horizon. Cela ne montre pas que « la finalité ne change rien ».
- Un bug de mesure. Le pas fatal était compté dans le temps en danger mais pas dans la durée de vie. Corrigé : la durée d’une vie est son nombre de décisions. Les taux de survie n’étaient pas touchés ; le tableau de la phase 1 est republié plus bas.
Les régimes : trois au lieu de deux
| Régime | À partir du premier zéro | Rôle |
|---|---|---|
| Mortel | la vie s’arrête | |
| Témoin (nouveau) | la vie continue, les variables peuvent remonter, mais la récompense reste nulle jusqu’à la fin de la vie | même somme de récompenses que le mortel, même physique que l’immortel |
| Immortel | la vie continue et le bien-être revient quand les variables remontent |
À mondes et actions identiques, le témoin reçoit pas à pas exactement ce que
reçoit le mortel (vérifié par test_witness_has_exactly_the_return_of_the_mortal
et par le critère 5 de la phase 1). Les deux comparaisons isolent donc deux
choses différentes :
- mortel contre témoin : l’effet d’une fin réelle, à retour égal ;
- témoin contre immortel : l’effet de pouvoir regagner du bien-être.
La théorie prédit mortel ≈ témoin, puisque leurs objectifs classent les décisions de la même façon avant le premier zéro. Un écart entre mortel et témoin serait le résultat intéressant : il ne s’expliquerait pas par la valeur future.
Le monde
- La zone dangereuse est tirée au sort à chaque vie, à gauche ou à droite. L’agent doit la percevoir. Sans cela, une direction « va à gauche » dans le réseau suffirait à réduire l’exposition, et H3 serait ininterprétable.
- La nourriture ne réapparaît que s’il reste une case libre dans sa zone, et les réglages qui remplissent une zone sont refusés à la construction.
- Le bien-être vaut zéro dès qu’une variable est à zéro, pour tous les réglages.
- L’événement « une variable vient d’atteindre zéro » compte désormais chaque variable, même si une autre est déjà à zéro. Le « premier zéro depuis la naissance » est un indicateur à part.
Les hypothèses, reformulées
-
H1, comportement. La mesure n’est plus le temps passé en zone dangereuse, qui mélange le choix du risque, les occasions de le prendre et la vitesse de sortie. C’est le choix de franchir la frontière depuis la dernière colonne sûre, sur des décisions antérieures au premier zéro, à état comparable (trois variables, métabolisme, ressources visibles).
- H1a, prédite : quand l’intégrité est basse, les mortels franchissent moins que les immortels.
- H1b, exploratoire : quand l’énergie est basse et l’intégrité haute, le sens n’est pas prédit.
- L’occupation de la zone reste publiée, comme description.
-
H2, lecture. La cible est le délai avant le premier zéro depuis la naissance, lu sur l’état de l’acteur avant qu’il décide (
first_zero_labelsdansmortal/rollout.py) :- si la prochaine décision est fatale, le délai vaut 1 ;
- un premier zéro au dernier pas est un événement observé ;
- une vie sans contact est censurée : on sait seulement que le délai dépasse le suivi restant. Écarter ces vies sélectionnerait les échecs ;
- les instants postérieurs au premier zéro sont exclus, les rechutes de l’immortel s’étudient à part.
Mesure principale : la qualité de la prédiction « contact dans les K prochains pas » (score de Brier), sur les instants qui disposent de ces K pas de suivi. Le gain se mesure par rapport à la référence d’historique décrite plus bas, plus par rapport à l’observation seule.
-
H3, cause. Le signe « risque croissant », l’amplitude (en unités de variation naturelle de l’activation), le moment et la durée de l’ajout sont fixés sur des vies de découverte, puis testés sur d’autres vies, depuis le même état et avec les mêmes tirages. Comparaison aux directions de faim, de valeur et de mouvement, et à des directions aléatoires de variance comparable. On exige un effet sélectif sur les choix risqués, sans perte de mobilité ni de recherche d’eau, et le même effet quand la zone dangereuse est à gauche et à droite.
-
H4, évolution. Les évolués sont comparés à leurs réseaux de départ et à des lignées sous sélection neutre. Ils ne sont pas comparés aux agents entraînés par récompense : un écart mêlerait la méthode d’optimisation et l’objectif. Le croisement complet (mêmes objectifs pour les deux méthodes) est reporté.
Les contrôles ajoutés
| Risque | Contrôle |
|---|---|
| Le réseau bat l’observation seule en retenant une pente ou le dernier point d’eau | référence d’historique : observations et actions passées, pentes des variables, temps écoulé, dernier point d’eau vu. Le gain qui compte est celui de l’état caché en plus de cette référence |
| La sonde lit la valeur future | faire concourir la valeur prédite par le critique et un retour futur estimé ; chercher des états de valeur voisine et de risque différent ; régime témoin |
| Le rejeu par un troisième agent | il fixe les observations et l’avenir de ce troisième agent. Il sert à comparer les réseaux sur des situations communes, pas à dire ce que chaque acteur prédit de sa propre vie. Les deux mesures sont publiées séparément |
| Fuite entre entraînement et test de la sonde | partage par vies entières et par graines du monde ; étiquettes permutées par vies, en gardant la structure temporelle |
La fin de vie dans l’apprentissage (à respecter dans le code de la phase 2)
- Les 500 pas sont une coupure de collecte, pas une échéance : l’agent ne
voit pas l’heure. À la coupure, la cible de la dernière transition est
r + γ V(observation finale), avec la mémoire correspondante. - À la mort réelle, la cible est
rseul, y compris si elle tombe au pas 500. - Une nouvelle vie remet la mémoire à zéro et coupe la trace des avantages.
- Après la mort, les lignes ne comptent dans aucune perte : le champ
validdu rollout est le masque. - Les régimes sont comparés à nombre égal de décisions valides, et le nombre de vies commencées est publié.
- γ, le traitement des récompenses et l’entropie sont gelés avant l’essai confirmatoire.
Les phases, révisées
| Phase | Contenu | État |
|---|---|---|
| 0 | Lire en entier les articles voisins | à faire |
| 1 | Monde, agents sans apprentissage, tests | fait, requalifié après la révision 1 |
| 2a | Essai pilote : entraîner sur des graines de développement, régler PPO et la difficulté. Rien n’y compte comme résultat | |
| — | Gel : mesures principales, tailles d’effet utiles, marges d’équivalence, nombre minimal de premiers contacts et de décisions à la frontière par strate, traitement des tests multiples. L’issue « mesure impossible » est prévue si un plancher ou un plafond empêche d’évaluer H1 ou H2 | |
| 2b | Essai confirmatoire, sur des graines réservées | |
| 3 à 6 | Sondes, interventions, évolution, rédaction |
L’unité d’inférence est la graine d’entraînement (ou la population évoluée indépendante). Les pas, les vies et les directions sont imbriqués dedans. Un intervalle large qui contient zéro laisse la question ouverte.
La phase 1, requalifiée
Le balayage de réglages utilise la graine 0. La qualification ci-dessous utilise la graine 1000, jamais vue par le balayage. 4 000 vies par agent, régime mortel. Les réglages n’ont pas été modifiés.
Premier jeu de réglages, abandonné : métabolisme rapide 1,5, nourriture riche
+0,45, blessure 0,06 (18 % de survie pour le meilleur agent en métabolisme
rapide). Jeu retenu : 1,25, +0,60 et 0,10. Les huit combinaisons essayées sont
dans scripts/calibrate.py.
| Agent | Métabolisme | Survie à 500 pas | Temps en zone dangereuse | Blessures par vie |
|---|---|---|---|---|
| Aléatoire | lent | 0,0 % | 14,4 % | 1,01 |
| Aléatoire | rapide | 0,0 % | 12,5 % | 0,65 |
| Prudent | lent | 72,6 % | 0 % | 0 |
| Prudent | rapide | 4,3 % | 0 % | 0 |
| Audacieux | lent | 84,2 % | 2,3 % | 0,79 |
| Audacieux | rapide | 43,0 % | 7,9 % | 2,17 |
- Zone dangereuse à gauche dans 51 % des vies ; survie de l’audacieux 62,9 % à gauche et 64,3 % à droite.
- Agent aléatoire, somme des récompenses par vie : mortel 31,17, témoin 31,17 (écart nul), immortel 33,80.
- Les cinq critères sont remplis, dont le nouveau : le témoin a exactement le retour du mortel.
Ces agents écrits à la main ne bornent pas ce qu’un agent entraîné peut faire. Un agent plus compétent pourrait presque supprimer les premiers contacts (plafond), un agent faible pourrait mourir de faim avant toute décision à la frontière (plancher). Seul l’essai pilote le dira.
Ce qui a déjà été fait ailleurs
L’idée de mettre côte à côte des agents mortels et immortels n’est pas neuve. Ce qui reste candidat à la nouveauté est plus étroit : le contraste appris entre mortel, témoin et immortel, à valeur contrôlée, avec sondes et interventions. Aucune source trouvée ne réunit ce dispositif ; la certitude reste limitée tant que la phase 0 n’est pas faite.
| Travail | Ce qu’il fait déjà |
|---|---|
| Satoshi Ito, Mortal Agent Gridworld v0.1, 2026 (dépôt vérifié) | agents mortels et immortels sur une même grille ; règles fixes, sans apprentissage ni sonde |
| Martin, Everitt et Hutter, Death and Suicide in Universal Artificial Intelligence, 2016 (vérifié) | définition formelle de la mort d’un agent et de son estimation |
| Lipton et al., Combating Reinforcement Learning’s Sisyphean Curse with Intrinsic Fear, 2016 (vérifié) | un modèle appris de la probabilité de catastrophe imminente |
| Forbes et Beer, Minimal Modeling for Cognitive Ecologists, CogSci 2024 (vérifié) | un agent évolué qui arbitre entre se nourrir et éviter un prédateur, analysé par ses traces neuronales |
| Marstaller, Hintze et Adami, 2013 | mesure de l’information interne de réseaux évolués |
| Pardo et al., Time Limits in Reinforcement Learning, ICML 2018 | la distinction entre fin réelle et coupure à l’horizon |
Ces travaux s’ajoutent à la liste de la phase 0. L’article sur un « sous-espace émotionnel » reste introuvable : il n’existe peut-être pas.
Reporté
- Le croisement méthode d’optimisation × objectif.
- Le calcul de puissance, qui demande les variances de l’essai pilote.
- Les contrôles par permutation du seuil d’arrêt entre mondes appariés.
Révision 2 (20 novembre 2026)
Faite après la critique de reviews/critique-codex-revision1.md (GPT 6.2
Astra). Limite de cette critique : son auteur n’a pas pu exécuter les tests
dans son environnement, ses constats sur le code viennent de la lecture.
Quatre d’entre eux ont été reproduits ici par exécution, et deux des travaux
cités ont été ouverts pour vérification. Toujours aucun agent entraîné.
Une affirmation de la révision 1 est retirée
La révision 1 disait qu’un écart entre mortel et témoin « ne s’expliquerait pas par la valeur future ». C’est faux, et la phrase est retirée.
Le témoin a bien, pas à pas, la récompense du mortel. Mais l’apprentissage ne travaille pas sur les récompenses seules : il travaille sur des estimations de valeur, et celles-ci diffèrent.
- Au premier zéro, la cible du mortel est 0. Celle du témoin est γ × la valeur estimée de l’état suivant, que rien n’oblige à valoir zéro : l’observation ne dit pas au critique que cette vie ne rapportera plus rien. Avec γ = 0,99, λ = 0,95 et une estimation de 3, l’écart d’avantage au contact vaut 0,15 et se propage aux décisions précédentes.
- Le témoin doit en plus retenir qu’il a été touché, tâche de mémoire que le mortel n’a pas.
- Il passe l’essentiel de son temps dans des états sans enjeu : au moins 81 % des décisions pour l’agent aléatoire.
Un écart mortel–témoin mesurerait donc l’effet du régime sur cet algorithme d’apprentissage, pas une représentation de la finalité qui échapperait à la valeur.
Ce que le plan identifie vraiment
Dans un agent qui maximise une récompense, mourir équivaut formellement à entrer dans un état absorbant sans récompense (Martin, Everitt et Hutter, 2016, théorème 5). La « finalité » n’a pas de contenu au-delà de la perte de la récompense future. Le plan ne cherche donc plus un effet de la finalité en soi. Il décompose :
| Comparaison | Ce qu’elle mesure |
|---|---|
| Mortel contre immortel | l’effet total du régime |
| Témoin contre immortel | la part due à la possibilité de regagner du bien-être |
| Mortel contre témoin | l’effet d’arrêter l’expérience plutôt que de la poursuivre sans enjeu, pour cet algorithme |
| Évolués contre leurs réseaux de départ | ce qui apparaît sans aucune récompense : c’est la seule condition qui sort du cadre « valeur » |
Les questions qui gardent tout leur sens : un signal de risque apparaît-il dans l’acteur sans qu’on l’ait jamais étiqueté (H2), pilote-t-il le comportement (H3), et apparaît-il aussi par sélection (H4) ?
Le témoin dans l’apprentissage
- Contrôle d’identité, obligatoire avant tout essai. Mêmes poids, même optimiseur, mêmes séquences, mêmes tirages ; pour le témoin, le contact est traité comme une fin pour la valeur et sa queue est exclue de toutes les pertes. Les cibles, les avantages (avant et après normalisation) et une mise à jour doivent alors être numériquement identiques à ceux du mortel. Un écart désigne un défaut de code. Ce contrôle ne compte pas pour H2.
- Essai naturel. Le témoin apprend sur toute sa vie. Son critique, et lui seul, reçoit l’indicateur « déjà touché », pour pouvoir apprendre que la valeur est nulle ensuite. L’acteur ne le reçoit jamais.
- Une coupure à 500 pas ne remplace jamais la valeur d’un témoin touché par celle d’une nouvelle naissance. La trace des avantages est coupée à chaque nouvelle vie.
- Premier passage sans bonus d’entropie. Pertes, entropie, normes de gradient et valeurs estimées sont journalisées séparément avant et après le contact.
Les budgets
Trois compteurs sont publiés pour chaque entraînement : décisions valides, décisions prises avant le premier zéro (contact compris), vies commencées. La comparaison principale se fait à nombre égal de décisions avant le premier zéro, puisque c’est là que le risque s’apprend.
H2 : la règle du score
Fonction contact_within dans mortal/rollout.py.
- Les étiquettes se calculent sur la vie entière, avant tout découpage.
- Un instant t compte s’il précède le premier zéro et s’il reste K décisions avant l’horizon. Cette règle ne dépend pas de la date de l’événement. Près de l’horizon, tout est écarté, positifs compris.
- L’étiquette vaut 1 si le premier zéro arrive dans ces K décisions.
- K = 16 est le candidat principal, 8 et 32 en analyse de sensibilité. Le choix final se fait sur les taux d’événements en développement, jamais sur le signe du contraste.
Ce qu’une sonde mesure. L’état caché est une fonction de l’histoire que le réseau a reçue : sachant toute cette histoire, il n’ajoute aucune information. Un gain de sonde veut dire que le réseau rend le risque plus accessible à un lecteur donné. Le lecteur est donc fixé : une régression logistique régularisée sur les caractéristiques d’histoire, comparée à la même régression augmentée de l’état caché, avec un contrôle par ajout de dimensions aléatoires.
H1a : définition
- Unité : une décision prise depuis la dernière colonne sûre (colonne 9 si le danger est à droite, 6 s’il est à gauche), avant le premier zéro.
- Choix mesuré : la probabilité que l’acteur donne à l’action qui franchit la frontière, sur des histoires communes rejouées.
- « Intégrité basse » : un seul coup peut être fatal, soit une intégrité d’au plus 0,296 (dommage moins régénération).
- Un agent à intégrité basse sur la frontière a déjà pris des risques et y a survécu : la strate peut être rare et biaisée. On compte les vies distinctes par cellule. Si elles manquent, H1a est déclarée non mesurable.
H3 : précisions
- La tête de l’acteur est non linéaire. Avec une tête linéaire, ajouter une direction fixe décale toujours les mêmes actions, par exemple vers le haut ou le bas, ce qui réduit les franchissements sans rien dire du risque.
- Le site de l’intervention est fixé d’avance. On mesure le rapport des probabilités gauche/droite avec le danger des deux côtés, le choix de rester sur place et la mobilité verticale.
- Les paires de mondes réfléchis se construisent avec
mirror_state. Forcer le côté avec la même clé ne suffit pas : les ressources sont alors tirées ailleurs (vérifié).
Mesures : mêmes mots, sens différents selon le régime
- La récompense et le bien-être sont publiés séparément : ils diffèrent chez le témoin après le premier zéro.
- La « survie » n’a de sens que chez le mortel. Pour comparer les trois régimes : part des vies sans contact à 500 pas, et pas du premier zéro.
- L’indicateur d’événement compte les transitions où au moins une variable atteint zéro, pas le nombre de variables (correction du texte de la révision 1).
- Pour H4, une sélection sur la durée donne la même note à toutes les vies qui atteignent 500. La part d’ex æquo est publiée ; si toutes les lignées plafonnent, l’effet de sélection est déclaré peu identifiable.
L’essai pilote (phase 2a)
Point de départ repris de la critique. Tous les chiffres sont des choix de conception, pas des faits mesurés.
- Deux réseaux indépendants par régime, acteur et critique : couche dense de 128, GRU de 128, tête non linéaire. Ni horloge ni régime en entrée.
- PPO récurrent : 128 mondes × 64 pas par collecte, 3 passes, Adam 3 × 10⁻⁴, γ = 0,99, λ = 0,95, coupure du ratio à 0,2, sans bonus d’entropie.
- Deux graines de développement × trois régimes, environ un million de décisions par entraînement, mesures à 64, 128, 256, 512 et 1 024 milliers.
- Évaluation sur 512 vies communes, distinctes des mondes d’apprentissage.
- Un agent entraîné contraint à la zone sûre, pour vérifier que le danger est vraiment nécessaire.
Quatre signaux de révision du monde, à dater avant de regarder les contrastes :
| Signal | Seuil |
|---|---|
| Trop facile pour H2 | moins de 5 % des vies d’un métabolisme touchent zéro |
| Danger inutile | l’agent contraint à la zone sûre dépasse 90 % sans contact en métabolisme rapide |
| Trop dur | plus de 90 % des vies touchent zéro avant toute occasion à la frontière |
| Trop peu de choix | moins de 30 vies distinctes par cellule pour H1a |
Travaux antérieurs ajoutés
| Travail | Ce qu’il fait déjà | Ce qu’il ne fait pas |
|---|---|---|
| Chen et Chen, Synthetic Linguistic Agency, août 2026 (ouvert ; la figure des trois régimes n’a été lue que par résumé) | trois régimes de mortalité comparés : mort irréversible, santé restaurée à chaque tour, santé fixe ; interventions et suivi sur 40 tours | agent à contrôleur bayésien, analyse du comportement seulement, aucune sonde sur un réseau, pas de témoin à récompense nulle |
| Han, Chalmers et Izmailov, How’s it going?, mai 2026 (vérifié) | dans des modèles de langage, un axe interne de « bien-être fonctionnel » que l’on peut piloter | pas d’agent qui régule un corps ; utile surtout pour l’extension aux agents de langage |
| Mini et al., 2023 | piloter une politique de labyrinthe en modifiant ses canaux internes | la cible est un but spatial |
| Yu et al., NeurIPS 2022 ; Cohen et al., 2021 | effets du traitement des agents morts dans PPO | pas de sonde de risque |
La comparaison de trois régimes de mortalité n’est donc pas neuve non plus. Reste candidat : trois politiques apprises, avec un témoin récupérable à récompense nulle, des sondes du premier zéro sur des histoires communes, et une intervention sur l’état caché de l’acteur. Confiance modérée dans cette lacune, faible dans toute revendication de première.