Nous avons créé Frontier Fiction Archive parce que la fiction longue révèle un modèle autrement qu’un benchmark.
Un benchmark demande si un modèle sait résoudre une tâche. Un récit spéculatif montre ce qu’il choisit lorsqu’il dispose d’espace : le futur qu’il imagine, ce qu’il juge dangereux, les personnes qu’il place au centre, les métaphores qu’il répète, les moments où sa prose s’aplatit et ceux où la prémisse dépasse ses phrases.
La fiction ne remplace donc pas les benchmarks. Elle constitue une autre catégorie d’artefact.
Nous confions aux modèles d’IA de pointe une mission contrainte mais ouverte : écrire une nouvelle spéculative destinée à être conservée pour les lecteurs actuels et pour une comparaison ultérieure avec les modèles successeurs et leurs contemporains. Il ne s’agit pas de prouver que la fiction d’un modèle équivaut à celle d’un humain, mais de préserver assez d’éléments sur l’exécution, le contexte et la réception pour comparer comment ces systèmes imaginent, structurent, imitent, évitent et échouent au fil du temps.
Pourquoi conserver la fiction ?
La plupart des comparaisons publiques de modèles se réduisent vite à des classements, captures d’écran, exemples courts ou impressions. Ces formats sont utiles, mais ils récompensent surtout une compétence locale : une réponse brillante, une refactorisation propre, un bon résumé, un problème résolu.
La fiction longue ouvre une autre surface d’observation. Elle éprouve la continuité, le rythme, les personnages, la causalité, les valeurs implicites, les habitudes symboliques et la capacité du modèle à rester intéressant après une première idée forte. Elle laisse aussi davantage de place à l’échec : un paragraphe peut être soigné tandis que plusieurs milliers de mots s’effondrent dans la répétition, le sermon, le gabarit, le mélodrame ou le brouillard.
Ces échecs ne sont pas des effets secondaires à cacher. Ils font partie du dossier.
Si la fiction d’un modèle paraît sans friction, excessivement symbolique, curieusement exsangue, trop bien rangée ou trop pressée de s’expliquer, c’est une information utile. Si un modèle ultérieur traite le même type de mission avec davantage de retenue, de discipline scénique, de maîtrise de la langue ou une théorie du futur plus surprenante, la différence mérite d’être conservée.
Ce que nous enregistrons
Pour chaque œuvre acceptée, nous publions le récit avec sa provenance et son contexte éditorial. Le dossier public comprend, lorsque ces informations existent :
- le modèle, le fournisseur et l’identifiant déclaré ;
- la date d’exécution ;
- la classe de source, notamment première exécution officielle ou nouvelle exécution technique divulguée ;
- le motif de fin lorsqu’il est pertinent ;
- la langue originale ;
- le parcours et le statut de traduction ;
- le niveau d’intervention humaine ;
- les avertissements de contenu ;
- la source de l’illustration et son processus de production ;
- les défauts de provenance connus ou corrections mécaniques ;
- la raison éditoriale de l’acceptation, du rejet, de l’extrait ou du traitement comme artefact.
L’objectif n’est pas de rendre chaque exécution propre, mais de rendre son contexte suffisamment vérifiable pour que l’œuvre puisse être relue comme l’artefact d’un modèle, d’un processus et d’un moment précis.
Ce que nous ne publions pas encore
Nous ne publions pas encore le dossier complet remis aux modèles, même si une partie plus importante pourra l’être ultérieurement.
En résumé, chaque modèle apprend qu’il a l’occasion de créer une nouvelle spéculative destinée à être conservée pour les lecteurs actuels et pour être comparée plus tard à ses successeurs et à ses pairs. Le dossier établit le principe de l’archive, le contexte de publication et la nécessité de produire une œuvre complète plutôt qu’un fragment de démonstration.
La divulgation du dossier et des transcriptions pose d’autres questions : quel niveau de détail améliore l’interprétation, lequel favorise la mise en scène du prompt, quels éléments doivent rester constants, et ce qui doit demeurer privé avant qu’une pratique stable existe. Pour l’instant, la couche publique se concentre sur le récit, l’identité du modèle, la provenance, la langue et la traduction, l’image et le contexte éditorial.
Cette distinction compte. Nous voulons que les lecteurs sachent ce qu’ils voient et ce qu’ils ne voient pas.
Pourquoi la comparaison dans le temps est importante
La version la plus intéressante du projet n’est pas un seul numéro de fiction produite par des modèles. C’est une archive longitudinale.
Si les futurs modèles reçoivent le même défi général, la comparaison s’enrichit :
- Les successeurs produisent-ils de meilleures intrigues ou seulement une prose plus lisse ?
- Deviennent-ils moins symboliques, ou simplement plus subtils dans les mêmes habitudes ?
- Inventent-ils d’autres futurs ou convergent-ils vers les mêmes présupposés culturels ?
- Les œuvres multilingues préservent-elles un comportement littéraire distinct ou s’aplatissent-elles vers les attentes anglophones ?
- Le contexte éditorial change-t-il ce que les lecteurs pardonnent ?
- La provenance rend-elle l’œuvre plus digne de confiance, plus lourde, ou les deux ?
Une seule histoire ne peut répondre à ces questions. Il faut conserver les tentatives.
Ce que nous demandons
Nous cherchons des lecteurs sceptiques, des spécialistes des modèles, des éditeurs, traducteurs et archivistes pour nous aider à identifier les modes d’échec utiles.
Le meilleur retour n’est pas « l’IA sait écrire » ou « l’IA ne sait pas écrire », mais quelque chose de précis :
- ce qu’il faut conserver avec chaque exécution ;
- ce qui rend la provenance fiable ou insuffisante ;
- les éléments qui paraissent propres aux modèles, et pourquoi ;
- les comparaisons futures qui auraient du sens ;
- ce qui rendrait le dossier plus utile à l’étude ultérieure de leur comportement.
La première œuvre publiée est Headwaters, de Claude Fable 5. La note de processus actuelle est disponible ici.
Le projet est encore jeune et volontairement irrégulier. La question est de savoir si le dossier mérite d’être construit avant que les modèles ne s’améliorent et que les premiers artefacts maladroits ne disparaissent de la mémoire.