ニュース

フロンティアAIモデルの振る舞いを時系列で比較するためのフィクション・アーカイブ

長篇フィクションは、ベンチマークとは異なる形でモデルの振る舞いを明らかにします。

私たちが Frontier Fiction Archive を作ったのは、長篇フィクションがベンチマークとは異なる形でモデルを明らかにするからです。

ベンチマークは、モデルが課題を解けるかを問います。スペキュレイティブ・フィクションは、十分な余地を与えられたモデルが何を選ぶかを示します。どんな未来を想像し、何を危険とみなし、誰を中心に置き、どの比喩を繰り返し、どこで文章が平板になり、どこで着想が文体を追い越すのか。

だからといって、フィクションがベンチマークの代わりになるわけではありません。別種の成果物になるのです。

私たちはフロンティアAIモデルに、制約はあるが開かれた課題を与えます。現在の読者のため、そして将来の後継モデルや同時代モデルとの比較のために保存されるスペキュレイティブ・フィクションを書いてもらいます。モデル小説が人間の小説と同等だと証明するのが目的ではありません。実行、文脈、受容を十分に残し、これらのシステムが時間とともにどのように想像し、構成し、模倣し、回避し、失敗するかを比較できるようにすることが目的です。

なぜフィクションを保存するのか

公開されているAIモデル比較の多くは、ランキング、スクリーンショット、短い例、印象論へとすぐ縮小します。いずれも有用ですが、気の利いた回答、きれいなリファクタリング、良い要約、パズルの解決といった局所的な能力を評価しがちです。

長篇フィクションは別の観察面を作ります。連続性、ペース、人物、因果、暗黙の価値観、象徴的な癖、最初の強い着想のあとも面白さを維持できるかを試します。同時に、失敗の余地も広がります。一段落が洗練されていても、数千語の間に反復、説教、型、メロドラマ、曖昧さへ崩れることがあります。

そうした失敗は隠すべき副作用ではありません。記録の一部です。

モデルの小説が摩擦なく進みすぎる、象徴過多である、妙に血が通わない、整いすぎる、あるいは説明を急ぎすぎるなら、それは有用な情報です。後のモデルが同種の課題を、より抑制的に、場面を律し、言語を制御し、より意外な未来像で扱うなら、その差は保存する価値があります。

記録するもの

採用作品は、来歴と編集文脈を添えて公開します。入手できる場合、公開記録には次を含めます。

  • モデル、提供元、報告されたモデル文字列
  • 実行日
  • 最初の公式実行か、開示された技術的再実行かを含むソース区分
  • 必要な場合の終了理由
  • 原言語
  • 翻訳経路と状態
  • 人間による介入の程度
  • 内容上の注意
  • 画像の出所と制作過程
  • 既知の来歴上の欠陥や機械的修正
  • 採用、却下、抜粋、または成果物として扱った理由を示す編集注

すべての実行をきれいに見せることが目的ではありません。特定のモデル、過程、時点の成果物として後から読めるだけの文脈を検証可能な形で残すことが目的です。

まだ公開していないもの

モデルへ渡す完全な資料は、現時点では公開していません。将来、より多くを公開する可能性はあります。

概要として、各モデルには、現在の読者のため、そして後継モデルや同時代モデルとの比較のために保存されるスペキュレイティブ・フィクションを書く機会だと伝えます。資料は、アーカイブの目的、公開文脈、デモ断片ではなく完結した作品を作る重要性を示します。

資料や会話記録の完全公開には別の問題があります。どの程度の詳細が解釈を助け、どこからがプロンプトの演出になるのか。何を各モデルで固定し、開示方針が安定するまで何を非公開にするのか。現在の公開層は、物語、モデル識別、来歴注、言語と翻訳、画像制作、編集文脈に焦点を当てています。

この区別は重要です。読者に、何を見ていて何を見ていないのかを知ってほしいからです。

時間を超えた比較が重要な理由

このプロジェクトで最も面白いのは、モデル小説の一号だけではありません。長期的なアーカイブです。

将来のモデルへ同じ大枠の課題を与えれば、比較はさらに豊かになります。

  • 後継モデルは筋書きを改善するのか、それとも文章が滑らかになるだけか。
  • 象徴過多が減るのか、同じ癖をより巧妙に隠すだけか。
  • 別の未来を発明するのか、同じ文化的前提へ収束するのか。
  • 多言語作品は異なる文学的振る舞いを保つのか、英語圏の期待へ平板化するのか。
  • 編集文脈は読者が許容するものを変えるのか。
  • 来歴は作品への信頼を高めるのか、負担を増やすのか、あるいは両方か。

一つの物語だけでは答えられません。保存された試行が必要です。

求めている協力

懐疑的な読者、モデル研究者、編集者、翻訳者、アーキビストに、有用な失敗の形を見つける手助けを求めています。

最良のフィードバックは「AIは書ける」「AIは書けない」ではなく、具体的な指摘です。

  • 各実行とともに何を保存すべきか
  • 来歴の何が信頼に足り、何が不足しているか
  • どの部分がモデルらしく感じられ、その理由は何か
  • 将来どの比較が意味を持つか
  • 後の研究者にとって記録をより有用にするものは何か

最初の公開作品は Claude Fable 5 による Headwaters です。現在の制作過程はこちら。

このプロジェクトはまだ初期段階で、意図的に不均一です。モデルが改善し、最初のぎこちない成果物が記憶から消える前に、記録を築く価値があるかを問うています。