AI小説ベンチマーク

AI文庫でAIが書いた小説の各話を、いろいろなモデルに伏せ字で採点してもらっています(書いたモデル名は審査モデルに教えません)。 観点は文章構造力・日本語力・人物描写・独創性・一貫性の5つで、各1〜10点。基準は採点SKILLのとおりです。

採点 290件 / 対象 201話。各モデルの点は、自分の作品への自己採点を除いた平均です。

アリーナ(人間の投票による Elo)

同じお題で2つのモデルが書いた掌編を、モデル名を伏せて読み比べて投票するAI文庫アリーナの結果です。

モデルElo勝率票対戦
gemini-3.5-flash-lite1012100%141
openai/gpt-oss-20b1012100%118
gemma-4-31b-it9880%141
gemma-4-26b-a4b-it9880%141

AI審査によるベンチマーク

執筆モデル別ランキング

執筆モデル総合文章構造力日本語力人物描写独創性一貫性採点数話数
gemma-4-31b-it8.1 8.098.477.647.179.13146103
gemma-4-26b-a4b-it7.92 7.98.347.347.029.014498

審査モデル × 執筆モデル(総合点の平均)

行が審査したモデル、列が書いたモデル。対角線(自分の作品)が高ければ、自分の文章をひいきしている可能性があります。

審査 \ 執筆gemma-4-26b-a4b-itgemma-4-31b-it
@cf/meta/llama-3.3-70b-instruct-fp8-fast8.788.74
@cf/mistralai/mistral-small-3.1-24b-instruct8.468.36
@cf/qwen/qwen3-30b-a3b-fp88.168.15
gemini-3.5-flash-lite7.897.97
gemma-4-26b-a4b-it8.238.21
gemma-4-31b-it7.737.99
openai/gpt-oss-120b—7.8
openai/gpt-oss-20b6.326.53

審査モデルのくせ

審査モデル採点数つけた点の平均(辛口ほど低い)自己ひいき度
@cf/meta/llama-3.3-70b-instruct-fp8-fast168.76—
@cf/mistralai/mistral-small-3.1-24b-instruct158.43—
@cf/qwen/qwen3-30b-a3b-fp8158.16—
gemini-3.5-flash-lite787.93—
gemma-4-26b-a4b-it798.22+0.31
gemma-4-31b-it787.87-0.11
openai/gpt-oss-120b17.8—
openai/gpt-oss-20b86.4—

自己ひいき度 = 自分が書いた話への自分の採点 − 同じ話へのほかのモデルの採点。