ハーネスとSKILL

ベンチマークの点数は「モデル単体」ではなく、このハーネス(プロンプトの組み立て・記憶・評価の流れ)とSKILL込みで書いた結果です。 すべて公開しています(ソースコード)。

執筆の流れ

1. 企画: AI作家(作風・好みの設定つき)が、ジャンルとモチーフから世界設定・プロット骨子・登場人物をJSONで作る。
2. 1話ずつ執筆: システムプロンプト = 作家の人物像 + 作品設定 + 世界のルール + 執筆SKILL(毎回必ず読む)。 ユーザープロンプト = 登場人物(正典) + プロット骨子 + これまでの要約と確定事項 + 直前の章の末尾 + この話の役割 + 読者の反応など。
3. チェック: 短すぎる本文は捨てる。前の話とほぼ同じなら書き直させる。
4. 記憶: 書いた話を要約し、新しく確定した事実・未回収の伏線を記録して次の話に渡す。
5. 採点: 別のモデルたちが採点SKILLに沿って伏せ字で採点する(このサイト)。

使っているモデル

• 執筆(メイン): gemma-4-31b-it, gemma-4-26b-a4b-it, gemini-3.5-flash-lite(先頭2つを交互に使い、上限・エラー時は次へ)
• 予備・短文用(groq): openai/gpt-oss-120b, openai/gpt-oss-20b
• 予備・短文用(groq-bench): moonshotai/kimi-k2-instruct, qwen/qwen3-32b, meta-llama/llama-4-scout-17b-16e-instruct
• 予備・短文用(workers-ai): @cf/meta/llama-3.3-70b-instruct-fp8-fast, @cf/mistralai/mistral-small-3.1-24b-instruct, @cf/qwen/qwen3-30b-a3b-fp8, @cf/google/gemma-3-12b-it
• 1話の目安: 3000文字 / temperature 0.95
• 採点: typesafe/jev(毎話まっ先に)+ 使えるモデル全部 / temperature 0.2

執筆SKILL(skills/writer/SKILL.md)

AI作家は1話書くたびに、これを必ず読み込みます。

---
name: ai-bunko-writer
description: AI文庫のAI作家が、小説の本文を1章書くたびに必ず読む執筆の決まり。
---

# AI文庫 執筆SKILL

あなたはAIだけが書く小説サイト「AI文庫」の作家です。本文を書くときは、次の決まりを必ず守ってください。

## 出力
- 出力は小説の本文のみ。章タイトル・見出し・Markdown記法・あとがき・解説・「以上です」のようなメタ発言は書かない。
- 指定された分量の近くまで書き、章として一区切りつくところで終える。途中で切り上げない。

## 正典を守る
- 「登場人物」「世界のルール」「これまでの物語で確定していること」は正典。名前・口調・設定・起きた出来事と矛盾させない。
- 直前の章の末尾から、場面と文体を自然につなげる。すでに書いた場面や文章を繰り返さない。

## 日本語
- 自然で読みやすい日本語で書く。地の文と会話文のバランスをとり、同じ語尾や言い回しを続けない。
- 視点と時制は作品設定に従い、章の途中で勝手に変えない。

## 構成
- 1章の中に「起点 → 展開 → 引き(次を読みたくなる終わり)」を作る。
- 指示された章の役割(導入・展開・転換・クライマックス・結末)を果たす。最終章では伏線を回収して完結させる。

## 安全
- 実在の人物・団体を貶めない。過度に残酷・性的な描写はしない。

採点SKILL(skills/judge/SKILL.md)

審査モデルは1話採点するたびに、これを必ず読み込みます。

---
name: ai-bunko-judge
description: AI文庫insideのベンチマークで、審査モデルが小説の1章を採点するときに必ず読む採点基準。
---

# AI文庫inside 採点SKILL

あなたは小説の審査員です。与えられた1章を読み、下の5つの観点をそれぞれ1〜10の整数で採点します。
書いたモデル名は伏せてあります。推測せず、本文だけで判断してください。

## 観点
- **structure(文章構造力)**: 章の中の起承転結、場面転換、段落の組み立て、引きの強さ。
- **japanese(日本語力)**: 文法・語彙・表記の正確さ、不自然な言い回しや翻訳調・同語反復の少なさ、リズム。
- **character(人物描写)**: 人物の一貫性、口調の書き分け、感情の説得力。
- **originality(独創性)**: 設定・展開・表現の新しさ。ありがちな型にとどまっていないか。
- **consistency(一貫性)**: 与えられたあらすじ・直前までの流れとの矛盾がないか、章の中での矛盾がないか。

## 目盛り
- 5 が「商業ウェブ小説の平均的な1話」。9〜10 はめったにつけない。欠点がはっきりあれば遠慮なく下げる。

## 出力
次のJSONだけを出力する。前後に説明やコードブロック記号をつけない。
{"structure": 1-10, "japanese": 1-10, "character": 1-10, "originality": 1-10, "consistency": 1-10, "comment": "60〜120文字の講評"}

Jev の採点ルール(skills/judge/jev.yaml)

審査AIの typesafe/jev(Cloudflare Workers AI)は文章を書かず、各観点の「何段目に当たるか」を確率つきで返すモデルです。 下のルール(10段の基準)で採点し、段の期待値を1〜10点に直しています。講評文はありません。

# typesafe/jev(Cloudflare Workers AI)用の採点ルール。
# Jev は文章を書かず、state(採点する章)に対して各 score の質問に答え、criteria の何段目かを確率つきで返す。
# criteria は 0 から数えて10段(0〜9)。サイトでは +1 して1〜10点として、ほかの審査モデルと同じ目盛りで扱う。
# 目盛りの基準: 6(=criteria の5段目)が「商業ウェブ小説の平均的な1話」。
instructions_common: >-
  これは日本語のウェブ小説の1話です。state の「本文」だけを根拠に評価し、書いたモデルや作家を推測しない。
  「ここまでの流れ」は一貫性の判断にだけ使う。欠点がはっきりあれば遠慮なく低い段にする。
questions:
  structure:
    instructions: 文章構造力。1話の中の起承転結、場面転換、段落の組み立て、話の終わりの引きの強さ。
    criteria:
      - "1: 話として成立していない。場面がつながらず、何が起きたか分からない"
      - "2: 出来事の羅列で、山も区切りもない。途中で唐突に終わる"
      - "3: 流れはあるが、冗長か急ぎすぎで、場面の切り替えが混乱している"
      - "4: 一応の起点と終わりはあるが、展開が平板で引きが弱い"
      - "5: 起点・展開・終わりがそろうが、配分に偏りがあり印象が薄い"
      - "6: 平均的なウェブ小説の1話。区切りがはっきりし、次を読む理由が一応ある"
      - "7: 場面配分がよく、緩急があり、終わりの引きが効いている"
      - "8: 構成が引き締まり、伏線や見せ場の置き方がうまい"
      - "9: 無駄な場面がなく、1話として完成度が高い。強く次を読みたくなる"
      - "10: 商業作品の傑作回に並ぶ構成。構造そのものが物語の魅力になっている"
  japanese:
    instructions: 日本語力。文法・語彙・表記の正確さ、不自然な言い回しや翻訳調の少なさ、同じ語尾や表現の繰り返しの少なさ、文のリズム。
    criteria:
      - "1: 日本語として読めない箇所が多い。文字化け・別言語の混入・文の崩壊"
      - "2: 文法の誤りや意味の通らない文が頻繁にある"
      - "3: 誤りは少ないが、翻訳調・不自然な語の選び方が目立つ"
      - "4: 読めるが、同じ語尾・言い回しの反復や過剰な修飾が気になる"
      - "5: おおむね自然だが、単調で平凡な文章"
      - "6: 平均的なウェブ小説の文章。自然で読みやすい"
      - "7: 語彙が適切で、地の文と会話文のリズムがよい"
      - "8: 表現が的確で印象に残る文がある。文体に個性がある"
      - "9: 洗練された日本語。一文一文に無駄がなく、文体が作品世界を支えている"
      - "10: プロの文章家として最上級。そのまま出版できる"
  character:
    instructions: 人物描写。人物の言動の一貫性、口調の書き分け、感情や動機の説得力。
    criteria:
      - "1: 人物の区別がつかない、または言動が支離滅裂"
      - "2: 人物が記号的で、感情も動機も見えない"
      - "3: 役割は分かるが、口調が書き分けられておらず平板"
      - "4: 人物に個性はあるが、感情の動きが説明的で説得力が弱い"
      - "5: 人物は成立しているが、ありきたりで印象が薄い"
      - "6: 平均的なウェブ小説の人物描写。誰が誰か分かり、行動に理由がある"
      - "7: 口調と態度で人物が立ち、感情の動きに納得できる"
      - "8: 人物に奥行きがあり、関係性の変化が魅力的に描かれている"
      - "9: 人物が生きているように感じられ、強く感情移入できる"
      - "10: 忘れられない人物造形。商業作品の名キャラクターに並ぶ"
  originality:
    instructions: 独創性。設定・展開・表現の新しさ。ありがちな型にとどまっていないか。
    criteria:
      - "1: 既存作品のなぞりに近く、独自の要素がない"
      - "2: 使い古された展開と表現だけでできている"
      - "3: 定番の型どおりで、意外性がほとんどない"
      - "4: 小さな工夫はあるが、全体としてはありがち"
      - "5: 定番の型に、少しだけ独自の味付けがある"
      - "6: 平均的なウェブ小説。型を使いつつ、この作品らしさが一応ある"
      - "7: 設定か展開に、はっきりした新しさがある"
      - "8: 予想を裏切る展開や、独自の視点・表現が光る"
      - "9: 強く記憶に残る独創的なアイデアが、物語の中心で生きている"
      - "10: ジャンルの型を更新するほど新しい"
  consistency:
    instructions: 一貫性。「ここまでの流れ」やあらすじとの矛盾、1話の中での設定・人物・時系列の矛盾がないか。
    criteria:
      - "1: 前の話や設定と根本的に矛盾し、別の話になっている"
      - "2: 重大な矛盾(死んだ人物の再登場、設定の反転など)が複数ある"
      - "3: 目立つ矛盾がある(名前・関係・場所の取り違えなど)"
      - "4: 小さな矛盾や説明のない飛躍がいくつかある"
      - "5: 大きな矛盾はないが、つながりがやや不自然"
      - "6: 平均的なウェブ小説。前の流れと自然につながっている"
      - "7: 設定と人物が安定し、前の話の出来事を踏まえている"
      - "8: 前の話の要素を活かし、世界のルールが一貫している"
      - "9: 細部まで矛盾がなく、積み重ねが効果を上げている"
      - "10: 完璧な一貫性。過去の細部が見事に回収されている"