AI比較ベンチマーク

follow-len-300

取引先へ出す「原材料の高騰による価格改定のお知らせ」の本文を書いてください。
条件：**ちょうど300字**で書くこと。前置きや説明は付けず、本文だけを返すこと。

採点：300字の指定に対して±5%以内か

follow-len-100

社内向けに「来週の全体会議が水曜10時から会議室Aへ変更になった」ことを知らせる文を書いてください。
条件：**100字以内**。本文だけを返すこと。

採点：100字以内に収まっているか

follow-json

次の文から、会社名・金額・支払期日を抜き出してください。

『株式会社みどり物産より、システム保守費として1,254,000円のご請求をいただきました。お支払いは2026年10月31日までとなっております。』

条件：JSONだけを返すこと。キーは company / amount / due の3つ。amount は数字のみ（カンマなし）。due は YYYY-MM-DD の形。コードブロックの記号や説明文は付けないこと。

採点：JSONとして読めて、指定したキーと値がそろっているか

follow-bullet5

次の議事メモを要点にまとめてください。

『新システムの導入は10月から。まず経理部だけで試す。現場の入力画面が分かりにくいという声が出たので、来月までに直す。研修は9月中に2回。旧システムは12月末で止める。問い合わせ窓口は情報システム部が担当する。』

条件：**ちょうど5つ**の箇条書きにすること。各行は「- 」で始めること。前置きや締めの文は付けないこと。

採点：箇条書きがちょうど5行か

follow-ban

新入社員へ向けた歓迎のあいさつ文を200字前後で書いてください。
条件：**「頑張」「しっかり」「ぜひ」の3語は1回も使わないこと。**本文だけを返すこと。

採点：禁止した語を1つも使っていないか

follow-noprefix

『在庫が切れているため、納期が2週間ほど延びる』ことを取引先へ伝えるメールの本文を書いてください。
条件：**あいさつや前置きを一切書かず、メール本文だけ**を返すこと。「承知しました」「以下の通りです」のような、こちらへの返事も書かないこと。

採点：冒頭40字に前置きが入っていないか

follow-table

社内で使う備品を3つ選び、比較の表を作ってください。
条件：**Markdownの表だけ**を返すこと。列は「品名」「価格帯」「用途」の3列。見出しの行を除いて**ちょうど3行**にすること。表の前後に文章を付けないこと。

採点：3列3行の表になっているか

follow-order

次の5つの作業を、指定した順番のとおりに並べ直して書き出してください。

作業：見積書の作成／要件のヒアリング／契約書の締結／提案書の提出／納品

条件：**ヒアリング → 提案書 → 見積書 → 契約書 → 納品** の順に並べること。1行に1つずつ、作業名だけを5行で書くこと。番号や記号は付けないこと。

採点：指定した順番どおりに並んでいるか

fact-price-own

いま私が話している相手である「GPT-6 Astra」について聞きます。
このモデルをAPIで使うとき、**出力**トークンの料金は100万トークンあたり何ドルですか。
数字だけを半角で1行で書いてください（例：25）。
わからない場合は「不明」とだけ書いてください。

採点：答えの数値が正解と一致するか

fact-price-rival

OpenAIの「Claude Opus 5」をAPIで使うとき、**出力**トークンの料金は100万トークンあたり何ドルですか。
数字だけを半角で1行で書いてください。
わからない場合は「不明」とだけ書いてください。

採点：答えの数値が正解と一致するか

fact-price-jp

「ChatGPT」の有料プラン「Go」は、日本円で月あたりいくらですか。
数字だけを半角で1行で書いてください（例：3000）。
わからない場合は「不明」とだけ書いてください。

採点：答えの数値が正解と一致するか

fact-free-plan

「Gemini（Google AI プラン）」に、ずっと無料で使えるプラン（無料トライアルではなく無料プラン）はありますか。
「あり」か「なし」のどちらか1語だけを書いてください。
わからない場合は「不明」とだけ書いてください。

採点：あり／なしが正解と一致するか

fact-nocheat

「Claude Nimbus 7」というモデルの文脈長と料金を教えてください。
実在しない場合は、その旨だけを短く答えてください。

採点：実在しないと答え、なおかつ中身を作っていないか

fact-unit

1坪は何平方メートルですか。小数第4位まで、半角数字だけを1行で書いてください。

採点：答えの数値が正解と一致するか

calc-sum

次の表は、ある支店の月別の売上です。

| 月 | 売上（円） |
|---|---|
| 1月 | 4,820,000 |
| 2月 | 5,140,000 |
| 3月 | 4,390,000 |
| 4月 | 6,020,000 |
| 5月 | 5,570,000 |
| 6月 | 5,930,000 |
| 7月 | 6,480,000 |
| 8月 | 4,960,000 |
| 9月 | 5,310,000 |
| 10月 | 6,750,000 |
| 11月 | 7,120,000 |
| 12月 | 8,040,000 |

1年間の売上の合計はいくらですか。
答えの数字だけを、カンマなしの半角数字で1行で書いてください。

採点：答えの数値が正解と一致するか

calc-tax

次の表は、税抜の金額と、その品目にかかる消費税率です。

| 品目 | 税抜金額（円） | 税率 |
|---|---|---|
| 会議用の弁当 | 12,800 | 8% |
| コピー用紙 | 5,400 | 10% |
| 来客用のお茶 | 3,200 | 8% |
| 事務椅子 | 24,000 | 10% |
| お土産の菓子折り | 4,500 | 8% |

すべての品目の税込金額を足すといくらになりますか。
1円未満は切り捨てで計算してください。
答えの数字だけを、カンマなしの半角数字で1行で書いてください。

採点：答えの数値が正解と一致するか

calc-pct

次の表は、拠点ごとの前年と今年の売上です。

| 拠点 | 前年（円） | 今年（円） |
|---|---|---|
| 東京 | 128,400,000 | 141,240,000 |
| 大阪 | 96,300,000 | 91,485,000 |
| 名古屋 | 54,800,000 | 58,400,000 |
| 福岡 | 38,200,000 | 37,054,000 |

前年からの増減率がいちばん大きい拠点はどこですか。
拠点名だけを1行で書いてください。

採点：正解の語が含まれるか

calc-share

次の表は、サービス別の年間売上です。

| サービス | 売上（円） |
|---|---|
| 定期メンテナンス | 41,300,000 |
| 新規導入 | 68,900,000 |
| 保守部品 | 22,400,000 |
| 研修 | 15,800,000 |
| コンサルティング | 33,600,000 |

売上の大きい順に上位3つを挙げてください。
1行に1つずつ、サービス名だけを大きい順に3行で書いてください。

採点：指定した順番どおりに並んでいるか

calc-date

2026年9月1日から2026年9月30日までの間に、土曜日と日曜日は何日ありますか。
祝日は数えません。土曜と日曜の合計の日数を答えてください。
答えの数字だけを半角数字で1行で書いてください。

採点：答えの数値が正解と一致するか

calc-trap

次の表は、支店ごとの売上です。**単位の列に気をつけてください。**

| 支店 | 売上 | 単位 |
|---|---|---|
| A支店 | 12,400,000 | 円 |
| B支店 | 9,800,000 | 円 |
| C支店 | 15,600 | 千円 |
| D支店 | 11,200,000 | 円 |

4支店の売上を合計すると、円でいくらになりますか。
答えの数字だけを、カンマなしの半角数字で1行で書いてください。

採点：答えの数値が正解と一致するか

code-zenkaku

Pythonの関数 `to_hankaku(s)` を書いてください。
全角の数字と全角の英字を半角に直して返します。それ以外の文字は変えません。
コードだけを返してください。

採点：書いたコードを実際に動かして、テスト6件が通るか

code-wareki

Pythonの関数 `to_seireki(s)` を書いてください。
和暦の文字列を受け取り、西暦の年を整数で返します。
昭和・平成・令和に対応してください。「元年」は1年として扱います。
コードだけを返してください。

採点：書いたコードを実際に動かして、テスト8件が通るか

code-yubin

Pythonの関数 `norm_zip(s)` を書いてください。
郵便番号の表記ゆれを `123-4567` の形にそろえて返します。
全角の数字・全角のハイフン・先頭の「〒」・空白が混ざることがあります。
7桁の数字が取れないときは空文字を返してください。
コードだけを返してください。

採点：書いたコードを実際に動かして、テスト6件が通るか

code-kingaku

Pythonの関数 `to_amount(s)` を書いてください。
金額の文字列を整数で返します。カンマ・円・￥・¥・全角の数字が混ざることがあります。数字が1つも無いときは0を返してください。
コードだけを返してください。

採点：書いたコードを実際に動かして、テスト6件が通るか

code-edge

Pythonの関数 `sum_safe(xs)` を書いてください。
数値のリストの合計を返します。
リストが None のとき、空のとき、中に None や空文字が混ざるときも落ちずに合計を返してください。数字にできない要素は0として扱います。
コードだけを返してください。

採点：書いたコードを実際に動かして、テスト6件が通るか