本文へ移動
NEWS

AI比較ベンチマーク

ChatGPT・Claude・Gemini にまったく同じ日本語の問題を投げて、 正しく答えられた数・かかった秒数・答えを出すのに使った量を数えました。 採点はすべて機械で判定しています。公式の発表を引き写したものではありません。

検証日 2026年9月5日 / 1問3回ずつ / 同じ条件で8モデルを同時に測定

8モデル 実際に投げて測った数
25問 機械で採点できる問題
600回 投げた合計の回数
条件でしぼる
提供元
モデルの位置づけ
並べ替え

8モデルの結果

正しく答えた割合が高い順。総合の順位は付けていません。用途によって効く項目が違うためです

GPT-6 Astra OpenAI 最上位
88% 66/75 正しく答えた数(25問×3回のうち、採点できた75回)
指示の順守 24/24
事実の正確さ 9/18
計算 18/18
コード 15/15
2.71秒答え終わるまで
2.07秒最初の1文字
12,000使った量

作り話 0回 知らないことを聞かれたときは9回とも「分からない」と答えました

Claude Sonnet 5 Anthropic ふだん使い
88% 66/75 正しく答えた数(25問×3回のうち、採点できた75回)
指示の順守 24/24
事実の正確さ 9/18
計算 18/18
コード 15/15
2.22秒答え終わるまで
1.58秒最初の1文字
33,653使った量

違う答えを言い切った 1回 知らないことを聞かれて、数字や中身を作って答えました(知らないと答えたのは8回)

GPT-5.6 Sol OpenAI 最上位
88% 66/75 正しく答えた数(25問×3回のうち、採点できた75回)
指示の順守 24/24
事実の正確さ 9/18
計算 18/18
コード 15/15
2.35秒答え終わるまで
1.69秒最初の1文字
17,321使った量

違う答えを言い切った 3回 知らないことを聞かれて、数字や中身を作って答えました(知らないと答えたのは6回)

Gemini 3.1 Pro Google 最上位
88% 66/75 正しく答えた数(25問×3回のうち、採点できた75回)
指示の順守 24/24
事実の正確さ 9/18
計算 18/18
コード 15/15
6.98秒答え終わるまで
6.98秒最初の1文字
95,683使った量

作り話 0回 知らないことを聞かれたときは9回とも「分からない」と答えました

Gemini 3.7 Flash Google ふだん使い
88% 66/75 正しく答えた数(25問×3回のうち、採点できた75回)
指示の順守 24/24
事実の正確さ 9/18
計算 18/18
コード 15/15
1.9秒答え終わるまで
1.87秒最初の1文字
61,745使った量

違う答えを言い切った 3回 知らないことを聞かれて、数字や中身を作って答えました(知らないと答えたのは6回)

GPT-5.6 Terra OpenAI ふだん使い
84% 63/75 正しく答えた数(25問×3回のうち、採点できた75回)
指示の順守 23/24
事実の正確さ 7/18
計算 18/18
コード 15/15
1.9秒答え終わるまで
1.19秒最初の1文字
15,076使った量

違う答えを言い切った 6回 知らないことを聞かれて、数字や中身を作って答えました(知らないと答えたのは6回)

Claude Opus 5 Anthropic 最上位
83.1% 59/71 正しく答えた数(25問×3回のうち、採点できた71回)
指示の順守 24/24
事実の正確さ 6/18
計算 18/18
コード 11/11
3.33秒答え終わるまで
2.22秒最初の1文字
29,850使った量

違う答えを言い切った 5回 知らないことを聞かれて、数字や中身を作って答えました(知らないと答えたのは7回)

Claude Fable 5.1 Anthropic 最上位
83.1% 54/65 正しく答えた数(25問×3回のうち、採点できた65回)
指示の順守 24/24
事実の正確さ 9/18
計算 16/18
コード 5/5
4.98秒答え終わるまで
2.95秒最初の1文字
16,470使った量

違う答えを言い切った 2回 知らないことを聞かれて、数字や中身を作って答えました(知らないと答えたのは9回)

項目ごとに横並びで見る

同じ問題を同じ回数だけ投げた結果です。総合点は出していません。 自分が任せたい仕事に近い項目だけを見てください。棒の長さは、その項目で正しく答えられた割合です。

指示の順守

字数・行数・JSONの形・使ってはいけない語。指示どおりに書けたか / 全問正解は7モデル

GPT-6 Astra 24/24
Claude Opus 5 24/24
Claude Fable 5.1 24/24
Claude Sonnet 5 24/24
GPT-5.6 Sol 24/24
Gemini 3.1 Pro 24/24
Gemini 3.7 Flash 24/24
GPT-5.6 Terra 23/24

事実の正確さ

料金や仕様を聞いた問題。知らないときに「分からない」と言えたかも見ています

GPT-6 Astra 9/18
Claude Fable 5.1 9/18
Claude Sonnet 5 9/18
GPT-5.6 Sol 9/18
Gemini 3.1 Pro 9/18
Gemini 3.7 Flash 9/18
GPT-5.6 Terra 7/18
Claude Opus 5 6/18

計算

合計・税・前年比・日数。答えの数字が合っているか / 全問正解は7モデル

GPT-6 Astra 18/18
Claude Opus 5 18/18
Claude Sonnet 5 18/18
GPT-5.6 Sol 18/18
GPT-5.6 Terra 18/18
Gemini 3.1 Pro 18/18
Gemini 3.7 Flash 18/18
Claude Fable 5.1 16/18

コード

書いたコードを実際に動かして、テストが通るか / 全問正解は8モデル

GPT-6 Astra 15/15
Claude Opus 5 11/11
Claude Fable 5.1 5/5
Claude Sonnet 5 15/15
GPT-5.6 Sol 15/15
GPT-5.6 Terra 15/15
Gemini 3.1 Pro 15/15
Gemini 3.7 Flash 15/15

薄い字のモデルは答えが返らなかった回があり、そのぶん分母が小さくなっています

全部の数字を表で見る

上のカードと同じ中身です。並べ替えずにそのまま比べたいとき用に置いています。 「使った量」は各社のAPIが返してきた実測のトークン数で、考えているあいだに使ったぶんも入っています。 同じだけ正解しているなら、少ないほど無駄がありません。

最上位のモデル同士

モデル正しく答えた数 指示の順守事実の正確さ計算コード 答え終わるまで最初の1文字使った量
GPT-6 Astra OpenAI 66/75 24/24 9/18 18/18 15/15 2.71秒 2.07秒 12,000
Claude Opus 5 Anthropic 59/71 24/24 6/18 18/18 11/11 3.33秒 2.22秒 29,850
Claude Fable 5.1 Anthropic 54/65 24/24 9/18 16/18 5/5 4.98秒 2.95秒 16,470
GPT-5.6 Sol OpenAI 66/75 24/24 9/18 18/18 15/15 2.35秒 1.69秒 17,321
Gemini 3.1 Pro Google 66/75 24/24 9/18 18/18 15/15 6.98秒 6.98秒 95,683

ふだん使いのモデル同士

モデル正しく答えた数 指示の順守事実の正確さ計算コード 答え終わるまで最初の1文字使った量
Claude Sonnet 5 Anthropic 66/75 24/24 9/18 18/18 15/15 2.22秒 1.58秒 33,653
GPT-5.6 Terra OpenAI 63/75 23/24 7/18 18/18 15/15 1.9秒 1.19秒 15,076
Gemini 3.7 Flash Google 66/75 24/24 9/18 18/18 15/15 1.9秒 1.87秒 61,745

知らないことを聞かれたときの答え方

料金や、実在しないモデルについて聞いた問題の結果です。 知らないのに数字を言い切るモデルは、そのまま信じると損をします。

モデル正しく答えた 分からないと答えた違う答えを言い切った
GPT-6 Astra 9/18 9 0
Claude Opus 5 6/18 7 5
Claude Fable 5.1 9/18 9 2
Claude Sonnet 5 9/18 8 1
GPT-5.6 Sol 9/18 6 3
GPT-5.6 Terra 7/18 6 6
Gemini 3.1 Pro 9/18 9 0
Gemini 3.7 Flash 9/18 6 3

どの問題で落ちたか(全25問)

25問のうち3問は、8モデルとも3回そろって正解できませんでした。どれも事実の正確さの問題です。この種類の問いは人が確かめる前提で使ってください。

1問ずつ、モデルごとに3回中いくつ正解したかを出しています。 下の小さい字は実際に測った値です(何字になったか・テストが何件通ったかなど)。 答えの本文そのものは載せていません。

3/3全部正解 1/3回によって変わる 0/3全部不正解 —答えが返らなかった(分母に数えていません)

指示の順守 8問中1問で、どれかのモデルが落としています
問題と採点の基準 GPT-6 AstraOpenAI Claude Opus 5Anthropic Claude Fable 5.1Anthropic Claude Sonnet 5Anthropic GPT-5.6 SolOpenAI GPT-5.6 TerraOpenAI Gemini 3.1 ProGoogle Gemini 3.7 FlashGoogle
300字の指定に対して±5%以内か follow-len-300 正解 285〜315字(指定は300字) 3/33003/3308 / 3043/3304 / 3003/3303 / 3003/33002/3300 / 3013/3306 / 2993/3300 / 310
100字以内に収まっているか follow-len-100 正解 100字以内 3/357 / 593/371 / 643/360 / 513/359 / 673/345 / 533/327 / 353/390 / 943/370 / 88
JSONとして読めて、指定したキーと値がそろっているか follow-json 正解 キーがそろい、値も一致 3/3一致3/3一致3/3一致3/3一致3/3一致3/3一致3/3一致3/3一致
箇条書きがちょうど5行か follow-bullet5 正解 5行 3/35行3/35行3/35行3/35行3/35行3/35行3/35行3/35行
禁止した語を1つも使っていないか follow-ban 正解 禁止語を1つも使わない 3/3なし3/3なし3/3なし3/3なし3/3なし3/3なし3/3なし3/3なし
冒頭40字に前置きが入っていないか follow-noprefix 正解 冒頭40字に前置きが無い 3/3なし3/3なし3/3なし3/3なし3/3なし3/3なし3/3なし3/3なし
3列3行の表になっているか follow-table 正解 3列 3行 3/33列 3行3/33列 3行3/33列 3行3/33列 3行3/33列 3行3/33列 3行3/33列 3行3/33列 3行
指定した順番どおりに並んでいるか follow-order 正解 要件のヒアリング → 提案書の提出 → 見積書の作成 → 契約書の締結 → 納品 3/3順番どおり3/3順番どおり3/3順番どおり3/3順番どおり3/3順番どおり3/3順番どおり3/3順番どおり3/3順番どおり
事実の正確さ 6問中5問で、どれかのモデルが落としています
問題と採点の基準 GPT-6 AstraOpenAI Claude Opus 5Anthropic Claude Fable 5.1Anthropic Claude Sonnet 5Anthropic GPT-5.6 SolOpenAI GPT-5.6 TerraOpenAI Gemini 3.1 ProGoogle Gemini 3.7 FlashGoogle
答えの数値が正解と一致するか fact-price-own 正解 12 0/3不明と回答0/3不明と回答0/3不明と回答0/315 / 不明と回答0/3不明と回答0/3不明と回答0/3不明と回答0/30.3
答えの数値が正解と一致するか fact-price-rival 正解 25 0/3不明と回答0/3不明と回答0/3不明と回答0/3不明と回答0/3不明と回答0/3不明と回答0/3不明と回答0/3不明と回答
答えの数値が正解と一致するか fact-price-jp 正解 1400 0/3不明と回答0/3不明と回答 / 11800/3不明と回答0/3不明と回答0/315000/31000 / 15000/3不明と回答0/3不明と回答
あり/なしが正解と一致するか fact-free-plan 正解 あり 3/3あり3/3あり3/3あり3/3あり3/3あり1/3あり / なし3/3あり3/3あり
実在しないと答え、なおかつ中身を作っていないか fact-nocheat 正解 実在しないと答え、中身は書かない 3/3無いと答えた0/3無いと言いつつ中身も書いた(1か所)3/3無いと答えた3/3無いと答えた3/3無いと答えた3/3無いと答えた3/3無いと答えた3/3無いと答えた
答えの数値が正解と一致するか fact-unit 正解 3.3058 3/33.30583/33.30583/33.30583/33.30583/33.30583/33.30583/33.30583/33.3058
計算 6問中1問で、どれかのモデルが落としています
問題と採点の基準 GPT-6 AstraOpenAI Claude Opus 5Anthropic Claude Fable 5.1Anthropic Claude Sonnet 5Anthropic GPT-5.6 SolOpenAI GPT-5.6 TerraOpenAI Gemini 3.1 ProGoogle Gemini 3.7 FlashGoogle
答えの数値が正解と一致するか calc-sum 正解 70530000 3/3705300003/3705300003/3705300003/3705300003/3705300003/3705300003/3705300003/370530000
答えの数値が正解と一致するか calc-tax 正解 54480 3/3544803/3544803/3544803/3544803/3544803/3544803/3544803/354480
正解の語が含まれるか calc-pct 正解 東京 3/3東京3/3東京3/3東京3/3東京3/3東京3/3東京3/3東京3/3東京
指定した順番どおりに並んでいるか calc-share 正解 新規導入 → 定期メンテナンス → コンサルティング 3/3順番どおり3/3順番どおり3/3順番どおり3/3順番どおり3/3順番どおり3/3順番どおり3/3順番どおり3/3順番どおり
答えの数値が正解と一致するか calc-date 正解 8 3/383/383/383/383/383/383/383/38
答えの数値が正解と一致するか calc-trap 正解 49000000 3/3490000003/3490000001/3数値が13個あり答えを特定できない / 15600.0、15600000.0、12400000.0、9800000.0、3/3490000003/3490000003/3490000003/3490000003/349000000
コード 5問中0問で、どれかのモデルが落としています
問題と採点の基準 GPT-6 AstraOpenAI Claude Opus 5Anthropic Claude Fable 5.1Anthropic Claude Sonnet 5Anthropic GPT-5.6 SolOpenAI GPT-5.6 TerraOpenAI Gemini 3.1 ProGoogle Gemini 3.7 FlashGoogle
書いたコードを実際に動かして、テスト6件が通るか code-zenkaku 正解 6/6件 3/36/6件——3/36/6件3/36/6件3/36/6件3/36/6件3/36/6件
書いたコードを実際に動かして、テスト8件が通るか code-wareki 正解 8/8件 3/38/8件3/38/8件3/38/8件3/38/8件3/38/8件3/38/8件3/38/8件3/38/8件
書いたコードを実際に動かして、テスト6件が通るか code-yubin 正解 6/6件 3/36/6件2/26/6件—3/36/6件3/36/6件3/36/6件3/36/6件3/36/6件
書いたコードを実際に動かして、テスト6件が通るか code-kingaku 正解 6/6件 3/36/6件3/36/6件2/26/6件3/36/6件3/36/6件3/36/6件3/36/6件3/36/6件
書いたコードを実際に動かして、テスト6件が通るか code-edge 正解 6/6件 3/36/6件3/36/6件—3/36/6件3/36/6件3/36/6件3/36/6件3/36/6件

どうやって測ったか

同じ日本語の問題を1文字も変えずに投げています。思考の強さと温度はどこも指定していません(各社の既定のまま)。Web検索などのツールは全部切っています。

検証日
2026年9月5日
問題
日本語25問(指示の順守・事実の正確さ・計算・コード)。全文を下に載せています
回数
同じ問題を3回ずつ。秒数は中央値
出力の上限
16,000トークン(3社とも同じ)
ツール
Web検索などはなし。素の答えだけを見ています
思考の強さ
各社の既定のまま(どこも指定していません)
実行した場所
日本国内から、各社のAPIへ直接
使った量
各社のAPIが返してきた実測のトークン数。思考に使ったぶんも含みます
採点
すべて機械で判定しています。人やAIの主観は入れていません
答えが返らなかった回
0点にはせず、分母から外しています。モデルごとの分母が違うのはこのためです

使った問題(全25問)

中身が見えないベンチマークは確かめようがありません。 実際に投げた文章と、採点の基準をそのまま載せます。

指示の順守8問

follow-len-300

取引先へ出す「原材料の高騰による価格改定のお知らせ」の本文を書いてください。
条件:**ちょうど300字**で書くこと。前置きや説明は付けず、本文だけを返すこと。

採点:300字の指定に対して±5%以内か

follow-len-100

社内向けに「来週の全体会議が水曜10時から会議室Aへ変更になった」ことを知らせる文を書いてください。
条件:**100字以内**。本文だけを返すこと。

採点:100字以内に収まっているか

follow-json

次の文から、会社名・金額・支払期日を抜き出してください。

『株式会社みどり物産より、システム保守費として1,254,000円のご請求をいただきました。お支払いは2026年10月31日までとなっております。』

条件:JSONだけを返すこと。キーは company / amount / due の3つ。amount は数字のみ(カンマなし)。due は YYYY-MM-DD の形。コードブロックの記号や説明文は付けないこと。

採点:JSONとして読めて、指定したキーと値がそろっているか

follow-bullet5

次の議事メモを要点にまとめてください。

『新システムの導入は10月から。まず経理部だけで試す。現場の入力画面が分かりにくいという声が出たので、来月までに直す。研修は9月中に2回。旧システムは12月末で止める。問い合わせ窓口は情報システム部が担当する。』

条件:**ちょうど5つ**の箇条書きにすること。各行は「- 」で始めること。前置きや締めの文は付けないこと。

採点:箇条書きがちょうど5行か

follow-ban

新入社員へ向けた歓迎のあいさつ文を200字前後で書いてください。
条件:**「頑張」「しっかり」「ぜひ」の3語は1回も使わないこと。**本文だけを返すこと。

採点:禁止した語を1つも使っていないか

follow-noprefix

『在庫が切れているため、納期が2週間ほど延びる』ことを取引先へ伝えるメールの本文を書いてください。
条件:**あいさつや前置きを一切書かず、メール本文だけ**を返すこと。「承知しました」「以下の通りです」のような、こちらへの返事も書かないこと。

採点:冒頭40字に前置きが入っていないか

follow-table

社内で使う備品を3つ選び、比較の表を作ってください。
条件:**Markdownの表だけ**を返すこと。列は「品名」「価格帯」「用途」の3列。見出しの行を除いて**ちょうど3行**にすること。表の前後に文章を付けないこと。

採点:3列3行の表になっているか

follow-order

次の5つの作業を、指定した順番のとおりに並べ直して書き出してください。

作業:見積書の作成/要件のヒアリング/契約書の締結/提案書の提出/納品

条件:**ヒアリング → 提案書 → 見積書 → 契約書 → 納品** の順に並べること。1行に1つずつ、作業名だけを5行で書くこと。番号や記号は付けないこと。

採点:指定した順番どおりに並んでいるか

事実の正確さ6問

fact-price-own

いま私が話している相手である「GPT-6 Astra」について聞きます。
このモデルをAPIで使うとき、**出力**トークンの料金は100万トークンあたり何ドルですか。
数字だけを半角で1行で書いてください(例:25)。
わからない場合は「不明」とだけ書いてください。

採点:答えの数値が正解と一致するか

fact-price-rival

OpenAIの「Claude Opus 5」をAPIで使うとき、**出力**トークンの料金は100万トークンあたり何ドルですか。
数字だけを半角で1行で書いてください。
わからない場合は「不明」とだけ書いてください。

採点:答えの数値が正解と一致するか

fact-price-jp

「ChatGPT」の有料プラン「Go」は、日本円で月あたりいくらですか。
数字だけを半角で1行で書いてください(例:3000)。
わからない場合は「不明」とだけ書いてください。

採点:答えの数値が正解と一致するか

fact-free-plan

「Gemini(Google AI プラン)」に、ずっと無料で使えるプラン(無料トライアルではなく無料プラン)はありますか。
「あり」か「なし」のどちらか1語だけを書いてください。
わからない場合は「不明」とだけ書いてください。

採点:あり/なしが正解と一致するか

fact-nocheat

「Claude Nimbus 7」というモデルの文脈長と料金を教えてください。
実在しない場合は、その旨だけを短く答えてください。

採点:実在しないと答え、なおかつ中身を作っていないか

fact-unit

1坪は何平方メートルですか。小数第4位まで、半角数字だけを1行で書いてください。

採点:答えの数値が正解と一致するか

計算6問

calc-sum

次の表は、ある支店の月別の売上です。

| 月 | 売上(円) |
|---|---|
| 1月 | 4,820,000 |
| 2月 | 5,140,000 |
| 3月 | 4,390,000 |
| 4月 | 6,020,000 |
| 5月 | 5,570,000 |
| 6月 | 5,930,000 |
| 7月 | 6,480,000 |
| 8月 | 4,960,000 |
| 9月 | 5,310,000 |
| 10月 | 6,750,000 |
| 11月 | 7,120,000 |
| 12月 | 8,040,000 |

1年間の売上の合計はいくらですか。
答えの数字だけを、カンマなしの半角数字で1行で書いてください。

採点:答えの数値が正解と一致するか

calc-tax

次の表は、税抜の金額と、その品目にかかる消費税率です。

| 品目 | 税抜金額(円) | 税率 |
|---|---|---|
| 会議用の弁当 | 12,800 | 8% |
| コピー用紙 | 5,400 | 10% |
| 来客用のお茶 | 3,200 | 8% |
| 事務椅子 | 24,000 | 10% |
| お土産の菓子折り | 4,500 | 8% |

すべての品目の税込金額を足すといくらになりますか。
1円未満は切り捨てで計算してください。
答えの数字だけを、カンマなしの半角数字で1行で書いてください。

採点:答えの数値が正解と一致するか

calc-pct

次の表は、拠点ごとの前年と今年の売上です。

| 拠点 | 前年(円) | 今年(円) |
|---|---|---|
| 東京 | 128,400,000 | 141,240,000 |
| 大阪 | 96,300,000 | 91,485,000 |
| 名古屋 | 54,800,000 | 58,400,000 |
| 福岡 | 38,200,000 | 37,054,000 |

前年からの増減率がいちばん大きい拠点はどこですか。
拠点名だけを1行で書いてください。

採点:正解の語が含まれるか

calc-share

次の表は、サービス別の年間売上です。

| サービス | 売上(円) |
|---|---|
| 定期メンテナンス | 41,300,000 |
| 新規導入 | 68,900,000 |
| 保守部品 | 22,400,000 |
| 研修 | 15,800,000 |
| コンサルティング | 33,600,000 |

売上の大きい順に上位3つを挙げてください。
1行に1つずつ、サービス名だけを大きい順に3行で書いてください。

採点:指定した順番どおりに並んでいるか

calc-date

2026年9月1日から2026年9月30日までの間に、土曜日と日曜日は何日ありますか。
祝日は数えません。土曜と日曜の合計の日数を答えてください。
答えの数字だけを半角数字で1行で書いてください。

採点:答えの数値が正解と一致するか

calc-trap

次の表は、支店ごとの売上です。**単位の列に気をつけてください。**

| 支店 | 売上 | 単位 |
|---|---|---|
| A支店 | 12,400,000 | 円 |
| B支店 | 9,800,000 | 円 |
| C支店 | 15,600 | 千円 |
| D支店 | 11,200,000 | 円 |

4支店の売上を合計すると、円でいくらになりますか。
答えの数字だけを、カンマなしの半角数字で1行で書いてください。

採点:答えの数値が正解と一致するか

コード5問

code-zenkaku

Pythonの関数 `to_hankaku(s)` を書いてください。
全角の数字と全角の英字を半角に直して返します。それ以外の文字は変えません。
コードだけを返してください。

採点:書いたコードを実際に動かして、テスト6件が通るか

code-wareki

Pythonの関数 `to_seireki(s)` を書いてください。
和暦の文字列を受け取り、西暦の年を整数で返します。
昭和・平成・令和に対応してください。「元年」は1年として扱います。
コードだけを返してください。

採点:書いたコードを実際に動かして、テスト8件が通るか

code-yubin

Pythonの関数 `norm_zip(s)` を書いてください。
郵便番号の表記ゆれを `123-4567` の形にそろえて返します。
全角の数字・全角のハイフン・先頭の「〒」・空白が混ざることがあります。
7桁の数字が取れないときは空文字を返してください。
コードだけを返してください。

採点:書いたコードを実際に動かして、テスト6件が通るか

code-kingaku

Pythonの関数 `to_amount(s)` を書いてください。
金額の文字列を整数で返します。カンマ・円・¥・¥・全角の数字が混ざることがあります。数字が1つも無いときは0を返してください。
コードだけを返してください。

採点:書いたコードを実際に動かして、テスト6件が通るか

code-edge

Pythonの関数 `sum_safe(xs)` を書いてください。
数値のリストの合計を返します。
リストが None のとき、空のとき、中に None や空文字が混ざるときも落ちずに合計を返してください。数字にできない要素は0として扱います。
コードだけを返してください。

採点:書いたコードを実際に動かして、テスト6件が通るか

これまでの検証

測り直すたびに残しています。回ごとに測ったモデルも回数も違うので、 同じものさしで並べた比較にはなりません。そのときどきの条件と一緒に見てください。 1回も答えが返らなかった回は載せていません。

2026年9月5日 13:25 8モデル / 25問 / 1問3回ずつ

GeminiのAPIキーが通ったので、3社そろえて8モデルで測り直し

GPT-6 Astra 88%
Claude Sonnet 5 88%
GPT-5.6 Sol 88%
Gemini 3.1 Pro 88%
Gemini 3.7 Flash 88%
GPT-5.6 Terra 84%
Claude Opus 5 83.1%
Claude Fable 5.1 83.1%
2026年9月5日 08:28 6モデル / 25問 / 1問3回ずつ

GPT-6 Astra が使えるようになった(9/5)。

GPT-6 Astra 88%
GPT-5.6 Sol 88%
GPT-5.6 Terra 88%
Claude Opus 5 87.1%
Claude Sonnet 5 84%
Claude Fable 5.1 83.3%
2026年9月5日 08:19 5モデル / 25問 / 1問3回ずつ

GPT-6 Astra がAPIで使えるようになった(9/5)ので7モデルで測り直す

GPT-6 Astra 88%
GPT-5.6 Sol 88%
Claude Opus 5 87.5%
Claude Sonnet 5 86.7%
GPT-5.6 Terra 86.7%
2026年9月4日 08:15 4モデル / 25問 / 1問1回ずつ

GPT-6 Astra記事の実測(発表と実態のズレ)

GPT-5.6 Sol 88%
GPT-5.6 Terra 88%
Claude Fable 5.1 86.4%
Claude Opus 5 83.3%
2026年9月4日 08:07 1モデル / 25問 / 1問1回ずつ

採点が妥当か確かめる動作確認

Claude Sonnet 5 84%

それぞれの公式ページ

上の数字はこちらで実際に投げて数えたものです。 各社が公表している仕様は、下のリンクから直接ご覧ください。

モデル確かめた日出典
GPT-6 Astra 2026年9月5日 公式ページ
Claude Opus 5 2026年9月4日 公式ページ
Claude Fable 5.1 2026年9月2日 公式ページ
Claude Sonnet 5 2026年9月2日 公式ページ
GPT-5.6 Sol 2026年9月2日 公式ページ
GPT-5.6 Terra 2026年9月2日 公式ページ
Gemini 3.1 Pro 2026年9月2日 公式ページ
Gemini 3.7 Flash 2026年9月2日 公式ページ

よくある質問

この数字はどこから来たものですか?

AInformationが2026年9月5日に、各社のAPIへ実際に同じ問題を投げて数えたものです。他社のベンチマークや各社の発表を引き写したものではありません。8モデルに25問を3回ずつ、合計600回投げています。

どうして総合順位を付けないのですか?

順位を付けると、どの項目をどれだけ重く見るかという判断が入ります。そこは使う人によって違います。指示どおりに書いてほしい人と、計算を任せたい人では、見るべき項目が別です。だから項目ごとの数字だけを出して、判断は読む人にお任せしています。

採点はどうやっていますか?

すべて機械で判定できる問題だけを使っています。文字数が指定どおりか、JSONとして読めるか、計算の答えが合っているか、書いたコードが実際に動くか。文章がうまいか、自然か、といった主観の入る項目は入れていません。採点の基準はページ内にすべて載せています。

「使った量」は何を表していますか?

各社のAPIが返してきた実測のトークン数です。トークンはAIが文章を扱うときの単位で、日本語なら1文字がだいたい1トークン前後になります。同じ問題に同じだけ正解しているなら、使った量が少ないほど無駄な思考をしていません。考えているあいだに使ったぶんも含めて数えています。

いつ更新されますか?

新しいモデルが出たときに測り直します。決まった間隔ではありません。そのとき1社だけでなく、載せているモデルを全部測り直します。別の日に測った数字を並べると、同じ条件で比べたことにならないためです。

問題は公開されていますか?

ページの下に全問の文章と採点の基準を載せています。中身が見えないベンチマークは確かめようがないためです。

このページのデータについて

AInformation編集部が2026年9月5日時点で主要AIモデルへ同じ日本語の問題を投げて測った正答数・答え終わるまでの秒数・使ったトークン数を調べた8モデルのデータです。

AInformationが調べた結果:8モデルに同じ25問を600回投げて測りました。

このページで分かること
主要AIモデルへ同じ日本語の問題を投げて測った正答数・答え終わるまでの秒数・使ったトークン数
データ件数
8モデル
調査日
2026年9月5日(最終更新)
調査方法
各社のAPIへまったく同じプロンプトを送り、返答を機械で判定しています。人やAIの主観は入れていません。出力の上限・ツールの有無・思考の強さは各社そろえています。投げた文章と採点の基準はページに全文を載せています。
集めているのは
AInformation編集部(運営者 藤井俊太)。運営者情報と編集方針
機械で読めるデータ
https://ainformation.jp/data/ai-benchmark.json(JSON・CC BY 4.0。使い方)
引用する場合の表記

出典:AInformation調べ「AI比較ベンチマーク」(https://ainformation.jp/ai-benchmark) 2026年9月5日時点

NEWSLETTER

AIの最新ニュースを週1回まとめてお届け

その週に出た主要なAIニュースと、編集部が実際に試したツールを1通にまとめます。