AInformation編集部が2026年9月5日に8つのAIモデルへ同じ問題を投げたところ、Claudeの上位2モデルだけコードを書く途中で応答が切れました。660回のうち47回です。題材を変えても英語で書いても止まりました。
- 8つのAIモデルへ660回投げたところ、47回が答えの途中で切れた
- 切れたのは Claude Opus 5 と Claude Fable 5.1 の2つだけで、他の6モデルは0回だった
- 止められた問題は「全角の数字を半角に直す関数」など、危ないところが1つもないコードだった
- 題材を変えても関数名を変えても英語で書いても止まる。JSONを返す問題では一度も起きない
- 同じ Anthropic でも Claude Sonnet 5 では12回とも起きなかった
- Opus 5 は「コードだけを返してください」の一文を外すと3回中0回になった
Claudeの上位2モデルだけ、コードを書く途中で応答が切れた
AInformation編集部は2026年9月5日、8つのAIモデルへ同じ日本語の問題を投げて性能を測りました。指示をどれだけ守るか、事実を正しく答えるか、計算が合うか、動くコードを書けるか。25問を3回ずつ、合計600回です。その集計をしているときに、他社では一度も出ない返り方が見つかりました。
Anthropic のAPIが stop_reason: refusal という値を返して、答えが途中で終わっているものが14件あったのです。600回のうち14回。全部が Claude Opus 5 と Claude Fable 5.1 で、内訳は Opus 5 が4件、Fable 5.1 が10件でした。OpenAI の3モデルと Google の2モデル、そして同じ Anthropic の Claude Sonnet 5 は0件です。
この記事は、その14件が何だったのかを追いかけて、追加で60回投げて切り分けた記録です。合計660回の実測から分かったことだけを書きます。原因そのものは Anthropic の内部の作りなので、この調べでは分かりません。分かったところと分からなかったところを、はっきり分けて書きます。
止まったのは8モデル中2つ、他の6モデルは600回で0件
まず全体の結果を出します。同じ25問を同じ言い方で投げて、答えが返ってきた数と、かかった秒数を並べたものです。答えが途中で切れた回は、正解でも不正解でもないので分母から外してあります。だから Opus 5 と Fable 5.1 だけ分母が小さくなっています。
8モデルの正解数と速さ
| モデル | 正解 | 中央値 | 間違い |
|---|---|---|---|
| GPT-6 Astra | 66/75 | 2.71秒 | 0件 |
| Claude Opus 5 | 59/71 | 3.33秒 | 5件 |
| Claude Fable 5.1 | 54/65 | 4.98秒 | 2件 |
| Claude Sonnet 5 | 66/75 | 2.22秒 | 1件 |
| GPT-5.6 Sol | 66/75 | 2.35秒 | 3件 |
| GPT-5.6 Terra | 63/75 | 1.9秒 | 6件 |
| Gemini 3.1 Pro | 66/75 | 6.98秒 | 0件 |
| Gemini 3.7 Flash | 66/75 | 1.9秒 | 3件 |
表の分母を見てください。6モデルは75回ぶん採点できているのに、Claude Opus 5 は71回、Claude Fable 5.1 は65回しかありません。この差が、途中で切れた14回です。
測れなかった回を0点として数えると、この2モデルは実力より低く出てしまいます。答えられなかったことと、答えを止められたことは別のできごとです。AInformation編集部は前者と後者を混ぜないと決めているので、切れた回は集計から外しています。
正解の数そのものを見ると、5つのモデルが66問で並びました。GPT-6 Astra、GPT-5.6 Sol、Gemini 3.1 Pro、Claude Sonnet 5、Gemini 3.7 Flash です。この5本は点数で差が付きませんでした。
止められた問題は「全角の数字を半角に直す関数」だった
次に、どの問題で切れたのかを見ます。コードを書かせる問題は5問あり、そのうち4問で発生していました。内訳は全角から半角への変換が6件、郵便番号の整形が4件、金額の計算が1件、細かい条件の処理が3件です。
いちばん多かった問題の全文はこれだけです。
Pythonの関数
to_hankaku(s)を書いてください。
全角の数字と全角の英字を半角に直して返します。それ以外の文字は変えません。
コードだけを返してください。
危ないところが1つもありません。事務の現場でよくある文字の整形です。2番目に多かった郵便番号の問題も、表記のゆれを決まった形にそろえるだけのものでした。
さらに、返ってきた中身を見ると、拒んでいるようには読めません。ある回では import re から始まって正規化の処理を書き進めた途中、160文字のところで切れていました。断りの文すら返らず、書きかけのコードだけが残ります。0文字で終わる回もありました。
題材を変えても止まる。全角と半角は関係なかった
ここから切り分けです。まず疑ったのは題材でした。全角と半角の変換という日本語まわりの処理が引き金ではないか、という見方です。そこで問題文を4通りに変えて、Anthropic の3モデルへ3回ずつ投げました。合計36回です。
題材と名前を変えて投げた結果
| 変えたところ | Opus 5 | Fable 5.1 | Sonnet 5 |
|---|---|---|---|
| そのまま | 3/3 | 3/3 | 0/3 |
| コードだけ を外す | 0/3 | 2/3 | 0/3 |
| 題材を大文字変換に | 3/3 | 3/3 | 0/3 |
| 関数名を変える | 3/3 | 3/3 | 0/3 |
結果は次のとおりです。「小文字の英字を大文字に直す関数」に変えても、Opus 5 は3/3、Fable 5.1 は3/3で止まりました。全角と半角は関係ありません。関数名を to_hankaku から convert_text に変えた条件でも、Opus 5 は3/3、Fable 5.1 は3/3で同じでした。
一方で Claude Sonnet 5 は、この4条件12回すべてで普通に答えました。同じ会社の同じ世代でも、上位の2モデルだけが止まります。
「コードだけを返してください」を外すと、Opus 5 は0回になった
効いたのは題材ではなく、最後の一文でした。「コードだけを返してください」を丸ごと削って投げると、Claude Opus 5 は0/3になりました。3回とも1072字から1242字の説明つきの回答が返ってきます。Fable 5.1 は2/3まで減りましたが、なくなりませんでした。
ここで一つ注意が要ります。この一文が原因だと言い切るには、まだ足りません。本番で使った5問のうち和暦を西暦に直す問題には同じ一文が付いていますが、こちらは一度も止まっていないからです。同じ指示でも問題によって結果が変わります。
英語で書いても、言い方を変えても止まる
次に、日本語の言い回しの問題かを確かめました。Opus 5 と Fable 5.1 の2モデルへ、4通りの条件で3回ずつ、合計24回投げています。
言い方と言語を変えて投げた結果
| 変えたところ | Opus 5 | Fable 5.1 |
|---|---|---|
| 説明は書かないで | 1/3 | 3/3 |
| 英語で指示 | 1/3 | 3/3 |
| 指示を長くする | 2/3 | 3/3 |
| JSONを返す問題 | 0/3 | 0/3 |
「説明は書かないでください」と言い換えても、Opus 5 は1/3、Fable 5.1 は3/3で止まりました。英語で Return only the code. と書いた条件も同じで、Opus 5 が1/3、Fable 5.1 が3/3です。日本語の特定の言い回しが引き金ではありません。
条件を2つ足して指示を長くした場合も、Opus 5 が2/3、Fable 5.1 が3/3でした。プロンプトの短さも関係ないようです。
JSONを返す問題では一度も止まらなかった
最後に、コードを書かせない問題を試しました。請求書の文から会社名と金額を抜き出して、JSONだけを返す問題です。出力の形を強く縛る点は同じで、違うのはプログラムを書かせるかどうかだけになります。
結果は Opus 5 が0/3、Fable 5.1 が0/3でした。6回とも普通に返っています。本番の25問でも、JSONを返させる問題で切れた回は1つもありませんでした。
ここまでをまとめると、この現象が出るのは「Anthropic の上位2モデル」に「Pythonのコードを書かせる」場面に限られます。出力の形を縛ること自体が引き金ではありません。
切れなかった回のコードは、8モデルとも全問正解だった
ここで大事なことを1つ確かめておきます。止まるのはコードを書く力が足りないからではありません。採点の結果を軸ごとに見ると、それがはっきり出ています。
コードの問題で採点できた回だけを取り出すと、8モデルとも全問正解でした。Claude Opus 5 は11回ぶん採点できて11回とも正解、Claude Fable 5.1 は5回ぶんで5回とも正解です。他の6モデルも15回ぶんすべて正解でした。
採点は機械でやっています。書かれたコードを実際に動かして、決めた入力に対して決めた出力が返るかを確かめる方式です。人が読んで良し悪しを決めると、その判断自体が主観になるためです。つまり、この2モデルは書き切れば必ず動くコードを返しています。
止まった回は、コードを書けなかったのではなく、書いている最中に出力が終わっています。実力の話ではないところが、この現象の分かりにくいところです。使う側から見ると、優秀なモデルが不意に黙るように見えます。
25問はどうやって作ったか。機械で採点できる問題しか入れない
数字の受け取り方を間違えないように、測り方も書いておきます。AInformation編集部のベンチマークには、機械で正誤を判定できる問題しか入れていません。
入れているのは、文字数がぴったり合っているか、JSONの形が壊れていないか、計算の答えが合っているか、書かれたコードが動くか、何秒かかったか、といったものです。逆に入れていないのは、文章がうまいか、説明が分かりやすいか、自然な日本語か、といった問いです。これらをAIに採点させると、採点そのものが別のAIの出力になってしまいます。
正解も人が手で書きません。計算で決まる問題はプログラムが答えを出し、料金のように変わるものはその日に公式ページから取り直します。問題が古くならないようにするためです。同じ問題を1文字も変えずに全モデルへ投げ、考える強さや温度は各社の既定のままにしています。片方だけ有利な設定にすると比べる意味がなくなります。
1問につき3回ずつ投げているのは、1回だけだとたまたまの結果を実力と読み違えるからです。今回の打ち切りも、3回投げたからこそ、止まる回と止まらない回があると分かりました。
事実を聞く問題は、8モデルとも半分も答えられていない
同じ実測から、打ち切りとは別の弱点も見えました。軸ごとの正解数を並べると、事実を聞く問題だけが飛び抜けて悪いのです。
指示をどれだけ守るかを見る問題は24回中24回で、8モデル中7モデルが満点でした。計算の問題も18回中18回で、7モデルが満点です。ところが事実の正確さは、いちばん良いモデルでも18回中9回しか正解できませんでした。満点は1つもありません。いちばん低かったのは6回です。
ここで聞いているのは、自分自身の料金や、実在しないモデルの名前を出したときの答え方といった、事実の確認です。指示は完璧に守り、計算も間違えないモデルが、事実になると半分も当てられません。分からないと答えて減点を避けた回も含まれるので、全部が間違いというわけではありません。それでも、AIの答えをそのまま事実として使えないことは、この数字にはっきり出ています。
3日続けて同じことが起きている
これは今日たまたま出たものではありません。AInformation編集部はこのベンチマークを9月4日から回していて、記録が残っています。
9月4日の回は4件で、内訳は Opus 5 が1件、Fable 5.1 が3件でした。9月5日の朝の回は14件、同じ日の午後の回は14件です。3回とも、止まったのはこの2モデルだけでした。
件数が日によって違うのは、モデル側の返り方にばらつきがあるためです。切り分けでも、Opus 5 は同じ条件で3回投げて1回だけ止まる回がありました。Fable 5.1 はほぼ毎回止まります。
コードをAIに書かせている人が知っておくとよいこと
実務でどう効くかを整理します。まず、この現象は Claude をブラウザやアプリの画面から使っているときには見えにくいものです。APIを通してプログラムから呼び、返り値をそのまま使っている場合に問題になります。
いちばん困るのは、切れたことに気づかないまま先へ進んでしまう作りです。stop_reason を見ずに本文だけ取り出すと、書きかけのコードがそのまま次の処理へ流れます。エラーにならないので、あとから原因を探すのが大変になります。
AInformation編集部の道具では、答えが返らなかった回を集計から外す作りにしていたため気づけました。返り値の stop_reason が end_turn かどうかを確かめる一行を入れておくと、同じ場面で止まったことがすぐ分かります。
この調べで分からないこと
正直に書きます。なぜ止まるのかは分かりません。Anthropic が公開していない仕組みの話なので、外から投げて数えるやり方では届きません。推測を書くこともできますが、それは実測ではないので載せません。
分かっていないことを並べます。まず、Opus 5 と Fable 5.1 で止まって Sonnet 5 で止まらない理由。次に、同じ「コードだけを返してください」でも問題によって結果が変わる理由。そして、この先も同じ結果が出るのかどうか。モデル側が直せば消えますし、次に測ったときには別の数字になるかもしれません。AInformation編集部は新しいモデルが出たときに同じ25問で測り直すので、この現象が続いているかどうかは記録として残っていきます。
この記事の数字は、2026年9月5日に実際に投げて数えたものです。合計660回のうち47回が途中で切れました。同じ条件で測り直せるように、問題文と件数はすべてAI比較ベンチマークのページに載せています。
ついでに分かった、8モデルの速さと使う量の差
同じ600回の実測から、性能の面でも見えたことがあります。正解の数では5モデルが66問で並びましたが、答えが返るまでの時間には大きな差がつきました。
いちばん速かったのは Gemini 3.7 Flash と GPT-5.6 Terra で、どちらも中央値1.9秒です。いちばん遅かったのは Gemini 3.1 Pro の6.98秒でした。同じ正解数で並んでいるのに、待ち時間は3.7倍ちがいます。上位のモデルほど速いわけではありません。
間違った答えを出した数も見ておきます。GPT-6 Astra と Gemini 3.1 Pro は0件でした。分からない問題には分からないと答えて、当てずっぽうを書かなかったということです。いちばん多かったのは GPT-5.6 Terra の6件でした。
答えを出すのに使った量は、いちばん少ないモデルと多いモデルで8倍ちがう
速さと合わせて数えているのが、答えを出すのに使ったトークンの量です。トークンはAIが文章を扱うときの単位で、考えている途中の分も含めて各社のAPIが実測値を返します。
600回のうち同じ25問ぶんで比べると、いちばん少なかったのは GPT-6 Astra の12,000で、いちばん多かったのは Gemini 3.1 Pro の95,683でした。同じ問題に同じだけ正解していて、使った量は約8倍ひらいています。Claude Sonnet 5 は33,653、Gemini 3.7 Flash は61,745です。
使った量が多いこと自体は、悪いことでも良いことでもありません。長く考えるモデルは数字が大きくなりますし、単価は会社ごとに違います。ここでは、同じ答えにたどり着くまでの過程がモデルによってこれだけ違う、という事実だけを見ておいてください。
正解の数だけでモデルを選ぶと、この差は見えません。何を重く見るかで選ぶモデルは変わります。
コードを書かせる場面でAIを組み込むときは、答えの中身より先に返り方を見る癖をつけたほうが安全です。今回のように途中で切れても、APIはエラーを返しません。動いているように見えて中身が欠けている状態がいちばん見つけにくく、原因を探す時間もかかります。組み込む前に、止まったときの見分け方を1行入れておいてください。
- Claude Opus 5 でコードを書かせると必ず止まりますか。
- 必ずではありません。2026年9月5日の実測では、同じ問題を3回投げて3回とも止まる条件と、3回中1回だけ止まる条件がありました。Claude Fable 5.1 はほぼ毎回止まりましたが、Opus 5 はばらつきます。本番の600回では、コードの問題5問のうち4問で発生しました。
- 止まったとき、どう見分ければよいですか。
- APIの返り値にある stop_reason を見てください。普通に答え終わった場合は end_turn ですが、途中で切れた場合は refusal が返ります。本文のテキストだけを取り出す作りだと、書きかけのコードがそのまま次の処理へ流れてしまい、エラーにならないので気づけません。
- 他の会社のAIでも起きますか。
- 2026年9月5日の実測では起きていません。OpenAI の GPT-6 Astra・GPT-5.6 Sol・GPT-5.6 Terra、Google の Gemini 3.1 Pro・Gemini 3.7 Flash の5モデルは、600回のうち0件でした。同じ Anthropic でも Claude Sonnet 5 は0件です。
- どうすれば止まらなくなりますか。
- Claude Opus 5 では、指示の最後にある「コードだけを返してください」を丸ごと外したところ3回中0回になりました。ただし「説明は書かないでください」と言い換えた条件では3回中1回止まっているため、この一文だけが原因だとは言い切れません。Claude Fable 5.1 は外しても3回中2回止まりました。
