BridgeBench、4モデルでOpus 5.5だけ100%を割った

Nerf Benchは発売日を100%とする　今の性能を百分率で示す

Nerf Benchは、AIモデルが発売日の性能をどこまで保っているかを1つの数字で示すベンチマークだ。コーディング向けAIの独立した評価サイトBridgeBenchが運営している。発売日に測った値を100%とし、その後に同じモデルへ何度もテストを当てて比べる。

数字は課題の出来だけで決まらない。Nerf Benchは「パワー」という指標を使い、課題の出来・使ったトークン数・かかった費用の3つを合わせて出す。出来が同じでも、トークンを多く使えばパワーは下がる。

90%から110%の間は通常の揺れとして扱う。この範囲を2回続けて外れたときに初めて性能が変わったと判断する。1つの課題だけ悪くても劣化とはみなさない。

Opus 5.5は95.7%で最下位　4モデルとも正常の範囲

AInformationが10月13日にNerf Benchのページを開いたところ、追跡しているモデルは4つだった。最新のテストは10月9日で、4つとも「Normal（通常の揺れ）」と判定されていた。

4モデルの中で発売時の値を下回ったのはClaude Opus 5.5だけだ。10月1日に103.8%まで上がったあと、翌10月2日に94.2%へ落ちた。1日で大きく動いたが、90%の線は一度も割っていない。

いちばん上はGPT-6.1 Solの105.5%で、今の数字ではClaude Opus 5.5よりGPT-6.1 Solのほうが発売時の力を保っている。Solは発売翌日の10月2日に106.7%を出した。同じAnthropicでもClaude Sonnet 5.5は103.1%で、発売時を上回っている。

Geminiは対象外　テストの中身も公開されていない

このベンチマークで分かるのは、いまのところAnthropicとOpenAIの4モデルだけだ。ページを開いても、GeminiやGrokのモデルは一覧に出てこなかった。日本で使う人が多いGeminiの劣化を確かめる用途には、まだ使えない。

もう1つの制約は、テストの中身が見られないことだ。どんな課題を出したかも個々の結果も非公開とされている。運営側は、結果の信頼性を保ちベンチマーク向けの不正を防ぐためだと説明している。

そのため、95.7%という数字がどの作業の出来から来ているのかは外から追えない。パワーにはトークン数と費用も入っている。答えの質は同じまま、答えるのに使う量が増えただけでも数字は下がる。

「最近Claudeが鈍い」と感じたら　まず同じ指示で比べ直す

AIが発売後にこっそり弱くなったという声は、新しいモデルが出るたびに上がる。Nerf Benchはそれを外から数える試みの1つで、Claude Opus 5.5については10月9日の時点で劣化と呼べる差は出ていない。

手元で鈍くなったと感じたときは、印象で決めないほうがよい。同じ指示文を残しておき、答えの質・かかった時間・使ったトークン数を並べて記録するとよさそうだ。APIで使っているなら、請求額の推移も合わせて見られる。

4モデルとも、次に90%か110%の線を2回続けて越えたときに判定が変わる。Claude Opus 5.5がこのまま95%前後で止まるのか、もう一段下がるのかが次の見どころだ。