OpenAI、GPT-6 Astraを高速化もAPIは4.48秒のままだ

GPT-6 Astraが約50%速くなった　毎日改善の1日目

OpenAIは10月6日、GPT-6 AstraとGPT-6.1 Solの標準の速さを約50%上げた。前日に発表した「28日間毎日改善」の1日目の取り組みだ。

ChatGPTとCodexの開発に関わるTibo氏の投稿によると、1秒あたりに出る文字の量は30TPSから50TPSに上がった。使う側の設定は要らず、投稿から2時間ほどで手元でも分かるはずだとしている。

あわせてTibo氏は、2つのモデルは少ないトークンで処理を終えられると書いている。速さに加えて利用枠の減り方も軽いという主張だ。

対象はサブスク経由　OpenCodeやDevinなど提携先も入る

速くなったのは、ChatGPTのサブスクリプションを通して使う全製品だ。CodexをChatGPTの契約で使っている開発者は、何もしなくても待ち時間が短くなる。

Sign in With ChatGPTを使う提携先も対象に入る。投稿ではOpenCode・Pi・Amp・Devinの名前が挙がっている。ChatGPTのアカウントでログインしてOpenAIのモデルを呼ぶ形のツールなら、同じ速さになる。

API経由のAstraは4.48秒のまま　40回測った結果

API経由で呼ぶと、GPT-6 Astraが速くなった跡は出てこなかった。AInformationは10月6日12時46分に3モデルへ同じ日本語の仕事4つを10回ずつ投げた。9月30日と10月2日に使ったのと同じ問題だ。

仕事は会議メモの整理・Excelの数式・Pythonのバグ直し・200字のお詫びメールだ。GPT-6 Astraの返事が終わるまでの中央値は4.48秒で、10月2日の4.45秒とほぼ同じだった。3モデルとも40回すべて正解している。

返事が終わるまでの秒数の中央値。日本語の仕事4つ×10回＝1モデル40回。APIの既定の設定で12本ずつ並べて投げた。10月2日は17時40分、10月6日は12時46分に測った。

GPT-6.1 Solは10月2日の5.51秒から4.60秒に縮んだ。ただし9月30日の2.69秒にはまだ戻っていない。前の版のGPT-6 Solは2.92秒で、APIでは今もGPT-6 Solのほうが速い。

Codexの待ち時間を測り直す　API利用の会社は2つを比べる

ChatGPTの契約でCodexを使っている人は、同じ依頼を前と後で投げて待ち時間を比べておきたい。OpenAIの説明どおりなら、何も変えなくても返事が早く終わる。

自社のシステムからAPIでGPT-6.1 Solを呼んでいる会社は、今回の高速化を当てにしないほうがよさそうだ。速さが要る処理なら、APIで2.92秒だったGPT-6 Solに戻す手も残っている。

28日間の改善は始まったばかりで、次はAPIの速さに手が入るかもしれない。2日目以降に何が出るかで、サブスクとAPIの差が広がるのか縮むのかが見えてくる。