GPT-6 Astraのlowにするだけで重い処理の消費が75%減る

Astra「low」がSol「high」を超えた　推奨設定が下がる

OpenAIのプロダクト責任者ティボー・ソティオ氏（通称Tibo）が9月6日にXへ投稿しました。GPT-6 Astraの「low」設定はGPT-5.6 Solの「high」設定より性能が高いという内容です。

Astraにはlow・medium・highの3段階の推論レベルがあります。上げるほどモデルが深く考えて精度が上がる反面トークン消費も増える仕組みです。ソティオ氏は「Solのhighに満足していたならAstraのlowまたはmediumへの切り替えを提案する」としました。推論レベルを下げても性能が落ちないのでトークンの節約になります。

定額プランの重いタスクは消費が最大75%減った

同じ日にソティオ氏はもう1つの改善を報告しました。定額プランユーザーの「ロングテール」タスクで使用量の消費を最大3〜4倍軽くしたとのことです。4倍の軽減は75%減に相当します。

ロングテールタスクはトークン消費量が特に多い一部の処理を指すとみられます。Astraは9月3日の公開直後からトークン消費の多さをユーザーに指摘されていました。推論レベルの切り替えに加えてモデル側の最適化も進んだ形です。

API利用者が確認すべきは推論レベルの設定だ

API経由でSolをhighで使っていたならAstraのlowへ切り替えるだけで対応できます。性能は上がりトークン消費とコストは下がるという組み合わせです。

AInformationの検証ではAstraの実際の回答品質を調べています。ベンチマーク上の数字だけでなく手元で試してから本番投入するのが確実です。

まずlowで試し足りなければmediumに上げる

Astraを使い始めるならまずlowからがよさそうです。Solのhighを超える性能がlowで出るので多くの用途はこれで足ります。精度が足りなければmediumに上げる流れです。

AstraはChatGPTの有料プランにも追加料金なしで来ています。APIに限らずChatGPT経由でも推論レベルを意識するとトークン枠の節約になります。lowから始めて必要に応じて上げるのがコツです。