GPT-6 Astraが止まった原因はたった5000人の試験だった

GPT-6 Astraの不具合3件　OpenAIが原因を特定して修正した

OpenAIでChatGPTとCodexを担当するThibault Sottiaux氏が9月12日にXで発表した。GPT-6 Astraの品質をめぐって指摘されていた問題のうち3件の原因を特定して修正したという。あわせて利用枠のリセットを同日中にもう1度行うと告知した。

1つ目は旧モデル向けに書かれたスキルの誤動作だ。スキルとは繰り返す作業の手順をモデルにあらかじめ覚えさせておく仕組みだ。GPT-6 Astra以前のモデル向けに作られたスキルが過剰に呼び出され、モデルが自分の出力を検証する動きを妨げていた。

2つ目は会話の文脈を管理する試験機能の不具合で、次の見出しで詳しく触れる。3つ目は一部の通信で品質の低下が測定された処理エンジンだ。設定に不備があったため該当するエンジンを取り除いた。このほかにも細かな改善を加えたとしている。

応答の途中停止　原因は4000〜5000人限定の試験機能だった

3件のなかでもっとも影響が大きかったのは2つ目の試験機能だ。会話の文脈管理を改善する目的で提供されていたが、希望したユーザーだけが有効にするオプトイン方式だった。

この機能を有効にしたユーザーのあいだで応答が途中で止まったり古いメッセージに返信したりする症状が出ていた。Sottiaux氏はこの試験を停止し、影響を受けたユーザーを4,000〜5,000人と概算している。

不具合を投稿したユーザーや直接やりとりに応じたユーザーの存在が修正を早めたとも述べた。品質の問題はユーザーからの報告で表面化しておりSottiaux氏がXで直接対応する形になった。

社内でChatGPTを使う企業　スキル設定を確かめるべきだ

今回の修正で見えたのはモデルが切り替わると以前のカスタム設定が想定外に動く可能性だ。旧モデル向けに作ったスキルがGPT-6 Astraで暴走していた事実は、社内でChatGPTを業務に組み込んでいる企業にとって見過ごせない。

GPT-6 Astraは有料プラン全体へ展開されたばかりだ。既存のスキルが新しいモデルでも意図どおりに動くかは保証されていない。モデルの切り替え直後に出力を試して以前と変わっていないかを確かめるフローを作っておきたい。

カスタム指示を多用している組織ほど影響を受けやすい。スキルの数が多ければどれが旧モデル向けかを洗い出す作業も必要になる。

リセットが届いたら確かめるべき改善は3つだ

Sottiaux氏はユーザーが体感できる改善として3点を挙げた。

• 指示への追従が良くなった
• 直近のメッセージを正しく把握するようになった
• 作業途中にモデルが自分の出力を点検する動きが戻った

いずれも全体として明らかに良くなっているはずだという。

利用枠のリセットとはユーザーごとのChatGPTやCodexの利用枠を回復させる措置だ。OpenAIは8月以降この措置を記念や品質の埋め合わせとして繰り返してきた。今回は3件の修正に伴う実施になる。

リセットが届いたら普段使っているプロンプトで応答を確かめるのが手早い。指示どおりに動くか、途中で止まらないかの2点を見れば修正の効果は判断できる。応答が途中で止まる症状が出ていた人はその変化をとくに確認しておきたい。