AWS、出力単価104円のAIへ振り分ける例を公開 支出の上限は無い

Switchyardのサンプル　Opus 5.5と安いAIを振り分ける

AWSは機械学習の公式ブログで、コーディングAIの依頼を2つのモデルへ振り分けるサンプルを公開しました。NVIDIAのオープンソース「NeMo Switchyard」を、AIの中継役になるLiteLLMに組み込んでいます。

振り分ける相手は性能の高いClaude Opus 5.5と、安いNVIDIA Nemotron 3 Super 120Bです。どちらもAmazon Bedrockで呼び出します。

• Stage … 直近のツールの結果を読み、2つのモデルから1つを選ぶ
• Random … 決めた割合で振り分ける。A/Bテストで比べるときに使う

既定のStageは、新しい依頼をまず安いNemotronへ回します。履歴にテストの失敗が続くと、Opus 5.5へ切り替える作りです。判定のために別のAIを呼ぶことはしません。

出力の単価は3,200円と104円　比べるのは解けた1件の費用

サンプルの測定スクリプトには、2つのモデルの単価が書き込まれています。AInformationが1ドル160円（11月13日の欧州中央銀行の値）で円に直しました。

入力5万・出力2,000トークンの1回をスクリプトの計算式で測ると、Opus 5.5は38.4円でNemotronは1.4円でした。

ただしAWSは、比べるのは1トークンの値段ではなく「解けた1件あたりの費用」だとしています。失敗した試みにも料金がかかるからです。安いモデルがやり直しを重ねると、1件あたりでは高くつくこともあります。

Claude Codeの依頼は404で弾かれる　経路は3つだけだ

AWSはブログの冒頭で、Claude CodeとOpenAIのCodex CLIを例に挙げています。ところがAInformationがサンプルのリポジトリでコードを読むと、Claude Codeの依頼は通らない作りでした。

サンプルの手引きにも、Messages APIへの依頼は404になると書かれています。経路を足すことはできますが、AnthropicはClaude Codeを他社のモデルへ回す使い方をサポートしていません。

Switchyard本体はGitHubで、OpenAIとAnthropicの形式を保ったまま振り分けられると説明しています。今回のサンプルはそこまで扱わず、付属の小さなコーディングAIで測る範囲にとどまります。

試す前にAWS Budgetsを設定　ゲートウェイに支出の上限は無い

AWSはこのサンプルを本番向けではないと断っています。使うのは9月22日に出たSwitchyardの0.3.0で、デモと評価用の部品という扱いです。GitHubでは10月29日に0.4.0a1が出ています。

お金の面でも気をつける所があります。READMEによると、このゲートウェイには支出の上限がありません。鍵は1本を全員で使う作りで、漏れるとBedrockの料金が積み上がります。

• 先にAWS BudgetsでBedrockの支出に通知を付ける
• 処理する地域を決めたいなら、globalの指定を地域の指定に替える
• 付属の4つの課題を、自社のコードの課題に差し替えて測る
• 測り終えたら cdk destroy でまとめて消す

組み合わせを試した地域は米国東部（us-east-1）だけです。Opus 5.5はglobalの指定なので、処理が世界の別の地域で行われることもあります。東京で使うなら、モデルごとの提供地域を先に確かめておくと安心です。

Claude Codeを自分で使うなら使い方と入れ方／料金とProで使える回数／AIコーディング4本の比べ

見方導入の現場から考える

※記事の事実とは分けて、筆者の考えを書いています。

藤井俊太AI導入コンサルタント

分析・考察現場で効きそうなのは振り分けの仕組みより、「解けた1件あたりの費用」で比べる物差しのほうだ。社内でAIの利用料を説明するとき、1トークンの単価だけ並べると安いモデルへの切り替えが正しく見えてしまう。

一方で、Claude Codeを使っている会社がこのサンプルをそのまま入れても動かない。情報システム部門は、自社のAIがどのAPIの形式で話しているかを先に洗い出しておきたい。そこを飛ばすと立ち上げた直後に404で止まるとみている。