Strata、125BのQwenをゲーミングPCで実行 Macでは動かない

Strata公開　125BのQwenがVRAM 12GBで動く

Strataは、1250億パラメーターのQwen3.8-Flash-Nextの量子化版を、手の届くゲーミングPCで動かすためのアプリだ。最先端のオープンモデルは規模が大きく、本来はデータセンター級の設備が要る。Strataはその壁を下げることを狙っている。

仕組みは2つの組み合わせだ。1つはMoEモデルの全体をRAMに置き、よく使う専門家モデルだけをVRAMに載せるやり方。もう1つは軽い別のモデルに次のトークンを先読みさせる投機的デコードで、VRAMが少ないPCでも速度を出す。

RTX 5070で毎秒94トークン　RAM 64GBが分かれ目だ

RTX 5070（VRAM 12GB）とRyzen 5 7600、RAM 64GBの環境では、2ビット量子化版のQ2_0が毎秒94トークンで動いた。3ビット量子化版のIQ3_Sでも毎秒53トークンが出ている。AMDのRadeon RX 9070 XT（VRAM 16GB）とRAM 47GBの環境でも、Q2_0が毎秒60トークンで動いた。

動かすのに要るのは、VRAM 12GB以上のNVIDIAかAMDのGPUとRAM 32GB以上だ。ストレージは80GB以上が要り、SSDが勧められている。

RAMの量で動くモデルが変わる

RAMが32GBだと、動くのはコーディング用以外の専門モデルを外した軽量版GSQ-RCO Coderだけになる。64GBあれば2ビットのIQ2_XSと3ビットのIQ3_XXSやIQ3_Sを選べる。さらにRAMを積めば、精度の高い量子化版も動かせる。

Macは対象外　2ビット版は同じ出力を繰り返した

対応OSはWindows 10と11、それにLinuxだけだ。社内でMacを配っている会社は、そのままでは試せない。GPUもNVIDIAかAMDに限られるので、ノートPCの内蔵GPUでは条件を満たさない。

量子化で性能が大きく落ちるという報告もある。X上の投稿では、2ビット量子化版のIQ2_XSに円周率を出させたところ、同じトークンを何度も出し続けるループに入った。速さの数字だけを見て選ぶと、答えの質で足をすくわれる。

試すなら3ビット版　速さより答えの質を先に見る

手元のPCで試すなら、まずRAMが64GBあるかを確かめておきたい。32GBの機械ではコーディング用の軽量版しか選べないので、文章の要約や調べものには向かない。

次に、毎秒94トークンの2ビット版ではなく、毎秒53トークンの3ビット版から試すのがよさそうだ。社内の資料を外へ出さずにAIへ渡せる点は大きい。そのぶん、計算や数字を含む答えは人が必ず確かめる手順を先に決めておきたい。