DeepSeekが64GBのPCで動いた RTX 5070で毎秒4〜6トークン
オープンソースの推論ソフト「Strata」で、DeepSeek-V4.1-Flashがメインメモリ64GBのPCで動くようになった。開発者のNiko Veit氏が10月24日に発表した。使うのはオーストリア科学技術研究所DASLabの圧縮手法「GSQ-RCO」で作った量子化版だ。
DeepSeek-V4.1-Flash-1017はパラメーターが約7630億ある巨大なモデルだ。Strataはこれをグラフィックボードのメモリだけに載せず、メインメモリやSSDにも分けて置く。足りない計算はCPUも使って回す。
Strata 0.2.5での測定例は、GeForce RTX 5070（専用メモリ12GB）とメインメモリ64GBの組み合わせだ。この構成で2ビット版は毎秒4〜6トークンを出した。量子化版の提供元によると、2ビット版は数学・科学・コード生成の3つの評価で元のモデルと同じ平均点だった。
- 10/24Strata開発者がDeepSeekの64GB対応を発表
ダウンロードは239GBから 2ビット版は空き265GBが要る
量子化版は重みの平均が1.75ビット・2ビット・2.25ビットの3種類ある。関連ファイルを含むダウンロードは239GB・257GB・274GBだ。どれを選んでも数百GBの空きが前提になる。
公式リポジトリの表にある空き容量の目安は、1.75ビット版が約245GBだ。2ビット版は約265GBで、2.25ビット版は約280GBになる。このうち約111GBは3種類で共通の参照表（Engram）で、1度落とせば使い回せる。答えを書くたびにこの表をSSDから読むので、公式は速いNVMeのSSDに置くよう勧めている。
お金の面では、Strata本体はMITライセンスで0円で使える。量子化版のモデルもMITライセンスで配られている。かかるのはソフト代ではなく、PCと保存先の容量だ。
構成ごとの回答の速さ
| 構成 | 回答の速さ |
|---|---|
| RTX 5070（12GB）＋メモリ64GB | 毎秒4〜6トークン |
| RTX 3060（12GB）＋メモリ46GB | 毎秒9〜11トークン |
| Radeon AI PRO R9700 1枚＋メモリ251GB | 毎秒21〜25トークン |
| Radeon AI PRO R9700 4枚 | 毎秒74〜77トークン |
DeepSeekの対応にMacは入らない RTX 30以降とRadeonだけ
AInformationが公式リポジトリの説明を読むと、DeepSeekが動く構成は限られていた。対象はNVIDIAのRTX 30・40・50シリーズ（WindowsとLinux）と、AMDのRadeon AI PRO R9700（Linux）だけだ。Strata自体はMac版も配っているが、DeepSeekの対応一覧を探してもMacの名前は出てこなかった。
メモリが少ないPCも厳しい。公式の説明では、メインメモリが約40GBを下回る構成は試しておらず遅いとしている。セットアップはその旨を伝えたうえで入れる。
今の版でできないことも書かれている。複数の依頼を同時に受けることと、画像を読ませることには対応していない。
公式の表ではRTX 3060のほうが速い
公式の測定表には、RTX 3060（12GB）とメインメモリ46GBの組み合わせが毎秒9〜11トークンと載っている。新しいRTX 5070の例より速いが、差の理由は公式の説明を読んでも出てこなかった。Radeon AI PRO R9700はメモリ251GBと1枚で毎秒21〜25トークン、4枚で毎秒74〜77トークンだった。
会社で試すなら 先に「–plan」で載り方を見る
Strataには、ダウンロードの前にこのPCでどう載るかを見せる「–plan」がある。何も変えずに、グラフィックボードとメモリにどれだけ載るかを表示する。数百GBを落とす前に、まずここで手元のPCが足りるかを確かめておきたい。
動き出したあとは、OpenAI形式の/v1/chat/completionsとAnthropic形式の/v1/messagesで呼べる。社内の道具をそのままつなげる作りだ。初期設定では考える過程（thinking）がオンで、読み込みには数分かかる。詳しい手順は公式の「DeepSeekの実行方法」にまとまっている。
クラウドのDeepSeekのAPIに社内の文書を送れない会社にとって、手元で動かす道が1つ増えた。AInformationは10月6日にも、Strataが125BのQwenをゲーミングPCで動かした話を伝えている。次は、同時に1件しか受けられない今の作りがいつ変わるかが焦点になる。
- 量子化
- モデルの重みを少ないビット数で表して容量を減らすやり方。今回は平均1.75〜2.25ビットまで縮めている
社内の文書をクラウドに送れない会社には待っていた話だが、配る前に決めることが多い。まず誰のPCに265GBを空けるかだ。社員のノートPCで各自に試させるより、RTXを積んだ検証機を1台置いて部署から呼ぶ形が現実的とみている。ただ今の版は同時に1件しか受けないので、共用すると順番待ちになる。用途を議事録の要約や規程の検索のような急がない仕事に絞れば、毎秒4〜6トークンでも使いどころはありそうだ。
- StrataでDeepSeekはMacで動く？
- 公式の対応一覧にMacは入っておらず、今のところ動かせない。DeepSeekが動くのはNVIDIAのRTX 30・40・50シリーズ（WindowsとLinux）と、AMDのRadeon AI PRO R9700（Linux）だけだ。Strata本体にはMac版の配布があるが、DeepSeekはその対象に含まれていない。
- StrataでDeepSeekを動かすのにいくらかかる？
- ソフトとモデルは0円で、かかるのはPCと保存先だ。Strata本体も量子化版のモデルもMITライセンスで配られている。そのかわり2ビット版はダウンロードが257GBあり、空き容量は約265GBが要る。グラフィックボードの専用メモリは12GBの例が公式に載っている。
- メモリ32GBのPCでもDeepSeekは動く？
- 公式は約40GBを下回る構成を試しておらず、動いても遅いとしている。セットアップはその旨を伝えたうえで入れる作りだ。公式の測定例はメモリ64GBと46GBで、64GBのRTX 5070の構成で毎秒4〜6トークンだった。先に「–plan」で手元のPCにどう載るかを確かめたい。
この記事の出典
補助資料
- [1]ASCII.jpこの記事の元にした報道
出典の最終確認日：2026年10月26日
