FreeTokenが公開、VRAM 8GBのノートPCで350億パラメータが動く

公式チェックポイントのまま巨大モデルを手元で動かす

Apache 2.0ライセンスの無償ツール「FreeToken」が公開された。有志による追加の量子化に頼らず公式配布のチェックポイントだけを使って、ノートPCやゲーミングPCで大規模AIモデルを動かせるのが特徴だ。

MoE（Mixture-of-Experts）型のモデルは生成時に全パラメータの一部しか使わない。理論上は家庭のPCでも動くはずだが、使わないエキスパートの出し入れの遅延と長いやり取りでの再計算がボトルネックだった。FreeTokenはこの2つの課題を解消する。

RTX 4060ノートPCでも毎秒39トークン

FreeTokenは計算中に次の層のエキスパートを先回りして転送し、待ち時間を隠す仕組みを使う。足りない分だけGPUに運ぶかCPUで計算するかをマシンの帯域に合わせて振り分ける。AIがツールを使ったり考え直したりする際の文章の切れ目に印を置くことで、履歴の編集時に最初から計算し直さずに済む工夫もある。

実測結果は以下の通りだ。

いずれも公式配布のチェックポイントだけで動いている。

Claude CodeやCodexをそのまま繋げる

速度の数字より実務に効くのはここだ。FreeTokenのリポジトリによると、FreeTokenはAnthropicとOpenAIの両方に互換のAPIを備えている。狙いははっきりしていて、実際に使われているコーディングエージェントやツール呼び出しのエージェントにそのまま繋ぐためだ。

名前が挙がっているのはCodex、Claude Code、OpenCode、OpenClaw、DeepSeek Harnessだ。いま使っているエージェントの接続先を差し替えるだけで、手元のマシンのモデルで動かせることになる。ツールを乗り換える必要がない。

対応するモデルも幅がある。DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2などのオープンウェイトのMoEモデルを、MXFP4・NVFP4・FP8・BF16といった形式で扱える。ハードウェアはNVIDIAのRTX 30・40・50シリーズに正式対応している。

作りの面では、実行中にVRAMの割り当てをエキスパートのキャッシュとKVメモリの間で動かせる点も効く。エンジンを止めることも重みを読み直すこともなく配分を変えられる。技術の詳細はarXivの論文にまとまっている。

ローカルAI環境の選択肢として

クラウドAPIを使わずに手元でAIモデルを動かしたい場面は増えている。機密データを外部に出せないケースや通信コストを抑えたいケースなどだ。

FreeTokenはApache 2.0ライセンスなので商用利用もできる。VRAM 8GBのノートPCで350億パラメータのモデルが実用的な速度で動くなら、社内検証用の環境としても検討する価値がありそうだ。

写真：TheStriker / Wikimedia Commons（CC BY 4.0）