本文へ移動
NEWS
開発・技術

ggml-org、llama.cppを1.0.0に 旧関数35個を削除した

読了 約5分
発表元の公式ページの画面。ggml-org、llama.cppを1.0.0に 旧関数35個を削除した

この記事の要点

  • llama.cppが11月13日にv1.0.0になり、古い関数35個を消しました。
  • 編集部がMacで新旧を3回ずつ動かすと、速さは毎秒123トークン前後で同じでした。
  • 一方で古い起動の指定を付けると、v1.0.0は起動しません。

llama.cpp v1.0.0が11月13日に公開 版の付け方が変わった

Hugging Faceのllama.cppチームが、11月13日にv1.0.0を公開しました。計算の土台になるggmlも同じ日にv1.0.0になっています。始まってから3.5年での節目です。

チームは、手元のPCでAIを動かすことがこれからもっと大事になるとみています。組み込む開発者が増えたので、変わらない窓口を約束する形にしました。版の付け方はセマンティックバージョニングにそろえます。

  • 先頭の数字:公開しているCの窓口を壊す変更で上がる
  • 2番目の数字:前と互換のある機能や対応モデルの追加で上がる
  • 3番目の数字:窓口を変えない不具合の直しで上がる
llama.cpp v1.0.0 のGitHubリリース
llama.cpp v1.0.0 のGitHubリリース / 出典:github.com / 制作:AInformation

古い関数35個を削除 組み込んだアプリは手直しが要る

v1.0.0では、使わない予定にしていた古い関数35個を消しました。llama.cppを部品として組み込んだアプリは、そのままではビルドが通らない可能性があります。

足された機能もあります。リリースノートにある主なものは次のとおりです。

  • OpenAIと同じ形の読み上げの窓口「/v1/audio/speech」を追加
  • llama-serverの守りを強化(SSRF・CORS・DNSリバインディングへの対策)
  • チャットをグループにまとめられる新しいWeb画面と、書式が見える入力欄
  • 新しいモデルの構造3つ(Kimi-K3.1-Pro・Ripple・xing4_0)と読み上げのdrama-3

サーバーとして立てているだけの人にも関係があります。起動の指定から「–defrag-thold」が消えたからです。

llama-serverのWeb画面。日本語の質問に3つの箇条書きで答え、生成の速さも表示されている
llama.cpp v1.0.0のWeb画面で日本語の質問を送った結果

Macで新旧を3回ずつ試した 速さは同じで古い指定は止まる

編集部はMacで、v1.0.0(番号版b12359)と直前のv0.9.0(b12110)を並べて動かしました。モデルはQwen2.5-1.5B-InstructのQ4_K_Mで、同じ日本語の質問を3回ずつ送っています。

日本語の答えは新旧で1字も変わらず、速さも毎秒123トークン前後で並びました。違いが出たのは次の2か所です。

試したこと(11月13日21時台) v0.9.0(b12110) v1.0.0(b12359)
日本語の質問の生成速度(3回) 毎秒122.0〜123.6トークン 毎秒122.9〜123.3トークン
–defrag-thold を付けて起動 警告が出るだけで起動した invalid argument で起動しない
/v1/audio/speech を呼ぶ 404(窓口が無い) 501(読み上げのモデルが無い)

読み上げの窓口は、文章用のモデルのままでは使えません。「this server does not support audio generation」と返って止まりました。

入れ方にも注意が要ります。11月13日21時27分の時点で、Homebrewの安定版はまだ0.9.0でした。いま試すならGitHubの番号版b12359を落とすのが早道です。

llama-serverの新しいWeb画面の最初の表示。Hello thereとType a messageの英語の案内が出ている
v1.0.0のWeb画面の最初の表示は英語の案内

上げる前に確かめる3つ 起動の指定と組み込みと入れ方

社内でllama.cppを動かしているなら、上げる前に次の3つを見ておくと安心です。

  • 起動の指定に「–defrag-thold」が残っていないか。残っていると起動しません
  • 自前のアプリが、消えた35個の関数を呼んでいないか
  • Homebrewで入れているなら、版の表示が1.0.0になったか

速さは変わらないので、手元で1人で使うだけなら急ぐ理由は薄めです。社内のほかの人にサーバーを開いているなら、守りの直しが入ったv1.0.0へ早めに移る価値があります。

この記事に出てくることば
セマンティックバージョニング
版の番号を3つの数字で付け、壊す変更・機能の追加・不具合の直しのどれかで上げる数字を変える決まり
導入の現場から考える

※記事の事実とは分けて、筆者の考えを書いています。

藤井俊太AI導入コンサルタント

分析・考察版が1.0になったのは、llama.cppを部品として使う会社への約束だとみています。これまでは番号版を追うしかなく、社内で版を決めて固定するのが難しかったはずです。先頭の数字で壊れる変更が分かれば、上げる時期を決めやすくなります。

一方で指定ひとつで起動しなくなる変更は、手順書に起動の指定を書いて配っている会社ほど響きそうです。手順書の指定を先に洗い出しておかないと、朝に社内のAIが立ち上がらない事態になりかねません。

よくある質問
llama.cpp v1.0.0に上げると今の起動の設定は動く?
「–defrag-thold」を付けている設定は動きません。編集部がMacで試すと、v0.9.0では警告が出るだけで起動しました。v1.0.0では「invalid argument」と出て起動しません。指定を外せば起動するので、上げる前に起動のコマンドを見直すのが確実です。
llama.cpp v1.0.0はHomebrewで入れられる?
11月13日21時27分の時点では、Homebrewの安定版は0.9.0のままでした。すぐ試すならGitHubにある番号版b12359のMac版を落とします。編集部が落としたものは版の表示が「1.0.0-dev (build 12359)」でした。Homebrewで入れている人は、版の表示を見てから使うと安心です。
llama.cpp v1.0.0で文章の読み上げはできる?
OpenAIと同じ形の窓口「/v1/audio/speech」が足されましたが、読み上げ用のモデルが要ります。文章用のQwen2.5-1.5Bで呼ぶと501が返り、音声は作られませんでした。v0.9.0では同じ呼び出しが404で、窓口そのものがありませんでした。

【この記事の出典】

次に読む記事

広告を載せており、そこから申し込みがあると紹介料を受け取ることがあります。

この記事に出てくるAIも、まとめて比べられます 509本のAIツールを、やりたいこと・料金・日本語対応で絞り込めるデータベースです。5日ごとに料金を取り直しています。 AIツールを探す

あわせて読みたいRELATED