Labo › 検証ノート

ローカル LLM

Strata で Qwen3.8-Flash-Next は RTX 5060 Ti で何 tok/s 出るか — RAM 64GB で 57〜68 tok/s（llama.cpp の約 6 倍）。32GB では 19 tok/s で、メモリの量で 3 倍違った

IVYXON 編集部 ・ 2026年10月2日

57〜68tok/s（RAM 64GB）日本語の文章の生成
19 tok/sRAM 32GB（低 RAM モード）llama.cpp（9 tok/s）の 2 倍
10.0 tok/s同じファイルの llama.cppRAM 64GB の Strata は約 6 倍
CONTENTS目次（8）
  1. 測った環境
  2. 結果: RAM 64GB で Strata は 3 倍以上速くなった
  3. 32GB で遅かったのは、専門家を SSD から読んでいたため
  4. 先読みの当たりで、同じ条件でも 53〜84 tok/s に振れた
  5. 作者の表との差
  6. 測っていないこと
  7. まとめ
  8. 出典

この記事の結論

  • RAM 64GB では、日本語の文章の生成が 57〜68 tok/s だった。個人開発の推論エンジン Strata（v0.1.30）で、Qwen3.8-Flash-Next の 2 ビット版（Q2_0・66.4GB）を動かした値。入力が約 4K トークンで 56.7、約 1K で 68.4（2 回の 53.1 と 83.7 の中央値）。同じファイルを llama.cpp で動かすと 10.0 tok/s で、約 6 倍の差。
  • RAM 32GB では 19 tok/s で、メモリを 64GB にすると 3〜3.6 倍になった。32GB ではモデルの「専門家」（MoE のモデルが 1 トークンごとに一部だけを選んで使う重み。Q2_0 で合わせて約 34GB）が RAM に入らず、Strata は SSD から読みながら動く「低 RAM モード」になる。それでも llama.cpp（9 tok/s）の 2 倍は出た。llama.cpp はメモリを増やしても 1 割しか速くならなかった。
  • 作者の表（RTX 5070 12GB・RAM 64GB で 93 tok/s）には届かなかった。作者の測定はコードを書かせる問いで、今回は日本語の文章の続き。先読みの当たり方が違うほか、GPU のつなぎ方（PCIe 4.0 x8）とメモリ（DDR4-3200）の差で遅くなっている見込みもある（確かめていない）。Windows で GPU が固まる不具合の報告（#267）は、17 回の要求で一度も起きなかった。

Strata は、個人の開発者（GitHub の Niko1221）が公開している推論エンジンです。大きな MoE モデルの Qwen3.8-Flash-Next を、NVIDIA の GPU 1 枚（12〜24GB）と RAM 64GB の PC で速く動かすことを目指しています。llama.cpp（ggml）の部品を使いつつ、よく使う専門家を GPU に置き、残りを CPU で計算する作りです。専門家（エキスパート）とは、MoE（Mixture of Experts）のモデルの各層に並んでいる小さなネットワークのことで、1 トークンを作るたびに、その中から少数だけが選ばれて計算に使われます。ライセンスは MIT です。

Qwen3.8-Flash-Next は、総パラメータ 125B のうち 1 トークンで動くのが 6B の MoE モデルです。これとは別に、51B の n-gram の埋め込みと 4B の MTP（先読みの頭）を持ちます。専門家は 512 個で、1 トークンごとに 10 個と共有の 1 個を使います。ライセンスは Qwen Community License 1.0 です。今回は ISTA-DASLab が公開している GSQ-RCO 方式の 2 ビット版（Q2_0）を使いました。2 つのファイルで 66.4GB あり、2 つ目は n-gram の埋め込みの表（28.8GB）です。Strata の setup は、Q2_0 に RAM 48GB を求めます。

作者の表では、RTX 5070 12GB・RAM 64GB の PC で、Q2_0 の生成が短い会話で 93 tok/s です。この記事の PC は RAM が 32GB でした。そこで、まず 32GB のまま測り、同じ日にメモリを 64GB に替えて測り直しました。同じファイルを llama.cpp でも動かして比べています。数字は 2026年10月1日時点のものです。

測った環境

項目内容
GPUGeForce RTX 5060 Ti 16GB（電力の上限 180W・PCIe 4.0 x8 でつながる）
CPU・メモリCore i5-12400F・DDR4-3200。32GB（8GB×4）で測ったあと、同じ日に 64GB（32GB×2・CL22）に替えて測り直した
OS・ドライバWindows 11・NVIDIA ドライバ 610.47
モデルQwen3.8-Flash-Next の GSQ-RCO Q2_0（ISTA-DASLab。2 ファイル 66.4GB・Hugging Face の sha256 と一致）
Stratav0.1.30（コミット 30ec18ec）を、同梱の setup で CUDA 13.4 を使ってソースからビルド。設定は setup が選んだまま（先読み 4・MTP・GPU に置く専門家の数は自動・文脈 8,192）。RAM 32GB では setup が低 RAM モード（--mmap-experts）を選んだ。64GB ではそれだけを外した
llama.cppb11193（CUDA 13.4 でソースからビルド）。-c 8192 -np 1 -fa on -ctk q8_0 -ctv q8_0 -fit on -fitt 1024 -cram 0 -b 2048 -ub 512 -t 6（GPU に載せる量は自動）
測り方日本語の記事の本文（約 1K と約 4K トークン）を渡して続きを書かせ、512 トークンで打ち切る。思考なし、温度 0.7・top_p 0.8・top_k 20。それぞれ 3 回で、1 回目は温めとして捨て、2・3 回目の中央値。速さはサーバーが返す値（読み込みと生成の tok/s）

Strata の先読みは、MTP の頭が 1 回に最大 4 トークンを下書きし、本体がまとめて確かめる仕組みです（投機的デコーディング）。下書きが当たった分だけ速くなります。下書きの方式による違いは DFlash・DSpark・MTP を日本語で比べた記事にまとめています。

結果: RAM 64GB で Strata は 3 倍以上速くなった

エンジン・RAM生成
入力 約 1K		生成
入力 約 4K		読み込み
入力 約 1K		読み込み
入力 約 4K
Strata・RAM 64GB68.4
（53.1・83.7）		56.7290590
Strata・RAM 32GB
（低 RAM モード）		18.818.646158
llama.cpp・RAM 64GB10.010.0126169
llama.cpp・RAM 32GB9.19.289152

tok/s。2 回の中央値（Strata・RAM 64GB の約 1K だけ 2 回の値も示した）。入力は約 1K が 1,066〜1,068 トークン、約 4K が 4,138〜4,531 トークン。RAM 32GB の約 4K は、Strata の 1 回が 2 トークンで答えを終えたため、両方のエンジンで 1 回ずつ足して測った（下の囲み）。2026年10月1日に測定。

  • Strata は、RAM を 32GB から 64GB にすると 3〜3.6 倍速くなりました（18.8 → 68.4、18.6 → 56.7）。文章の読み込みも、約 1K で 6 倍、約 4K で 3.7 倍になりました
  • llama.cpp は、64GB にしても 1 割ほどしか速くなりませんでした（9.1 → 10.0、9.2 → 10.0）
  • その結果、Strata と llama.cpp の差は、32GB の 2 倍から、64GB では 5.7〜6.9 倍に広がりました
  • 32GB でも Strata は llama.cpp の 2 倍で、待てる速さ（目安として 12 tok/s）を超えていました。ただし、文章の読み込みは約 1K では llama.cpp のほうが速く（89 対 46）、長い入力を渡す使い方では待ち時間が長くなります

32GB で遅かったのは、専門家を SSD から読んでいたため

MoE のモデルは、1 トークンごとに使う専門家が変わるので、どの専門家もすぐ取り出せる場所（GPU か RAM）に置いておく必要があります。Q2_0 の専門家の重みは合わせて約 34GB あり、16GB の GPU には入りきらず、RAM 32GB の PC の RAM にも入りません。Strata の setup は RAM の量を見て、32GB では専門家をファイルから読む低 RAM モードを選びました。この状態では、GPU が持つのは専門家の約 3 割で、GPU に無い専門家は SSD とファイルのキャッシュから読むことになります。生成中に GPU の専門家が当たった割合は 83〜89% で、外れた分の読み出しが遅さの元になっていたとみられます。

64GB では専門家を全部 RAM に置けるので、setup は通常のモードを選びます（今回は低 RAM モードの指定だけを外しました）。測定中の空きメモリは約 24GB で、専門家の置き場として約 34GB を使っていました。要求を受け付けるまでの起動は 24 秒で、32GB のとき（50 秒・2 回目は 24 秒）と同じくらいでした。

llama.cpp も同じファイルを読みますが、GPU に載らない部分は CPU で計算します。64GB ではファイルのキャッシュに残る量が増えても、生成の速さはほとんど変わりませんでした。この速さを決めているのは、メモリの量ではなく CPU での計算とみられます（確かめていません）。

先読みの当たりで、同じ条件でも 53〜84 tok/s に振れた

RAM 64GB・入力約 1K の 2 回は、53.1 と 83.7 tok/s と大きく違いました。差の元は先読みの当たりです。83.7 の回は、続きの文章が証券会社の名前を並べる形になり、下書きの 94% が当たりました。53.1 の回は 53% でした。入力約 4K の 2 回は 56.3 と 57.0 で、当たりはどちらも 6 割ほどです。

  • 先読みの当たりは、日本語の文章では 5〜7 割ほどでした（32GB で 0.55〜0.63、64GB で 0.53〜0.94）
  • 同じ長さの文章でも内容で速さが大きく変わるので、目安は 文章なら 55〜70 tok/s と幅で考えるのがよさそうです

作者の表との差

作者の README の表では、RTX 5070 12GB・Ryzen 5 7600・RAM 64GB の PC で、Q2_0 の生成は短い会話で 93 tok/s、文脈 128K で 74 tok/s です。読み込みは、4K の入力で 910〜1,580 tok/s とされています。今回の 64GB の値（生成 57〜68、約 4K の読み込み 590）は、それぞれ 6〜7 割、半分以下でした。

  • 問いの種類が違います。作者が公開している測定の記録は、コードを書かせる問いを、いちばん確かな語を選ぶ設定（greedy）で書かせたものです。コードは先読みが当たりやすく、日本語の文章を温度 0.7 で書かせた今回より有利です
  • 機材も違います。作者の RTX 5070 は PCIe 5.0 x16 でつながり、メモリは DDR5-5200 です。今回の RTX 5060 Ti は PCIe 4.0 x8（GPU が 8 レーンで、マザーボードの差し込み口が PCIe 4.0）、メモリは DDR4-3200 です。専門家を RAM から GPU へ送る読み込みは、この差で遅くなっている見込みです（確かめていません）

RAM 32GB のとき、1 回だけ 2 トークンで答えが終わった

RAM 32GB の Strata で、約 4K（4,531 トークン）の文章の続きを頼んだ 1 回が、「ア」と書いた 2 トークンで答えを終えました。生成の速さとして数えられないので、起動し直して別の約 4K の文章で 1 回足しました（llama.cpp も同じ足し方で測っています）。同じ 4,531 トークンの文章は、llama.cpp では 512 トークン書き切り、RAM 64GB の Strata でも書き切りました。原因は確かめていません。

Windows で GPU が固まる不具合の報告（#267）

Strata には、Windows で先読みの答え合わせの途中に GPU が応答しなくなり、電源を入れ直すまで戻らないという報告がありました（Issue #267）。今回の v0.1.30 では、RAM 32GB で 11 回、64GB で 6 回の要求と、3 回の起動で一度も起きませんでした。ただし回数は少ないので、起きないと言い切れるものではありません。この件は 2026年10月1日の v0.1.31 で、答え合わせが止まったときに GPU を待ちから解放してからエンジンを終える形に直され、閉じられています。10月2日時点の最新は v0.1.32 です。

測っていないこと

  • 答えの質（今回は速さだけ）
  • 長い文脈（数万トークン以上）での速さ。作者の表でも、文脈が長いほど生成は遅くなっている
  • 思考ありの使い方
  • ほかの大きさ（IQ2_XS・IQ3_XXS・IQ3_S）や Coder 版、ほかの GPU、Linux での速さ
  • v0.1.31 以降の版の速さ（今回は v0.1.30）
  • 消費電力。また速さは各条件 2 回なので、数 % の差は偶然の範囲かもしれない

まとめ

  • Strata（v0.1.30）で Qwen3.8-Flash-Next の Q2_0 を RTX 5060 Ti 16GB で動かすと、RAM 64GB では日本語の文章の生成が 57〜68 tok/s（2026年10月1日時点）
  • RAM 32GB では 19 tok/s。専門家の部分が RAM に入らず SSD から読む低 RAM モードになるため。メモリを 64GB にすると 3〜3.6 倍になった
  • 同じファイルを llama.cpp で動かすと 10 tok/s で、メモリを増やしてもほとんど変わらない。Strata との差は 32GB で 2 倍、64GB で約 6 倍
  • 作者の表の 93 tok/s は、コードを書かせる問いと、PCIe 5.0 x16・DDR5 の機材での値。日本語の文章では、先読みの当たりで 53〜84 tok/s と大きく振れた

出典

← 検証ノートの一覧へ

この記事は、手元の機材で行った測定をもとにした一般的な技術情報の提供を目的としており、特定の製品・ソフトウェアの購入や利用を推奨・勧誘するものではありません。数値は 2026年10月1日の測定で、モデル・ソフトの版・設定・機材によって変わることがあります。