Labo / Notes

検証ノート

手元の機材で確かめた、ローカル LLM・GPU・音声合成の技術メモです。ネット上で情報が割れていたものや、手順が整理されていなかったものを、測った数字つきでまとめています。

  1. No.15

    ローカル LLM

    ELYZA-Thinking-1.0 は同じベースの LLM-jp より上か — 公式の主張を手元で確かめた

    同じ事前学習モデルから作られた LLM-jp-4.1 と量子化・設定をそろえて比べると、知識の試験 JamC-QA で 32B-A3B は +7.1 ポイント（全 2,309 問）、33B は +11.7 ポイント上で、ELYZA の主張はどちらも否定できなかった。文章の総合力には差が見えず、指示を守る力の差には考える量の差が入る。

    +7.1知識の差（JamC-QA）主張は +5.7
  2. No.14

    国産 LLM

    国産 LLM 8 本を日本語の 3 試験で比べた

    PLaMo 3.0 Prime・LLM-jp-4.1・Qwen3-Swallow など 8 本で、手元で使っている Qwen3.6 の派生モデルを事前に決めた線で上回ったものは無かった。平均点で上だったのは PLaMo 3.0 Prime だけ（ELYZA-tasks-100 で 3.94 対 3.86・区間は 0 をまたぐ）で、指示を守る力も比べた中で 1 位。

    0/8本が Qwen3.6 を上回った平均点で上は PLaMo だけ
  3. No.13

    ローカル LLM

    Gemma 4 31B を Qwen3.5-4B に蒸留して、Mac で動く日本語の校閲の審判は作れるか

    公的な文書で学ばせた 4B は、測る前に決めた合格の線を通ったが、評価の記事ではページを見分けていなかった（j1 の項目ごとの κ 0.058）。学習と同じ種類の文書では見分けていて、その力が評価の記事まで届かなかった。「どのページでも j1 だけ FAIL」という決まった規則には、どの物差しでも負けた。

    0.058j1 の項目ごとの κ先生は 0.796
  4. No.12

    ローカル LLM

    Jev の代わりにローカル LLM は使えるか — Ollama の判断モデルを日本語で測った

    Ollama 0.35 の nimble 9B は、ニュースの見出しから題材を選ぶ仕事で Jev とほぼ同じ判別の力（AUC 0.758 対 0.759）を課金 0 で出した。それでも事前に決めた合格線には届かなかった。配布のままの入力の上限（8,194・2,050 トークン）は既定値で、Modelfile で上げられる。

    0.758判別の力（AUC）Jev は 0.759
  5. No.11

    音声合成

    Irodori-TTS v4-Large の読み間違いを v4.1-Small と比べた

    時刻の読み上げ 36 本で読みの誤りは 0、別の読みも 1 本と最も少なかった。ただし短い 1 文では 27 本中 18 本に、同じ文を 2 回読むなどの余分な声が入った。1 本の生成は v4.1-Small（bf16）の 1.5 倍。

    18/27短い文の余分な声読みの誤りは 0
  6. No.10

    ローカル LLM

    Strata で Qwen3.8-Flash-Next は RTX 5060 Ti で何 tok/s 出るか

    RAM 64GB で日本語の文章の生成が 57〜68 tok/s、同じファイルの llama.cpp（10 tok/s）の約 6 倍。RAM 32GB では専門家を SSD から読む低 RAM モードになり 19 tok/s で、メモリの量で 3 倍違った。

    57〜68tok/s（RAM 64GB）32GB では 19
  7. No.09

    ローカル LLM

    Ternary Bonsai 2 27B は RTX 5060 Ti で 67 tok/s 出るのか

    作者と同じ条件なら 65.3 tok/s。日本語の文章では 54.1 tok/s で、3 ビット台の Qwen3.8-27B より 1.5〜1.8 倍速い。ただし日本語の質は 3 つの試験とも下がった（ELYZA-tasks-100 で 3.73 対 4.10）。

    65.3tok/s（作者と同じ条件）日本語の文章では 54.1
  8. No.08

    RAG

    日本語の埋め込みモデルをローカルで比べた

    埋め込みだけなら Gemini（R@5 0.707）に手元の最良 0.661 で届かず。上位 20 件をリランカーで並べ替えると 0.782。軽い Ruri v3 の組み合わせでも 0.730。

    0.782並べ替え後の R@5埋め込みだけは最良 0.661
  9. No.07

    ローカル LLM

    llama.cpp の DFlash・DSpark・MTP を日本語で比べた

    日本語の文章で速くなったのは MTP だけ（Qwen3.8-27B で 1.2〜1.3 倍）。DFlash・DSpark は当たり 6〜15% で先読みなしより遅く、コードではどれも 1.3〜2.2 倍。

    ×1.2〜1.3日本語の生成速度（MTP）DFlash・DSpark は遅くなった
  10. No.06

    ローカル LLM

    Ollama の画像認識で伝票を読めるか

    PDF と中程度の劣化のスキャン 8 枚で、Qwen3.6-35B-A3B の派生モデルは 48 項目中 47、Gemma 4 26B は 46。強い劣化と手書きの訂正はまだ人の確認が要る。既定の qwen3-vl:8b は think: false でも考え続ける。

    47 / 48読めた項目（最良）PDF・中程度の劣化 8 枚
  11. No.05

    ローカル LLM

    Qwen3.8 の MTP で遅くなる原因と正しい付け方

    MTP の層が入った GGUF に別ファイルの MTP を重ねると、16GB からあふれて 3〜5 倍遅くなる。正しく付ければ文章 1.36 倍・コード 1.96 倍。

    ×1.96コードの生成速度文章は ×1.36
  12. No.04

    ローカル LLM

    Ollama と llama.cpp の速度を同じ設定で比べた

    同じファイル・同じ設定なら生成の差は 0〜1.7%。VRAM に入りきらない MoE でも同じ速さで、差が出たのは num_batch などの設定の値。

    0〜1.7%生成速度の差同じファイル・同じ設定
  13. No.03

    ローカル LLM

    llama.cpp の ngram-mod で、コードの書き直しが 4 倍以上速くなった

    n-gram の投機的デコーディングは、ファイル全体の書き直しで 80 → 344〜524 tok/s。エージェントの実際の要求（短いツール呼び出し）では変わらなかった。

    ×4.3〜6.6書き直しの生成速度エージェントでは変わらず
  14. No.02

    GPU

    RTX 5060 Ti の電力制限 150W のデメリットは 3% 未満

    180W から 150W に下げても、LLM の生成・読み込み・画像生成の遅れは 3% 未満。2 枚刺しでも 650W の電源で足りる計算。

    3% 未満遅くなった分180W → 150W
  15. No.01

    音声合成

    Irodori-TTS v4.1 の読み間違いを kana-whisper で自動検査する

    時刻の読み上げ 72 本を書き起こして正解と突き合わせた。標準版は誤り 0、MF 版は約 3 倍速いかわりに誤り 3。

    0 / 36標準版の読み間違いMF 版は 3 本