Labo › 検証ノート

国産 LLM

国産 LLM 8 本を日本語の 3 試験で比べた — PLaMo 3.0 Prime・LLM-jp-4.1・Qwen3-Swallow ほか。手元で使っている Qwen3.6 の派生モデルを事前に決めた線で上回ったものは無く、平均点で上だったのは PLaMo 3.0 Prime だけだった

IVYXON 編集部 ・ 2026年10月12日

0 / 8Qwen3.6 の派生を上回った本数平均点で上は PLaMo 3.0 Prime だけ
3.94PLaMo 3.0 Prime（ELYZA-tasks-100）Qwen3.6 の派生は 3.86（差 +0.08）
0.783指示を守る力（M-IFEval-Ja）PLaMo 3.0 Prime・比べた中で最高（基準は 0.615）
CONTENTS目次（11）
  1. 測った 8 本と基準
  2. 測った環境と試験
  3. 「上回った」の線は、数字が出る前に決めた
  4. 結果: 基準を上回った国産モデルは 0 本
  5. ELYZA-tasks-100 以外の 2 つの試験
  6. 手元の 16GB での速さ
  7. モデルごとに見ると
  8. 源内の 5 本のうち、測れたのは PLaMo だけ
  9. 測っていないこと
  10. まとめ
  11. 出典

この記事の結論

  • 事前に決めた線で「上回った」と言える国産モデルは、8 本の中に無かった。ELYZA-tasks-100（思考なし）で、手元で日本語の文章に使っている Qwen3.6-35B-A3B の派生モデル（3.86）と同じ問題どうしで比べると、差がプラスだったのは PLaMo 3.0 Prime だけで、95% 区間がまるごと 0 より上に出たものは無い。
  • 平均点で上だったのは PLaMo 3.0 Prime（API）だけで、3.94 対 3.86（差 +0.08、区間 -0.21〜+0.36）。区間が 0 をまたぐので、上とも下とも言い切れない。字数や形式の指示を守れるかを見る M-IFEval-Ja は 0.783 で、比べた中でいちばん高かった（基準は 0.615、Gemma 4 31B は 0.770）。3 つの試験と思考ありの ELYZA-tasks-100 を回した代金は、計 38.6 円だった。
  • 手元の 16GB の GPU で動くものでは、LLM-jp-4.1 33B（-0.08）と Qwen3-Swallow 30B-A3B（-0.13）が近い。ただし 33B は 16GB に入れるため 3 ビット台に縮めていて、文脈 32K では 5.9 tok/s と遅い。Swallow は思考を切れず、4 択の試験で 300 問中 65 問が思考だけで出力の上限を使い切った。

国産の LLM（大規模言語モデル）は、手元の GPU で動かせるものが増えてきました。2026年9月28日には、国立情報学研究所（NII）の LLM-jp が LLM-jp-4.1 を公開しました。Preferred Networks（PFN）は 6月22日に PLaMo 3.0 Prime の正式な提供を始め、API で使えるようにしています。デジタル庁のガバメント AI「源内」でも、2026年度に国産の 5 つのモデルを試しています。

そこで、RTX 5060 Ti 16GB の Windows 機で動く国産モデル 7 本と、API で使える PLaMo 3.0 Prime の計 8 本を、日本語の 3 つの試験で測りました。比べる相手（以下「基準」）は、ふだん日本語の文章を書かせている Qwen3.6-35B-A3B の派生モデルです。「上回った」と言える線は、国産モデルの数字がまだ 1 件も無い 2026年9月29日の夜に決めておきました。測ったのは 2026年9月30日〜10月1日です。

測った 8 本と基準

モデル（開発）形・ライセンス動かし方・ファイル
PLaMo 3.0 Prime（Preferred Networks）重みは非公開PLaMo API（plamo-3.0-prime）
Qwen3-Swallow 30B-A3B RL v0.2（東京科学大学・産業技術総合研究所）MoE 30B（使うのは 3B）・Apache-2.0Ollama・Q4_K_M（18.6GB）
LLM-jp-4.1 8B thinking（国立情報学研究所の LLM-jp）密 8.6B・Apache-2.0改造版の llama.cpp・公式の GGUF の Q4_K_M（5.5GB）
LLM-jp-4.1 32B-A3B thinking（同上）MoE 32B（使うのは 3.8B）・Apache-2.0同上・Q4_K_M（21.5GB。専門家の重みは CPU に置く）
LLM-jp-4.1 33B thinking（同上）密 33B・Apache-2.0同上・公式の BF16 から作った IQ3_XXS（12.2GB）
Shisa V2.1 14B（Shisa.AI）密 14.7B（Phi-4 から）・MITOllama・Q6_K（12.0GB）
CAT-Thinking-8B（サイバーエージェント）密 8B（Qwen3-Swallow-8B から）・Apache-2.0Ollama・Q8_0（8.7GB）
Sarashina2.2-3B instruct v0.1（SB Intuitions）。参考密 3B・MIT本家の llama-server・Q8_0（3.6GB）
基準: Qwen3.6-35B-A3B の派生モデル（元のモデルは Alibaba の Qwen チーム）MoE 35B（使うのは 3B）・Apache-2.0Ollama・Q4_K_M（22.1GB。文脈 32K では約 6 割が GPU）

MoE は、たくさんの「専門家」の重みのうち一部だけを使って 1 トークンずつ書く作りのモデルで、括弧の中は 1 トークンあたりに使う重みの数。密は、毎回すべての重みを使うふつうの作り。量子化（重みを縮める形式）は、密のモデルは試験の設定で VRAM（GPU のメモリ）に全部載る中でいちばん大きい版、MoE は基準と同じ Q4_K_M にそろえた。LLM-jp-4.1 33B は、公式の BF16 と同梱の imatrix から、改造版の llama-quantize で IQ3_XXS を作った。GGUF の配布元は出典に載せた。

測った環境と試験

項目内容
GPUGeForce RTX 5060 Ti 16GB
CPU・メモリCore i5-12400F・DDR4-3200 32GB（測った時点）
OS・ドライバWindows 11・NVIDIA ドライバ 610.47
動かし方Ollama 0.34.4（基準・Swallow・Shisa・CAT）、改造版の llama.cpp の llama-server（LLM-jp-4.1。下の注意を参照）、本家の llama-server（Sarashina2.2-3B）、PLaMo API（PLaMo 3.0 Prime）
試験ELYZA-tasks-100（100 問。採点の基準を OpenAI の gpt-6-luna に渡して 1〜5 点をつけさせた。採点は 2026年10月10日）・M-IFEval-Ja（172 問・226 の指示。指示ごとの厳密な判定）・JamC-QA（4 択 300 問）。3 つとも思考なしで 1 回ずつ解かせ、考えられるモデルは ELYZA-tasks-100 を思考ありでもう 1 回
出力の上限・文脈出力は 3,072 トークンまで（JamC-QA は 256、思考ありの ELYZA-tasks-100 は 8,192）。思考を切れない Swallow と LLM-jp-4.1 は、思考の分として 2,048 を足した。文脈は Ollama が 8K（思考ありは 16K）、LLM-jp-4.1 の llama-server は 16K で起動
思考の切り方PLaMo は reasoning_effort を none（思考なし）と medium（思考あり）。LLM-jp-4.1 は思考を切れないので、いちばん軽い effort low を思考なしの欄に、公式の評価と同じ medium を思考ありの欄に入れた。Swallow は切り替えに対応していない（モデルのカード）
サンプリング各モデルの推奨値（generation_config とモデルのカード）。推奨が書かれていない Shisa と LLM-jp-4.1 は、温度 0.7・top_p 0.95 を先に決めた。PLaMo は API の既定（温度 0.3・top_p 1.0）。基準は温度 0.7・top_p 0.8・top_k 20 など（思考なし）
速さ日本語の文章（約 2,000 トークン）を渡して 512 トークン書かせ、2 回の中央値をとった。文脈 32K で起動。PLaMo は回線と相手のサーバーで決まるので測っていない

「上回った」の線は、数字が出る前に決めた

主な物差しは、ELYZA-tasks-100（思考なし）の基準との差です。同じ 100 問どうしの点の差を、問題を選び直しながら 1 万回計算して（対応のあるブートストラップ）、95% 区間を出しました。「基準を上回った」と言うのは、この区間がまるごと 0 より上で、しかも答えへの混入（中国語の簡体字・ハングル・思考の文の漏れ）が基準以下のときだけ、と決めました。8 本を同時に比べるので、たまたま当たる分を割り引く補正（Holm の方法）もかけます。M-IFEval-Ja・JamC-QA・速さは判定に使わず、並べて書きます。

この線を決めたのは 2026年9月29日 22時で、国産モデルの数字はまだ 1 件もありませんでした。基準は今回あらためて測り直し（3.86）、9月の別の回の値（3.88）との差の区間が 0 をまたぐ（-0.02、区間 -0.17〜+0.13）ことを確かめてから使っています。

採点する AI は、線を決めたときの gpt-5.6-luna から 2026年10月10日に gpt-6-luna へ替え、すべての答えを採点し直しました。gpt-5.6-luna の採点でも線を越えた国産モデルは無く、PLaMo 3.0 Prime の差は -0.11（区間 -0.39〜+0.15）でした。

結果: 基準を上回った国産モデルは 0 本

モデルELYZA
思考なし／あり		思考なしの基準との差
（95% 区間）		M-IFEval-JaJamC-QA
基準（Qwen3.6 の派生）3.86／——0.6150.537
PLaMo 3.0 Prime（API）3.94／3.88+0.08
（-0.21〜+0.36）		0.7830.543
LLM-jp-4.1 33B3.78／3.83-0.08
（-0.35〜+0.18）		0.6370.537
Qwen3-Swallow 30B-A3B3.73／3.66-0.13
（-0.40〜+0.14）		0.5880.457 ※1
LLM-jp-4.1 32B-A3B3.70／3.74-0.16
（-0.43〜+0.11）		0.6990.540
LLM-jp-4.1 8B3.66／3.87-0.20
（-0.51〜+0.10）		0.6640.497
CAT-Thinking-8B3.62／3.76-0.24
（-0.51〜+0.03）		0.4820.447
Shisa V2.1 14B3.49／—-0.37
（-0.63〜-0.11）		0.5270.363 ※2
Sarashina2.2-3B（参考）3.34／—-0.52
（-0.84〜-0.20）		0.3050.530
比べる相手（国産ではない）
Gemma 4 26B4.01／4.31+0.15
（-0.11〜+0.40）		0.757 ※30.597 ※3
Gemma 4 31B4.17／4.41+0.31
（+0.10〜+0.53）		0.7700.610

ELYZA-tasks-100 は 100 問の 1〜5 点の平均（gpt-6-luna の採点）で、「／」の左が思考なし、右が思考あり（— は思考の無いモデルか、測っていない）。差は思考なしどうしの同じ問題の差の平均で、括弧は対応のあるブートストラップ（1 万回）の 95% 区間。M-IFEval-Ja は 226 の指示を守れた割合（指示ごとの厳密な判定）、JamC-QA は 300 問の正答率。国産と基準は 2026年9月30日〜10月1日、Gemma 4 は 9月23〜29日に測定。
※1 Swallow は思考を切れず、JamC-QA の出力の上限（256＋2,048 トークン）を思考だけで使い切って答えが空になった問題が 300 問中 65 問あった。上限を 8,192 に広げて測り直すと 0.517（区間 0.460〜0.573・空は 6 問）で、公開元のリーダーボードの 0.520 とほぼ同じになる。表は事前に決めた上限での値。
※2 「説明は不要」の指示を守らず、300 問中 280 問で答えの後に説明を足した。説明の中に別の選択肢の名前が出ると、採点で答えを拾えない。最初の行を答えとみなすと 0.443（区間 0.388〜0.500）。
※3 9月の別の回（Ollama 0.34.3・同じ試験と採点）の値。

  • 区間がまるごと 0 より上に出た国産モデルはありません。差がプラスだったのは PLaMo 3.0 Prime（+0.08）だけで、その区間も 0 をまたぎます。補正をかける前の段階で線に届かないので、Holm の補正の有無で結論は変わりません
  • 基準より下だとはっきり言える（区間が 0 より下で、8 本ぶんの補正をかけても残る）のは、Shisa V2.1 14B（p=0.006）と Sarashina2.2-3B（p=0.002）の 2 本です。
  • 残りの 6 本（PLaMo 3.0 Prime・LLM-jp-4.1 の 3 本・Swallow・CAT）は区間が 0 をまたぎ、基準と同じくらいなのか、上か下なのかは、この 100 問では分けられません
  • 比べる相手の Gemma 4 31B は +0.31（区間 +0.10〜+0.53）で、基準をはっきり上回りました。国産の 8 本は、平均点で Gemma 4 26B（4.01）にも届いていません
  • 答えに簡体字・ハングル・思考の文が混じった問題は、基準と PLaMo 3.0 Prime が 100 問中 1 問、ほかは 0 問でした

ELYZA-tasks-100 以外の 2 つの試験

  • M-IFEval-Ja（字数・形式・使う文字などの指示を守れるか）は、PLaMo 3.0 Prime の 0.783 が比べた中でいちばん高く、LLM-jp-4.1 の 3 本（0.637〜0.699）も基準（0.615）より上でした。ただし、この試験では区間を出していないので、どこまでが偶然の差かは分けていません
  • Sarashina2.2-3B は 0.305 と低く、答えの言語を指定されても日本語で答える、使ってはいけない語を書いてしまう、といった外れ方でした（答えが途中で切れたり、思考が漏れたりはしていません）
  • JamC-QA（日本の文化・地理・制度などの 4 択）は、PLaMo 3.0 Prime 0.543・LLM-jp-4.1 32B-A3B 0.540・33B 0.537 が、基準（0.537）と並びました。基準の区間は 0.480〜0.592 で、国産でこの幅より上に出たものはありません。比べる相手の Gemma 4 31B は 0.610 でした

手元の 16GB での速さ

判定には使っていませんが、手元で動くものは生成の速さも測りました。日本語の文章（約 2,000 トークン）を渡して 512 トークン書かせた、2 回の中央値です（文脈 32K）。

モデル生成 tok/sメモ
LLM-jp-4.1 8B70.2—
基準（Qwen3.6 の派生）55.1約 6 割が GPU
Qwen3-Swallow 30B-A3B53.5約 7 割が GPU
CAT-Thinking-8B45.0全部 GPU
LLM-jp-4.1 32B-A3B42.6専門家の重みは CPU に置く
Shisa V2.1 14B31.8全部 GPU
Sarashina2.2-3B（参考）31.2読み込みが遅く、一部が CPU に回った疑いがある。試験の中の生成は中央値 61.9
LLM-jp-4.1 33B（IQ3_XXS）5.9文脈 32K では一部が CPU に回る。文脈 8K なら 26.3

GPU に載った割合は Ollama が返す値（llama-server で動かしたものは記録していない）。PLaMo 3.0 Prime は API なので測っていない。参考に、比べる相手の Gemma 4 26B は 75.9 tok/s、Gemma 4 31B は 26.4 tok/s（9月の別の回）。

モデルごとに見ると

  • PLaMo 3.0 Prime: 思考なしの 3.94 は国産の中でいちばん高く、基準との差がプラスになったのはこの 1 本だけでした。思考ありは 3.88 で、思考なしと同じくらいです。比べる相手の Gemma 4 26B（思考なしで 4.01）とは -0.07（区間 -0.34〜+0.20）で、こちらも区間が 0 をまたぎます。料金は Standard プランで 100 万トークンあたり入力 60 円・出力 250 円で、3 つの試験と思考ありの ELYZA-tasks-100 を回した代金は、使ったトークン数から計算して 38.6 円でした。数字は PLaMo API を手元の試験で測ったもので、PFN が公表した値ではありません
  • LLM-jp-4.1: 3 本とも、思考なしの ELYZA-tasks-100 は平均点で基準より下（33B -0.08・32B-A3B -0.16・8B -0.20。区間はどれも 0 をまたぐ）ですが、M-IFEval-Ja は基準より上でした。思考ありにすると 8B は 3.66 から 3.87 に上がり、33B の思考あり（3.83）と並びます。手元の 16GB では、8B が 70.2 tok/s、専門家の重みを CPU に置いた 32B-A3B が 42.6 tok/s、3 ビット台に縮めた 33B は文脈 32K で 5.9 tok/s（8K なら 26.3 tok/s）でした
  • Qwen3-Swallow 30B-A3B: 差は -0.13 で、手元で動く中では LLM-jp-4.1 33B（-0.08）に次いで近い値です。生成は 53.5 tok/s で、基準（55.1）とほぼ同じでした。思考を切れないため、ELYZA-tasks-100 では 100 問中 5 問で、出力の上限まで書き続けました。JamC-QA の 0.457 は、思考だけで上限を使い切った 65 問を誤りとして数えた値です（表の ※1）
  • CAT-Thinking-8B: 差は -0.24（区間 -0.51〜+0.03、p=0.078）で、区間がわずかに 0 をまたぎます。日本語で考えるモデルで、思考ありは 3.76 です。M-IFEval-Ja は 0.482 と低めでした
  • Shisa V2.1 14B: 差は -0.37 で、補正をかけても基準より下です。JamC-QA は形の外れで点を落としていますが、最初の行を答えとみなしても 0.443 で、国産の中でいちばん低い値でした（表の ※2）
  • Sarashina2.2-3B: 源内で試されている Sarashina3 mini は手元で動かせないので、同じ開発元の公開版を参考に測りました。3B と小さく、差は -0.52 でした。JamC-QA は 0.530 で、基準に近い値です

LLM-jp-4.1 を llama.cpp で動かすときの注意

LLM-jp-4.1 は、本家の llama.cpp（ggml-org）では会話の書式の読み取りが失敗する、と公式の GGUF のページに書かれています。今回は、そのページが案内している改造版（llm-jp/llama.cpp の llmjp-harmony-handler。2026年10月2日時点の最新のコミット 0213322 と同じもの）を Windows でビルドして使いました。

ただ、この改造版でも、入力の改行とタブが <|unk|>（辞書に無い文字の印）に化けていました。LLM-jp-4.1 のトークナイザは、辞書に無い文字を 1 バイトずつのトークン（改行なら <0x0A>）に分けて表す作り（byte fallback）ですが、llama.cpp の Unigram の処理にはこの仕組みが無いためです。試験の問題文 573 件のうち、改行を含む 386 件が化けて渡る状態でした。

そこで llama.cpp の src/llama-vocab.cpp に、辞書に <0x00>〜<0xFF> の 256 個がそろっているときだけ、辞書に無い文字を UTF-8 のバイトのトークンに分ける処理を足しました。これで問題文 573 件のトークン化が、公式のトークナイザ（Hugging Face）と全件一致しました。表の LLM-jp-4.1 の数字は、この手直しをした版で測ったものです。

化けの影響は小さめでした。前の世代の LLM-jp-4 8B を、化けたまま測った 9月の値と、トークン化だけ直して測り直した値で比べると、ELYZA-tasks-100 は 3.06 と 3.02 で、同じ問題どうしの差は -0.04（区間 -0.22〜+0.13）でした。なお改造版の llama-server のチャット用の API（/v1/chat/completions）は、まれに HTTP 500 を返しました。そのときは同じ入力・同じ乱数の種で /completion から取り直しています。

源内の 5 本のうち、測れたのは PLaMo だけ

デジタル庁は 2026年度、ガバメント AI「源内」で国産の 5 つのモデルを試しています。3月に 7 件を選んだあと 2 社が辞退し、最終的に 5 社と契約しました。この 5 本はどれも重みが公開されていないので、手元の GPU では 1 本も動かせません。

源内のモデル開発今回の扱い
PLaMo 2.0 PrimePreferred Networks後継の PLaMo 3.0 Prime を PLaMo API で測った（同じモデルではない）
tsuzumi 2NTT データ測っていない。Microsoft Foundry で専用の GPU（A100 か H100）を時間単位で借りて動かす形で、今回は Azure の GPU の割り当てが出なかった
Sarashina3 miniソフトバンク測っていない。同じ開発元の公開版 Sarashina2.2-3B を参考に測った
cotomi v3NEC測っていない（個人で申し込める提供の形が見当たらなかった）
Takane 32B富士通測っていない（同上）

源内のモデルは、デジタル庁の 2026年5月29日の発表の別紙 1（契約した 5 社の一覧）による。

デジタル庁が 2027年度向けの公募で予定している評価テストは、300 問・35 の観点・8 の領域で、応募者ごとに問題が違い、公開もされていません。今回の 3 試験は、そのうち指示の理解と文書作成（ELYZA-tasks-100）、出力の条件を守ること（M-IFEval-Ja）、日本語の理解と日本の常識・歴史（JamC-QA）にあたる部分を、ごく一部だけ見たものです。

測っていないこと

  • 長い文脈（数万トークン以上を入れた状態）・道具の呼び出し・コード・英語
  • 思考ありの M-IFEval-Ja と JamC-QA（思考ありで解かせたのは ELYZA-tasks-100 だけ）
  • 試験は各 1 回、ELYZA-tasks-100 の採点も 1 回だけ。採点する AI で点は動く（gpt-5.6-luna の採点では、思考なしの点がどのモデルも今より 0.06〜0.28 高かった）
  • 量子化の影響。手元の 16GB に入る版で測っていて、元の重みとは比べていない
  • サンプリングは推奨値か事前に決めた仮の値で、モデルごとに合わせ込んではいない
  • PLaMo 3.0 Prime の速さ、tsuzumi 2・Sarashina3 mini・cotomi v3・Takane 32B

まとめ

  • 日本語の 3 試験で、手元で使っている Qwen3.6-35B-A3B の派生モデルを上回る国産モデルは、8 本の中に無かった（事前に決めた線・2026年10月1日時点）
  • 平均点で上だったのは PLaMo 3.0 Prime（API）だけ（区間は 0 をまたぐ）で、字数や形式の指示を守る力も比べた中で 1 位。3 つの試験に思考ありを足して回した代金は 38.6 円
  • 手元の 16GB で動くものでは、LLM-jp-4.1 33B と Qwen3-Swallow 30B-A3B が近い。ただし 33B は遅く、Swallow は思考を切れない
  • LLM-jp-4.1 を llama.cpp で動かすと、改造版でも入力の改行とタブが化ける

出典

← 検証ノートの一覧へ

この記事は、手元の機材と API で行った測定をもとにした一般的な技術情報の提供を目的としており、特定の製品・ソフトウェア・サービスの購入や利用を推奨・勧誘するものではありません。数値は 2026年9月23日〜10月1日の測定（ELYZA-tasks-100 の採点は 10月10日）で、手元の試験・設定による評価です。開発元の公表値や公式の見解ではなく、モデル・ソフトの版・設定・機材によって変わることがあります。