Labo › 検証ノート

ローカル LLM

ELYZA-Thinking-1.0 は同じベースの LLM-jp より上か — 公式の主張を否定できるかを、量子化と設定をそろえて手元で測った。知識の試験では 32B-A3B も 33B も LLM-jp-4.1 より上で、主張は否定できなかった

IVYXON 編集部 ・ 2026年10月12日

+7.1 ポイント知識の差（JamC-QA）32B-A3B 対 LLM-jp-4.1・主張は +5.7
+11.5 ポイント指示を守る力（M-IFEval-Ja）主張は +4.4・考える量の差も入る
+0.01文章の総合力（ELYZA-tasks-100）3.77 対 3.76・差は見えず
CONTENTS目次（13）
  1. ELYZA-Thinking-1.0 とは
  2. 「ベースより上がったか」の測り方
  3. 主張を「否定できる」形で測った
  4. 測った環境と、そろえた条件
  5. 結果 1: LLM-jp-4.1 との比較（32B-A3B）
  6. 結果 2: 前の版 LLM-jp-4 との比較（32B-A3B）
  7. 結果 3: 33B（密）での比較
  8. ELYZA は思考の強さの指定を聞かない
  9. 手元の 16GB での速さ
  10. 手元で使っているモデルとの比較（参考）
  11. 測っていないこと
  12. まとめ
  13. 出典

この記事の結論

  • 32B-A3B は、同じ事前学習モデルから作られた LLM-jp-4.1 より、知識の試験で上だった。JamC-QA の全 2,309 問で 58.4% 対 51.3%、差は +7.1 ポイント（95% 区間 +5.0〜+9.2）。ELYZA が公式に示す差 +5.7 は区間の中にあり、否定できなかった。
  • 指示を守る力（M-IFEval-Ja）は +11.5 ポイントで、主張の +4.4 より大きく出た。ただし ELYZA は思考の強さの指定を聞かずに長く考える（考えた文字数の中央値 1,335 対 162）。この差には考える量の差が入っている。
  • 文章の総合力（ELYZA-tasks-100）には差が見えなかった。5 点満点で 3.77 対 3.76（差 +0.01、区間 -0.22〜+0.23）。両方に考えさせると LLM-jp-4.1 のほうが上だった（3.91 対 3.69）が、LLM-jp-4.1 の温度を 0.7 にすると差は見えなくなる。
  • 前の版の LLM-jp-4 と比べても、主張は否定できなかった。M-IFEval-Ja は +19.5（主張 +18.7）、JamC-QA は +8.9（主張 +5.8）。LLM-jp 自身の 4 → 4.1 の作り直しで上がった知識は +1.8 で、ELYZA の追加学習の +7.1 のほうがはっきり大きい。
  • 33B（密）でも、知識は主張どおり上がっていた。JamC-QA（300 問）で 62.3% 対 50.7%、差は +11.7 ポイント（95% 区間 +5.3〜+18.0）で、主張の +8.7 は否定できなかった。300 問なので区間は広い。

ELYZA-Thinking-1.0 とは

ELYZA が 2026年10月2日に公開した、答える前に考える型（思考型）の LLM。1 トークンに使う重みが約 3B の混合専門家モデル（MoE）の 32B-A3B と、密な 33B の 2 本で、ライセンスは Apache-2.0。

土台は、LLM-jp（国立情報学研究所の大規模言語モデル研究開発センター）が公開した事前学習だけのモデル（llm-jp-4-32b-a3b-base・llm-jp-4-33b-base）。ELYZA はそこに、知識を足す中間学習と、会話や指示に従わせる事後学習を加えた。

同じ土台から、LLM-jp 自身も会話用の版を 2 回出している。LLM-jp-4 の thinking と、事後学習を作り直した LLM-jp-4.1 の thinking。ELYZA の公式ページ（Hugging Face のモデルカード）は、この 2 つと並べて成績を載せている。

「ベースより上がったか」の測り方

土台のモデルは事前学習だけで、質問に会話の形で答える学習をしていない。会話の形の試験で比べると差が出て当たり前なので、土台そのものとは比べない。代わりに、同じ土台から LLM-jp が作った会話用の版を相手にする。これはモデルカードと同じ比べ方で、問いは「同じ土台に、ELYZA の追加学習は LLM-jp の事後学習よりどれだけ上乗せしたか」になる。

モデルカードの主張のうち、手元の試験と重なるのは次の 2 つ（32B-A3B）。

試験ELYZALLM-jp-4.1LLM-jp-4主張の差（対 4.1）主張の差（対 4）
JamC-QA（日本の知識）59.5153.7953.75+5.7+5.8
M-IFEval-Ja（指示を守る力）81.7577.3263.05+4.4+18.7

モデルカードの注記では、LLM-jp の 2 本は思考の強さを最も強い high にして測り、ELYZA は強さの設定が無く常に考える。

主張を「否定できる」形で測った

数字を 1 件も見る前に、判定の言い方を決めた。同じ問題を 2 本に解かせて差を取り、問題を選び直して計算を繰り返す方法（対応ありのブートストラップ）で、差の 95% 区間を出す。主張の差が区間より上にはみ出せば「この条件では主張の大きさは出ない（否定）」、区間の中なら「主張と矛盾しない」、区間より下なら「主張より大きい」とする。

そのために JamC-QA は全 2,309 問を使った。300 問では区間が ±6 ポイント前後に広がり、+5.7 という主張を見分けられないため。2,309 問で区間は ±2 ポイント前後まで縮む。複数の比較は Holm の方法でまとめて補正した。

測った環境と、そろえた条件

項目内容
GPUNVIDIA GeForce RTX 5060 Ti 16GB（ドライバ 610.47）
CPU・メモリCore i5-12400F・DDR4-3200 64GB
OS・ソフトWindows 11・llama.cpp の llama-server。LLM-jp-4.1 の書式を読めるようにした有志のブランチ（e-mon/llama.cpp の llmjp-harmony-handler・0213322）に、改行やタブが不明な文字として扱われる問題を直す 23 行を足したもの（下の節）
量子化32B-A3B は 3 本とも Q4_K_M、33B は 2 本とも IQ3_XXS（16GB に載せるため）。LLM-jp-4.1・LLM-jp-4 の 32B-A3B は LLM-jp の公式の GGUF。ELYZA は公式の GGUF が無かったので（2026年10月2日時点）BF16 から作り、同じ大きさの LLM-jp-4.1 と同じ imatrix で量子化した。LLM-jp-4.1 33B も公式の BF16 と imatrix から同じ手順で作った
生成の設定温度 0.6・top_p 0.95（ELYZA の推奨。LLM-jp には推奨が無い）・思考の強さ low・文脈 16K・出力の上限は試験の既定に 6,144 トークン足した。ELYZA-tasks-100 だけ、思考の強さ medium でも測った
試験JamC-QA 全 2,309 問（選択肢の文字列の一致）・M-IFEval-Ja 172 問（公式の採点器）・ELYZA-tasks-100（OpenAI の gpt-6-luna が 5 点満点で採点。採点は 2026年10月10日）
測った日2026年10月2日〜4日

imatrix は、量子化で精度を残す場所を決めるための重要度の表。ELYZA にも LLM-jp-4.1 の活性から作られた同じ表を使ったので、偏りがあるとすれば ELYZA に不利な向きになる。温度は ELYZA の推奨に合わせた。LLM-jp-4.1 を 0.7 で測った値とも比べたが、3 試験とも温度による差は区間の中に収まった。結論が変わるのは、両方に考えさせた ELYZA-tasks-100 の比較だけだった（次の節）。

出力の上限を広げたのは、上限で切れた答えが誤りとして数えられるため。ELYZA は長く考えるので、既定の上限のままだと ELYZA に不利になる。広げた後に上限で切れたのは、ELYZA が 2,581 問中 10 問（ELYZA-tasks 1・M-IFEval 2・JamC-QA 7）、LLM-jp-4.1 が 1 問、LLM-jp-4 が 3 問だった。

GGUF を作るときに確かめたこと

ELYZA の tokenizer.json は、LLM-jp-4.1 のものと語も点数も同じだった（196,608 語・特別な語 352）。llama.cpp の変換器はこの語彙をそのまま読めないので、語彙の部分だけ LLM-jp-4.1 の公式の GGUF から写し、チャットの型は ELYZA のものを使った。作った GGUF で、公式の Hugging Face のトークナイザと同じ分け方になることを 573 の文ですべて確かめてから点数を出した。

LLM-jp-4 系の語彙を llama.cpp で読むと、辞書に無い 1 文字（改行やタブなど）が不明な文字（<unk>）になり、元に戻らなかった。公式のトークナイザは、そうした文字を UTF-8 のバイトに分けて扱う。同じ扱いを llama.cpp の UGM の語彙に足す 23 行の直しを入れて、比べる全員を同じビルドで測った。

結果 1: LLM-jp-4.1 との比較（32B-A3B）

試験LLM-jp-4.1ELYZA差（95% 区間）主張判定
JamC-QA（2,309 問）51.3%58.4%+7.1（+5.0〜+9.2）+5.7矛盾しない
M-IFEval-Ja（172 問）71.2%82.7%+11.5（+6.5〜+16.8）+4.4主張より大きい
ELYZA-tasks（low）3.763.77+0.01（-0.22〜+0.23）—差が見えない
ELYZA-tasks（medium・参考）3.913.69-0.22（-0.43〜-0.02）—LLM-jp-4.1 が上

「矛盾しない」は、主張の差が区間の中にあり、主張を否定できなかったことを指す。ELYZA-tasks は ELYZA-tasks-100（5 点満点）で、括弧の中は思考の強さ。JamC-QA と M-IFEval-Ja の差は、比較の数に合わせて基準を厳しくする Holm の補正をしても、偶然では説明できない大きさだった。

知識は主張どおり上がっていた。JamC-QA で区間を ±2.1 ポイントまで詰めても区間は +5.0〜+9.2 で、主張の +5.7 はその中にある。手元の値もモデルカードに近い（ELYZA 58.4 対 59.51、LLM-jp-4.1 51.3 対 53.79）。手元の LLM-jp-4.1 は思考の強さ low で、カードの high とほぼ同じ値が出ている。JamC-QA は考える量を増やしても点がほとんど変わらないので、主張を確かめるのにいちばん向いた試験だった。

M-IFEval-Ja の +11.5 は、ELYZA に有利な条件での値として読む。カードは LLM-jp-4.1 を high で測って 77.32、手元の low では 71.2 で、考える量で 6 ポイントほど変わる。ELYZA は low の指定を聞かずに長く考えるので（次の節）、この試験では ELYZA だけが多く考えた状態で比べている。

ELYZA-tasks-100 は差が見えず、両方に考えさせると LLM-jp-4.1 が上だった。ELYZA は強さを指定しても考える量が変わらないので medium にしても点が上がらず（3.77 と 3.69）、LLM-jp-4.1 は medium で 3.76 から 3.91 に上がった。ただしこの差は温度で動き、LLM-jp-4.1 を温度 0.7 で測った値（3.74）と比べると見えなくなる（-0.05、区間 -0.29〜+0.19）。

結果 2: 前の版 LLM-jp-4 との比較（32B-A3B）

試験LLM-jp-4ELYZA差（95% 区間）主張判定
M-IFEval-Ja（172 問）63.3%82.7%+19.5（+13.3〜+25.8）+18.7矛盾しない
JamC-QA（2,309 問）49.5%58.4%+8.9（+6.8〜+11.0）+5.8主張より大きい
ELYZA-tasks（low）3.563.77+0.21（0.00〜+0.42）—差が見えない
ELYZA-tasks（medium・参考）3.743.69-0.05（-0.28〜+0.17）—差が見えない

LLM-jp-4 の M-IFEval-Ja は手元で 63.3%、カードで 63.05 とほぼ同じで、主張の +18.7 はそのまま出た。JamC-QA は手元の LLM-jp-4 が 49.5%、カードは 53.75 で、手元のほうが 4 ポイント低い（思考の強さ low か量子化で、LLM-jp-4 だけ下がった可能性がある）。「主張より大きい」はその分を含む。

同じ測り方で LLM-jp-4 → LLM-jp-4.1 の差も取れる。M-IFEval-Ja は +8.0（+3.0〜+13.3）、JamC-QA は +1.8（-0.1〜+3.7）、ELYZA-tasks-100 は +0.20（+0.03〜+0.38）だった。LLM-jp の作り直しは指示を守る力と文章の総合力を上げたが、知識はほとんど動かしていない。知識を足したのは、ELYZA の中間学習のほうだった。

結果 3: 33B（密）での比較

33B は 16GB に載せるため 2 本とも IQ3_XXS にし、LLM-jp-4.1 33B の公式の imatrix を両方に使った。JamC-QA は 300 問。

試験LLM-jp-4.1ELYZA差（95% 区間）主張判定
JamC-QA（300 問）50.7%62.3%+11.7（+5.3〜+18.0）+8.7矛盾しない
M-IFEval-Ja（172 問）65.0%81.9%+16.8（+11.1〜+22.5）+5.3主張より大きい
ELYZA-tasks（low）3.793.95+0.16（-0.06〜+0.40）—差が見えない
ELYZA-tasks（medium・参考）3.954.12+0.17（-0.06〜+0.40）—差が見えない

33B でも、知識は主張どおり上がっていた。ただし 300 問なので区間は ±6.3 ポイントと広く、32B-A3B の全 2,309 問ほど細かくは確かめられない。手元の値はどちらもカードより低く（JamC-QA で ELYZA 62.3 対 66.35、LLM-jp-4.1 50.7 対 57.69）、IQ3_XXS まで量子化した分とみられる。LLM-jp-4.1 のほうが 7 ポイント下がっていて、差が主張より大きく出たのはその分も含む。

M-IFEval-Ja は 32B-A3B と同じく主張よりずっと大きく、考えた文字数の中央値は ELYZA 1,105 対 LLM-jp-4.1 146 だった。ELYZA-tasks-100 は low でも medium でも差が見えなかった。LLM-jp-4.1 33B は medium で 3.79 から 3.95 に上がったが、ELYZA（4.12）には届かず、32B-A3B と違って LLM-jp-4.1 が上にはならなかった。

33B は生成が遅く、長く考える答えが 1 問 600 秒の制限時間を超えた。制限時間を 1,800 秒に延ばして、取れなかった 5 問を測り直した。出力の上限まで書いて切れた 1 問は、ほかの答えと同じく誤りとして数えた。

ELYZA は思考の強さの指定を聞かない

3 本とも思考の強さを low にして、答えの前に考えた文字数を比べた（中央値）。

試験ELYZALLM-jp-4.1LLM-jp-4
ELYZA-tasks-100870124108
M-IFEval-Ja1,335162140
JamC-QA508235200

ELYZA は、LLM-jp の 2〜8 倍の量を考えている。モデルカードにも「ELYZA-Thinking は強さの設定が無く、常に考える」とある。手元で使うときは、強さで速さと深さを調整できない。生成の速さは 3 本で変わらないので（次の節）、考える量の差がそのまま 1 問の時間の差になる。ELYZA-tasks-100 の 1 問の時間は、中央値で ELYZA が 11 秒、LLM-jp-4.1 が 3 秒だった。

手元の 16GB での速さ

日本語 2,000 トークンを読ませて 512 トークンを書かせ、生成の速さを 2 回ずつ測った。32B-A3B は Q4_K_M で約 19GB あり、16GB に入りきらない分は llama.cpp の自動の振り分け（--fit on）で CPU 側のメモリに置いた。33B（IQ3_XXS・約 13GB）も同じ振り分けで動かした。

モデル生成（文脈 8K）生成（文脈 32K）VRAM
ELYZA-Thinking-1.0 32B-A3B49.2〜49.6 tok/s46.0〜46.3 tok/s15.0GB
LLM-jp-4.1 32B-A3B thinking48.4〜48.9 tok/s44.6〜45.0 tok/s15.0〜15.1GB
LLM-jp-4 32B-A3B thinking49.6 tok/s46.4 tok/s15.1GB
ELYZA-Thinking-1.0 33B26.4 tok/s6.4〜6.5 tok/s13.7〜14.3GB
LLM-jp-4.1 33B thinking26.3〜26.4 tok/s6.6 tok/s13.7〜14.3GB

33B は文脈を 32K にすると、生成が 6.5 tok/s まで落ちる。文脈の分のメモリが増え、層の一部が CPU 側に回るため。試験は文脈 16K で回し、生成は 2 本とも 17.5〜18 tok/s だった。

手元で使っているモデルとの比較（参考）

文章の用途で手元で使っている Qwen3.6-35B-A3B の派生モデル（ふだんどおり思考なしで 3.86）とも、ELYZA-tasks-100 で比べた（32B-A3B は imatrix を使わずに作った版）。32B-A3B は思考の強さ low で 3.77（差 -0.09、区間 -0.38〜+0.19）、medium で 3.83（-0.03、区間 -0.26〜+0.20）。33B は low で 3.95（+0.09、区間 -0.15〜+0.34）、medium で 4.12（+0.26、区間 +0.03〜+0.49）だった。区間が 0 より上に出たのは medium の 33B だけで、4 つの比較に補正（Holm の方法）をかけると、差があるとまでは言えない。

測っていないこと

  • 事前学習だけの土台そのもの（会話の形の試験には答えられない）
  • モデルカードのほかの試験（JMMLU・GPQA・AIME・LiveCodeBench・BFCL・JHumanEval ほか）
  • LLM-jp を思考の強さ high にした比較（カードの条件）。M-IFEval-Ja の差は high にすると縮む見込み
  • 量子化しない版（BF16）での比較
  • ELYZA-tasks-100 の採点は 1 回だけで、採点する AI で結果は動く。gpt-5.6-luna で採点したときは、33B の medium で ELYZA が上だった（+0.30、区間 +0.05〜+0.56）

まとめ

  • ELYZA-Thinking-1.0 32B-A3B は、同じ土台の LLM-jp-4.1 より日本の知識の試験（JamC-QA）で +7.1 ポイント上で、ELYZA の主張（+5.7）は否定できなかった（2026年10月4日時点の手元の測定）
  • 指示を守る力（M-IFEval-Ja）の差は +11.5 で主張より大きかったが、ELYZA だけが長く考えた条件での値
  • 文章の総合力（ELYZA-tasks-100）には差が見えなかった。両方に考えさせると LLM-jp-4.1 が上だったが、この差は LLM-jp-4.1 の温度で動く
  • 33B でも JamC-QA は +11.7 ポイント（300 問）で、主張（+8.7）は否定できなかった
  • LLM-jp-4 との比較でも主張は否定できず、知識の上積みは LLM-jp 自身の 4 → 4.1（+1.8）より ELYZA の追加学習（+7.1）のほうが大きい
  • ELYZA は思考の強さの指定を聞かず、LLM-jp の 2〜8 倍考える。生成の速さは同じでも、1 問の時間は長い

出典

← 検証ノートの一覧へ

この記事は、手元の機材で行った測定をもとにした一般的な技術情報の提供を目的としており、特定の製品・ソフトウェアの購入や利用を推奨・勧誘するものではありません。数値は 2026年10月2日〜4日の測定（ELYZA-tasks-100 の採点は 10月10日）で、モデル・ソフトの版・設定・機材・データによって変わることがあります。モデルカードの値は 2026年10月4日に確かめたものです。