Labo › 検証ノート

2026-10-04ローカル LLM

Gemma 4 31B を Qwen3.5-4B に蒸留して、Mac で動く日本語の校閲の審判は作れるか — 公的な文書だけで学ばせた 4B は、測る前に決めた合格の線を通っても、評価の記事ではページを見分けていなかった

IVYXON 編集部・ 2026年10月4日

0.058j1 の項目ごとの κ先生は 0.796

78.7%Gemini との一致評価の 180 ページ

0.341全体の κ測る前に決めた 3 つの線は通った

CONTENTS目次（8）

背景: 予備の候補が「全部 PASS」より弱かった
規約（知財）の整理
作り方
結果
審判の測り方で気をつけること
詰まったところ
弱いところと次
出典

この記事の結論

合格の線は通ったが、評価の記事ではページを見分けていなかった。 公的な文書 475 件で学ばせた生徒は、評価の 180 ページで Gemini との一致 78.7%・κ 0.341 となり、測る前に決めた 3 つの線をすべて通った。ところが、通じない専門語（j1）の項目ごとの κ は 0.058 で、ページを入れ替えても全体の κ はほぼ同じだった（0.346）。
学習と同じ種類の文書では、j1 を見分けていた。 学習に使っていない確認用（dev）の 55 件で先生の判定と比べると、j1 の κ は 0.475（95% 区間 0.233〜0.707）。評価の記事で先生と比べると 0.083 に下がる。写った力が、個人投資家向けの記事まで届かなかった。
「どのページでも j1 だけ FAIL」という決まった規則に、どの物差しでも負けた。 決まった規則は、一致 81.7%・κ 0.418・人が裁定した 59 項目で 49 項目正解。生徒は 78.7%・0.341・45 項目。
判定の基準を足しても、決まった規則に届かなかった。 文化庁「公用文作成の考え方」の該当箇所を生徒の問いに足して学ばせ直した。dev では j1 の κ 0.345 だったが、評価の記事では 0.054 で、FAIL をほとんど付けなくなった（3.0%）。
先生の Gemma 4 31B は、評価の記事でもページを見分けている。 j1 の κ は 0.796。
教訓は測り方。 項目ごとに PASS／FAIL を付ける審判の κ を全項目まとめて測ると、「どの項目に FAIL を付けやすいか」だけで κ が出る。ページを見ない決まった規則で 0.418、この記事の審判ではページを入れ替えても 0.07〜0.35 が残った。合格の線は、決まった規則・ページを入れ替えた κ・項目ごとの κ と並べて決める必要がある。

Gemini が使えないときの予備にする日本語の校閲の審判を、Mac の上だけで動かせるかを確かめた。Gemma 4 31B の判定を、官公庁とウィキペディアの公的な文書で Qwen3.5-4B に LoRA で写した。結果は「作れなかった」。測る前に決めた合格の線は通ったが、評価に使った投資の記事では、審判はページの中身を見ずに判定していた。学習と同じ種類の文書では、通じない専門語の判定をある程度まねていた。

κ（カッパ）は、偶然でも合う分を差し引いた一致の度合いで、0 なら偶然の一致と同じ、1 なら完全に一致。ただし全項目をまとめて数えると、項目ごとの FAIL の率を知っているだけで 0 より上に出る（下の「審判の測り方で気をつけること」）。

背景: 予備の候補が「全部 PASS」より弱かった

IVYXON の記事と手元の文書は、LLM の審判（自作のフック）に 6 つの観点で校閲させている。観点は、通じない専門語（j1）・投資助言に読める書き方（j2）・主語と係り受け（j3）・直訳や英語の消し残し（j4）・表記のゆれ（j5）・定義のない略語（j6）。審判はふだん Gemini（gemini-3.8-flash）で動かしていて、月の枠で止まったときの予備が要る。

予備の候補の一つ、OpenAI の gpt-5.6-luna は弱かった。評価の 180 ページで Gemini の判定と比べると、一致は 60.1%・κ 0.269 で、どの項目にも「直す所なし（PASS）」と答えるだけの審判（以下、全部 PASS）の一致 77.8% より低い。

Win 機の GPU で動かす Gemma 4 31B は、一致 86.7%・κ 0.549 だった。Gemini を 2 回かけたときの自分同士の一致が 87.2% なので、天井に近い。ただ、予備のためだけに Win 機に頼りたくない。31B は Mac（MacBook Air M4・16GB）の GPU には入らない。そこで、Gemma 4 31B の判定を先生にして、Mac で動く 4B のモデルに写せるかを確かめた。

規約（知財）の整理

蒸留では、先生にしたモデルの出力を、生徒の学習の答えに使う。だから先生の規約がかかわる。加えて、学習の入力（問いの側）に何を入れたかもかかわる。AI に書かせた文書や、AI が書いた規約の文面を入力に入れると、その AI の規約に触れうる（たとえば Anthropic の Usage Policy は、入力と出力を許可なく AI の学習に使うことを禁じている）。

使ったもの	規約	何に使ったか
Gemma 4 31B（先生）	Apache-2.0	判定を、生徒に真似させる答えにした
Qwen3.5-4B（生徒の土台）	Apache-2.0	LoRA で学習した
官公庁のウェブサイト（金融庁・総務省・デジタル庁）	公共データ利用規約（第1.0版）	学習の入力の文書
日本語版ウィキペディア	CC BY-SA 4.0	学習の入力の文書
文化庁「公用文作成の考え方」	文部科学省ウェブサイト利用規約（公共データ利用規約に準拠）	2 回目の学習で、生徒の問いに入れた判定の基準
Gemini（gemini-3.8-flash）	Gemini API の規約	判定を測る物差しだけ
gpt-5.6-luna（OpenAI）	OpenAI の規約	予備の候補として比べただけ

学習の入力と答え。 入力は公的な文書、答えは Gemma 4 31B の判定。先生には自作のフックの校閲の規約を読ませて判定させたが（推論）、その規約の文面は生徒の問いに入れていない。
先生の答えに規約の文が混ざった分。 先生が判定の理由に、読ませた規約の文を 15 字以上そのまま引いた答えが 13 件あった（学習用 475 件のうち）。1 回目の学習には残っていて、2 回目の学習では外した。
先生は Apache-2.0。 Gemma 4 は Apache-2.0 で公開されている（Google のライセンスのページは 2026年4月1日更新）。そのページは Gemma の禁止用途の方針にもリンクしていて、並んでいるのは権利の侵害・違法な行為・スパムや詐欺・有害な内容・偽情報・性的な内容などの使い方。金融にかかわる項目（資格の要る業務を資格なしで行う・専門性を偽る・人の権利や暮らしにかかわる判断を自動で下す）もあるが、文章の校閲の判定を作らせることも、その判定を学習に使うことも、どれにも当たらない。
入力の文書は、再利用が許されたものだけ。 官公庁の 3 サイトと文化庁（文部科学省のウェブサイト利用規約に従う）は、利用規約のページで、公共データ利用規約（第1.0版）か、それに準拠した利用条件であることを確かめた（出典を書けば、複製や加工ができる）。ウィキペディアは CC BY-SA 4.0。robots.txt が読めなかったサイト（経済産業省）と、再利用の条件が見つからないサイトは使っていない。
Gemini は物差しにだけ使った。 以前の検証で先生の候補を比べたときと、この記事で出来上がりを測るときの基準にした。生徒のチェックポイントの選択（dev の損失）は先生の判定で行い、Gemini の判定は使っていない。Gemini API の規約は「サービスと競合するモデルの開発」にサービスを使うことを禁じている。
luna は比べただけ。 OpenAI の API の規約（Services Agreement）も、出力を使って OpenAI と競合するモデルを作ることを禁じている。luna の出力は、比べるのに使っただけで、学習には使っていない。
評価の 180 ページ（IVYXON の記事）は、測るためだけに使った。 学習にも選択にも入れていない。
重み（LoRA）と学習のデータは配布しない。 検証のための学習で、サービスとしても出していない。

規約の読みは編集部の解釈で、法的な助言ではない。規約の確認は 2026年10月3日〜4日。

作り方

測った環境

項目	内容
先生	Gemma 4 31B（GGUF の UD-IQ3_XXS）。Win 機の GPU（RTX 5060 Ti）で llama-server・文脈 32K
生徒	Qwen3.5-4B（GGUF の Q4_K_M）＋LoRA
学習	Google Colab の A100 80GB・Unsloth・LoRA の SFT
推論	MacBook Air M4・メモリ 16GB・llama.cpp の llama-server（Homebrew）
評価	IVYXON の記事 180 ページ・6 観点・問いの文面は固定。Gemini の 2026年9月12日の判定を答えにする
学習と評価をした日	2026年10月3日〜4日（比べた Gemini・luna・先生の判定は 2026年9月に測ったもの）

学習の文書と先生の判定

集め方: 官公庁の 3 サイトから約 2,800 ページを取り（robots.txt に従い、1 サイト 1.5 秒に 1 回）、日本語版ウィキペディアの金融・投資の分類の記事を API で取った。本文が 2,000〜24,000 字で、目次のページ（リンクの文字が 4 割を超える）・第三者の権利の表記があるページ・同じ文面を除いた。
件数: 547 件（金融庁 68・総務省 79・デジタル庁 200・ウィキペディア 200）。字数の中央値は 3,324。投資の分野（金融庁・ウィキペディア）268 件、技術の分野（総務省・デジタル庁）279 件。金融庁の 68 件は、報道発表 37 件と一般の方向けの解説が中心。
評価との重なり: 評価の 180 ページとの近さは、20 字の一致の割合が最大 0.3%、Jaccard が最大 0.017 で、重なりは 0 件。
先生の判定: 547 件を判定させ、失敗は 0 件。指摘の根拠として抜き出した文（引用）が本文に無かった 16 件と、項目がそろわなかった 1 件を捨て、530 件が残った。学習用（train）475 件、チェックポイントを選ぶ確認用（dev）55 件。答えの JSON は、空白を詰めて書き直しただけで中身は変えていない。

生徒の問い（2 通り）

1 回目は、分野と項目の名前と本文だけを渡した。system も規約の文面も無い。

profile: invest
items: j1 j2 j3 j4 j5 j6
---
（本文）

2 回目は、この頭に文化庁「公用文作成の考え方」から各項目にあたる文をそのまま抜き出して置いた（項目の名前と改行を含めて 496 字。原文に足したのは項目の名前と区切りの空行だけ。j2 にあたる箇所は無い）。抜き出した文が原文に一字一句あることを、機械で確かめた。

j1
専門用語は、語の性質や使う場面に応じて、次のように対応する
ア 言い換える。
イ 説明を付けて使う。
…
j6
略語は、元になった用語を示してから用い、必要に応じて説明を添える。

profile: invest
items: j1 j2 j3 j4 j5 j6
---
（本文）

学習のときに Colab でモデルに渡した文字列と、Mac の llama-server が組み立てる文字列が 1 字も違わないことを、sha256 の指紋で確かめた（どちらの形も 3 例で一致）。
評価の 180 ページは、Gemini が読んだのと同じ本文（サイトの見出しやメニューの文字も含む）に、この形を付けて渡した。

学習

Colab の A100 80GB で、Unsloth の LoRA の SFT（r 16・alpha 16・学習率 1e-4・2 周・32K トークンまで・答えの部分だけを学習）。チェックポイントは dev の損失で選んだ。
1 回目は 120 歩で 1,004 秒、dev の損失は 1.035 から 0.296 へ。2 回目は 116 歩で 1,062 秒、0.938 から 0.292 へ（1 回目は 110 歩目がいちばん低く、2 回目は 110 歩目と最後の 116 歩目が同じ値。どちらも 110 歩目を使った）。この数字は Colab の画面から写した（損失の記録のファイルは、ランタイムと一緒に消えた）。
LoRA を llama.cpp の GGUF に変え（convert_lora_to_gguf.py）、Mac の llama-server に --lora で載せる。サーバーの設定は -c 32768 -fa on -ctk q8_0 -ctv q8_0 -np 1 --reasoning-budget 0 --cache-ram 0。

測る前に決めた線

1 回目の前に決めた線（J1〜J3）:

線	合格の条件
J1 予備として使える	評価の 180 ページで、Gemini との一致 77.8%（全部 PASS の一致）以上・κ 0.30 以上・引用の実在 95% 以上・JSON 98% 以上・1 ページの秒数の中央値 120 秒以内
J2 学習で κ が上がった	κ の差（学習後 − 学習前）の 95% 区間が 0 より上（ページを単位に引き直す）
J3 luna より良い	κ の 95% 区間の下限が、luna の 0.27 より上

1 回目の結果を見たあと、2 回目の前に決めた線（K1〜K4）:

線	合格の条件
K1 決まった規則より上	全体の κ が、項目ごとに「全部 FAIL か全部 PASS か」を決めた 64 通りの規則のうち、いちばんよいもの（j1 だけ全部 FAIL・κ 0.418）より上
K2 ページを見分ける	項目の中でページを並べ替えた κ（1,000 回）の上位 2.5% の値より、実際の κ が上
K3 j1 で見分ける	j1 の項目ごとの κ が 0.30 以上で、95% 区間（ページを単位に 2,000 回）の下限が 0 より上
K4 動く	JSON 98% 以上・引用の実在 95% 以上・1 ページの秒数の中央値 120 秒以内

1 回目の学習前の判定は、規約の無い問いに指摘の文を長く書き続け、1 ページの中央値 175 秒かかった。時間が足りず、測る前の取り決めを変えて 75 ページで打ち切った（J2 は、学習前と学習後の両方で 6 項目がそろった 45 ページで数えた）。2 回目は J2 をやめ、K2 の並べ替えに置き換えた。

結果

結果 1: 1 回目は、測る前に決めた線をすべて通った

線	結果	合格の線	判定
J1: Gemini との一致	78.7%	77.8% 以上	✓（0.9 上）
J1: κ	0.341（0.273〜0.410）	0.30 以上	✓
J1: 引用の実在	95.6%（272 件・区間 92.4〜97.5%）	95% 以上	✓（区間はまたぐ）
J1: JSON	100%（180/180）	98% 以上	✓
J1: 1 ページの秒数の中央値	40.6 秒（最大 89 秒）	120 秒以内	✓
J2: κ の差（学習後 − 学習前）	+0.369（0.212〜0.511・45 ページ）	区間が 0 より上	✓
J3: κ の区間の下限	0.273	luna の 0.27 より上	✓（0.003 上）

結果 2: ところが、評価の記事ではページを見分けていなかった

全体の κ を、ページを入れ替えた κ と、項目ごとの κ に分けた。入れ替えは、項目ごとに審判の判定をページの間で並べ替えたもの（ページの情報を消し、項目ごとの FAIL の率だけを残す）。1,000 回並べ替えた平均を載せた。

審判（Gemini と比べる）	全体の κ	ページを入れ替えた κ	差（ページを見分けた分）	j1 の κ	j6 の κ
先生 Gemma 4 31B（Win）	0.549	0.277	+0.27	0.796	0.246
gpt-5.6-luna	0.269	0.211	+0.06	0.094	0.000※
生徒 1 回目	0.341	0.346	-0.01	0.058	-0.078
生徒 2 回目（基準の文つき）	0.108	0.066	+0.04	0.054	0.083

生徒の 1 回目は、全体の κ がページを入れ替えた κ とほぼ同じ（並べ替えた 1,000 回のうち 618 回が、実際の κ 以上）。j1 と j6 に「だいたいこのくらいの割合で FAIL」を付けていて、どのページに付けるかはほぼ偶然だった。
同じ問いで乱数の種を変えて 2 回判定させると、全体の自分同士の一致は 89.0%（κ 0.637）だが、項目ごとでは j1 の κ 0.234・j6 の κ 0.084 しかない。種を変えると、FAIL を付けるページが入れ替わる。種を変えたほうの判定では、引用の実在も 93.8%（289 件中 271 件）で 95% を下回った（合否は最初の判定で数えた）。
先生は j1 の κ 0.796 で、ページを見分けている。
先生の行は Win の Ollama（2026年9月27日・文脈 16K、長い 8 ページは 24K）、luna の行は OpenAI の API（2026年9月23日）で、別の検証のときに測った判定。評価のページの本文は同じ固定版。
※ luna は j6 を 180 ページすべてで FAIL にしたので、j6 の κ は 0 になる。luna の項目ごとの κ でいちばん高いのは j2 の 0.287。

結果 3: 学習と同じ種類の文書では、j1 を見分けていた

確認用（dev）の 55 件は、学習の文書と同じ集め方で集め、学習には使っていない（チェックポイントを選ぶ損失にだけ使った）。dev には Gemini の判定が無いので、答えは先生の判定にした。比べるために、評価の記事でも Gemini の代わりに先生と比べた（6 項目がそろった 173 ページ）。並べ替えなどの数え方は結果 2 と同じ。

生徒・文書（先生と比べる）	全体の κ	入れ替えた κ（上位 2.5%）	決まった規則の κ	j1 の κ（95% 区間）
1 回目・dev 55 件	0.319	0.273	0.344（j1・j6）	0.475（0.233〜0.707）
1 回目・評価 173 ページ	0.512	0.527	0.609（j1）	0.083（-0.053〜0.222）
2 回目・dev 55 件	0.322	0.274	0.344（j1・j6）	0.345（0.118〜0.580）
2 回目・評価 173 ページ	0.135	0.173	0.609（j1）	0.066（-0.004〜0.143）

「入れ替えた κ」は、1,000 回並べ替えたうちの上位 2.5% の値。全体の κ がこれを越えれば、ページを見分けた分がある。決まった規則の括弧は、全部 FAIL にする項目。
1 回目は、dev では全体の κ が、ページを入れ替えた κ の上位 2.5% の値を越えた（並べ替えた 1,000 回のうち、実際の κ 以上は 9 回）。j1 では、先生が FAIL にした 21 件のうち 12 件に FAIL を付けた。学習と同じ種類の文書では、どのページに FAIL を付けるかを写していた。
2 回目も同じ形で、dev では見分け（実際の κ 以上は 1,000 回のうち 4 回）、評価の記事では見分けない。dev でも FAIL は控えめで、j1 は先生の 21 件に対して 8 件。
どちらの回も、dev で決まった規則（κ 0.344）には届いていない。
評価の記事では、先生と比べても j1 の κ は 0.083（1 回目）・0.066（2 回目）で、ページを見分けていない。1 回目の全体の κ は 0.512 と高いが、先生が FAIL を付けるのは j1（59.5%）と j6（19.1%）だけなので、その率を写せば出る値で、ページを入れ替えても 0.477 が残る（上位 2.5% の値 0.527 に届かない）。
答えを Gemini から先生に変えても、評価の記事での結論は変わらない。dev との差は、答えの取り方では説明できない。

結果 4: 判定の基準を足しても（2 回目）、決まった規則に届かなかった

線	2 回目	判定
K1 決まった規則（κ 0.418）より上	κ 0.108（0.055〜0.160）	✗
K2 ページを入れ替えた κ より上	入れ替えの平均 0.066・上位 2.5% の値 0.108 に対し、実際は 0.108	✗（線ちょうど）
K3 j1 の κ 0.30 以上	0.054（-0.012〜0.127）	✗
K4 動く	JSON 100%・引用 95.8%（48 件・区間 86.0〜98.8%）・中央値 41.8 秒	✓

2 回目の生徒は FAIL をほとんど付けない（全項目の 3.0%）。180 ページで j1 に 18、j6 に 14（Gemini は j1 111・j6 57）。
K2 は線ちょうどで届かなかった。並べ替えた 1,000 回のうち 34 回が実際の κ 以上で、偶然だけとも言い切れない。j6 の κ は 1 回目の -0.078 から 0.083 に上がった。それでも、決まった規則の 0.418 には遠い。
引用は FAIL を付けたときに出すので、FAIL が少ない 2 回目は 48 件しかなく、区間は 95% をまたぐ。1 ページの秒数は最大 123 秒。
1 回目を K1〜K4 で数え直すと、K1 ✗・K2 ✗・K3 ✗・K4 ✓（後から決めた物差しでの数え直し）。

結果 5: どの物差しでも「j1 だけ全部 FAIL」に届かない

審判	一致	κ	人の裁定（59 項目）	広げた正解	FAIL の率
Gemini（gemini-3.8-flash）	—	—	86.4%（51/59）	98.8%（※）	22.2%
先生 Gemma 4 31B（Win）	86.7%	0.549	81.8%（45/55）	86.8%	13.1%
決まった規則（j1 だけ全部 FAIL）	81.7%	0.418	83.1%（49/59）	82.1%	16.7%
生徒 1 回目	78.7%	0.341	76.3%（45/59）	79.5%	18.1%
生徒 2 回目（基準の文つき）	78.7%	0.108	69.5%（41/59）	79.4%	3.0%
全部 PASS	77.8%	0.000	69.5%（41/59）	78.6%	0%
gpt-5.6-luna	60.1%	0.269	35.6%（21/59）	58.5%	58.2%

一致・κ は Gemini の判定と比べたもの（Gemini 自身は基準なので空欄）。人の裁定（59 項目）は、Gemini と別の判断モデル（TypeSafe AI の Jev）の判定が食い違った所から 60 件を抜いて人が裁定したもの（1 件は評価から外したページ）。どの審判にも同じ条件の物差しだが、食い違った所だけで、件数も少ない。先生は 6 項目の答えがそろったページの分だけ数えたので 55 項目。
広げた正解は、その裁定を、食い違いの種類ごとの率で 975 の判定に広げた正解での正しさ。Gemini と Jev の判定が一致した所はそのまま正解とみなすので、Gemini は作りの上で高く出る（※）。
生徒はどちらも、全部 PASS をわずかに上回るか同じで、決まった規則には届かない。luna は一致・人の裁定・広げた正解で全部 PASS より下（κ だけは 0.269 で上）。

結果 6: Mac で動かすときの資源

生徒（Qwen3.5-4B＋LoRA）: GPU のメモリは 3.4GB（重み 2.5GB・文脈 0.6GB・計算 0.2GB に LoRA 0.04GB。1 回目の LoRA を載せて llama-server の記録から読んだ。2 回目の LoRA も同じ大きさ）。評価のページで 1 ページの中央値は約 40 秒。
先生（Gemma 4 31B の UD-IQ3_XXS）: この Mac で GPU に使える枠は 12,124 MiB（11.8GB）。31B は文脈 32K で 13.2〜13.5GB 要る見積もり（重み 11.0・文脈 2.0・計算 0.2〜0.6）で、枠に入らない。61 層のうち GPU に入るのは 47 層。
見積もりは llama.cpp の llama-fit-params --fit-print on で出した（下の「詰まったところ」）。生徒の実物で比べると、重みと文脈は実測と一致し、計算の領域だけが多めに出た（527 MiB 対実測 230 MiB）ので、31B の計算の領域は幅で書いた。

審判の測り方で気をつけること

項目ごとに FAIL の率が大きく違うと、全体の κ は「どの項目に FAIL を付けるか」だけで上がる。 この評価では Gemini の FAIL の率が j1 で 62%、j3 で 0.6% と大きく違う。ページを見ない決まった規則で κ 0.418 に届き、この記事の審判では、ページを入れ替えたあとも 0.07〜0.35 が残った。評価の記事で答えを先生にすると、1 回目の生徒は全体の κ 0.512 なのに、j1 の κ は 0.083 だった。
合格の線は、何も見分けない審判で届く高さより上に引く。 測る前に決めた κ 0.30 と J3 の 0.27 は、決まった規則（κ 0.418）でも越えられる高さだった。
並べるもの: ①項目ごとの κ、②項目の中でページを並べ替えた κ（全体の κ との差が「ページを見分けた分」）、③項目ごとに全部 FAIL か全部 PASS かを決めた規則の κ（64 通りのうちいちばんよいもの）。
dev と評価の両方で並べる。 dev で見分けていても、評価の文書で見分けるとは限らない（結果 3）。
1 回目が評価の記事でページを見分けていないことは、合格の線を通ったあとで、別の検証役がこの物差しで照らし直して分かった。dev で見分けていたことは、この記事の数字を確かめる段で分かった。

詰まったところ

先生の答えに、読ませた規約の文が混ざる。 先生に規約を読ませて判定させると、判定の理由に規約の文をそのまま引くことがある（1 回目の学習用 475 件のうち 13 件）。学習の答えに入るので、学習の前に機械で探した（2 回目で外した）。
規約の無い問いの学習前の生徒は、長い指摘を書き続ける。 どの項目にも「なぜ PASS か」を書き、1 ページの中央値 175 秒、15 ページは出力の上限の 4,096 トークンで JSON が閉じなかった。学習後は約 40 秒。
公的な文書の取り方:
- 確かめた省庁（金融庁・総務省・デジタル庁・経済産業省・内閣府・文化庁）は、どれも公共データ利用規約（第1.0版）か、それに準拠した規約だった。経済産業省は、robots.txt を取りに行くと 403 が返った。robots.txt が読めないサイトは取らない（Python の標準の robotparser の扱い）ので、使っていない。
- 金融庁は目次のページが多い。報道発表の一覧は目次で、個々の発表と一般の方向けの解説が本文。
- 総務省の情報通信白書の HTML 版は、本文の後ろに章の目次が続く。そこで切らないと、リンクの割合で目次と判定されて落ちる。
- ウィキペディアの API は、続けて取ると 429 を返した。Retry-After を守り、2.5 秒間隔にした。
- 本文に U+2028 などの字が入っていると、JSONL を str.splitlines() で読む側が壊れる。書き出す前に改行へ置き換えた。
llama-server に LoRA を何本も載せるときは、カンマで区切る。 --lora a.gguf,b.gguf と書く。--lora を何回も書くと「only last value will be used」と出て、最後の 1 本だけになる。
**--cache-ram の既定（8GB）が、スワップを膨らませる。** 問いの組み立ての途中結果を RAM に溜め置く機能で、ページごとに違う長い問いを流し続けると、使い回されないまま溜まる。--cache-ram 0 にした（判定の結果は変わらない）。
Mac に入るかは、落とす前に見積もれる。 llama-fit-params -m X.gguf <本番と同じ設定> --fit-print on が、GPU と CPU の側の「重み・文脈・計算」を MiB で出す。ファイルが手元に無いときは、Hugging Face の resolve の URL に Range: bytes=0-16777215 で先頭 16MB だけを取り、truncate で元の大きさの疎ファイルに伸ばす。-ngl や -c を外すと、入るように直した値を出す（31B は -c 32768 -ngl 47）。

弱いところと次

なぜ評価の記事まで届かなかったかは、切り分けていない。 学習の文書（官公庁とウィキペディア）と評価のページ（個人投資家向けの記事）は、分野も書き方も違う。評価のページはサイトのメニューの文字を含み、長さも違う（字数の中央値 7,688 対 3,324）。どの違いがかかわったかは、この 2 回では切り分けられない。
生徒は 4B の 1 種類、学習の設定は 1 通り。 学習率などは振り直していない。
dev の数え直しは後から。 結果 3 の dev の数字は、評価のあとに数えたもので、測る前の線には入れていない。dev は 55 件と少なく、j1 の κ の区間も広い。
次に確かめるなら: 評価のページと同じ種類の文書（個人投資家向けの解説）のうち、再利用の条件がはっきりしたもので学ばせる。測るときは、最初から dev と評価の両方で、項目ごとの κ と決まった規則を並べる。

出典

学習の文書は、金融庁ウェブサイト・総務省ホームページ（情報通信白書令和3〜6年版の HTML 版・国民のためのサイバーセキュリティサイト）・デジタル庁ウェブサイトの各ページ、文化庁「公用文作成の考え方」（令和4年1月7日文化審議会建議）（いずれも公共データ利用規約第1.0版）を加工して作成。日本語版ウィキペディアの記事 200 本（CC BY-SA 4.0）。

Gemma 4 のライセンス（Apache-2.0）: https://ai.google.dev/gemma/docs/gemma_4_license
Gemma の禁止用途の方針: https://ai.google.dev/gemma/prohibited_use_policy
Qwen3.5-4B（Apache-2.0）: https://huggingface.co/Qwen/Qwen3.5-4B
Unsloth: https://github.com/unslothai/unsloth
llama.cpp: https://github.com/ggml-org/llama.cpp
公共データ利用規約（第1.0版）（デジタル庁）: https://www.digital.go.jp/resources/open_data/public_data_license_v1.0
文化庁「公用文作成の考え方」（建議）: https://www.bunka.go.jp/seisaku/bunkashingikai/kokugo/hokoku/93657201.html
文部科学省ウェブサイト利用規約: https://www.mext.go.jp/b_menu/1351168.htm
ウィキペディアを二次利用する: https://ja.wikipedia.org/wiki/Wikipedia:ウィキペディアを二次利用する
Gemini API の追加利用規約: https://ai.google.dev/gemini-api/terms
OpenAI Services Agreement: https://cdn.openai.com/osa/openai-services-agreement.pdf
Anthropic Usage Policy: https://www.anthropic.com/legal/aup
Jev（TypeSafe AI）: https://typesafe.ai

← 検証ノートの一覧へ

この記事は、手元の機材で行った測定をもとにした一般的な技術情報の提供を目的としており、特定の製品・ソフトウェアの購入や利用を推奨・勧誘するものではありません。学習と評価は 2026年10月3日〜4日（比べた Gemini・gpt-5.6-luna・Gemma 4 31B の判定は 2026年9月）の測定で、モデル・ソフトの版・設定・機材・データによって変わることがあります。作った重み（LoRA）と学習のデータは配布しません。規約の読みは編集部の解釈で、法的な助言ではありません。