蒸留（モデル蒸留）とは
蒸留（モデル蒸留）とは、大きく高性能なAIモデル（教師モデル）の出力を手本にして、小さく軽いモデル（生徒モデル）に同じような振る舞いを学ばせる手法のことです。
平易に言えば、「ベテランの答え方を新人に見せて覚えさせる」ような学習方法です。ベテランにあたる大型モデルは賢い反面、動かすのに大きな計算資源と時間がかかります。そこで、ベテランが実際に出した答えを大量に集め、それを教材に新人の小型モデルを鍛えることで、少ない資源で近い品質を出せるようにします。
英語では Knowledge Distillation（知識蒸留）と呼ばれます。お酒の蒸留で必要な成分だけを取り出すように、大きなモデルの能力から必要な部分を凝縮して小さなモデルに移す、というイメージから名付けられました。
仕組み・ポイント
蒸留はおおむね次の流れで行われます。
- 教師モデルを決める：目的の仕事で十分な品質を出せる大型モデルを選びます。
- 入力を集める：実際の業務に近い問い合わせや文書など、生徒モデルに解かせたい入力を用意します。
- 教師の出力を記録する：入力ごとに教師モデルの回答を生成し、「入力と手本の回答」の組を大量に作ります。
- 生徒モデルを学習させる：その組を使って小型モデルを追加学習させます。
- 評価する：学習に使っていない問題で教師と生徒の結果を比べ、品質の差を確かめます。
古典的な蒸留では、教師モデルが「どの答えをどれくらいの確からしさで選んだか」という確率の情報まで生徒に渡して学ばせます。生成AIの分野では、教師が書いた文章そのものを教材にするやり方が広く使われています。
蒸留で得られるものと失うものを整理すると、次のとおりです。
| 得られるもの | 失いやすいもの |
|---|---|
| 応答の速さ | 教材に含まれない分野の知識 |
| 計算資源・利用料の削減 | 複雑な推論の粘り強さ |
| 自社環境で動かせる身軽さ | 想定外の入力への対応力 |
| 特定の書式・口調の安定 | 教師モデルの更新への追従 |
実務での使い方・具体例
ある不動産会社が、物件情報から広告文の下書きを作る仕組みを大型のAPIモデルで運用していたとします（架空の例）。品質には満足していたものの、掲載物件が増えるにつれ利用料と処理時間が課題になりました。そこで、過去に大型モデルが作り、担当者が確認して採用した広告文を数千件集め、それを教材に小型モデルを学習させました。結果として日常の下書きは小型モデルで処理し、特殊な物件だけ大型モデルを使う構成に移行しています。
ほかにも、次のような場面で検討されます。
- 問い合わせ分類や情報抽出など、入力と出力の形が決まった仕事を軽量化する
- スマートフォンや現場の端末で動くAI機能を作る
- 大型モデルでは応答が遅すぎる、リアルタイム性が必要な画面に組み込む
ポイントは、教師の出力をそのまま使うのではなく、人が確認して良いものだけを教材に残すことです。教師の誤りまで覚えさせると、生徒はその誤りを自信満々に繰り返します。
蒸留に取りかかるかどうかは、次の観点で判断すると整理しやすくなります。
- 同じ種類の処理が大量に、継続的に発生しているか
- 大型モデルで品質の基準を満たせることを、すでに確認できているか
- 教材にできる良質な入力と回答を、数千件規模で集められるか
- 小型モデルを運用・更新する担当者や仕組みを用意できるか
どれかが欠けている段階では、プロンプトの見直しや、より安価なモデルへの切り替えを先に試す方が早く成果につながることが多いでしょう。
よくある誤解と注意点
利用規約の確認は欠かせません。 商用のAIサービスの中には、出力を使って競合するモデルを開発することを利用規約で禁じているものがあります。教師モデルにどのサービスを使うか、生成した教材を学習に使ってよいかは、採用前に規約を確認し、必要に応じて専門家に相談してください。最新の条件は各提供元の公式情報で確かめることが大切です。
「小さくても同じ性能になる」わけではありません。 蒸留が効くのは、教材でカバーした範囲の仕事です。範囲外の質問には弱くなるため、生徒モデルに任せる仕事を明確に絞っておく必要があります。
教材作りが品質を決めます。 入力が偏っていると、生徒モデルも偏ります。実際の業務で起きる入力の種類を幅広く集め、評価用の問題とは分けて管理しましょう。
関連用語
- SLM（小規模言語モデル）：蒸留の生徒役になることが多い軽量なモデル
- オープンウェイトモデル：重みが公開され、追加学習しやすいモデル
- 評価データセット：蒸留後の品質を教師モデルと比べるための問題集
- アノテーション：教材の良し悪しを人が判定・ラベル付けする作業
- 実践記事：RAGとファインチューニングの使い分け：目的別の判断基準
Otsumuに相談できること
蒸留は、利用料や応答速度の課題を解決する有力な手段ですが、教材の用意や評価の設計に手間がかかるため、すべてのケースで最適とは限りません。Otsumuでは、まず現状の処理量と品質の基準を整理し、プロンプトの改善やモデルの切り替えで足りるのか、蒸留まで必要なのかを判断したうえで生成AIシステム開発を進めます。
AIの運用費や速度に課題を感じている段階でも構いません。30分の無料相談でご相談ください。
執筆：Otsumu株式会社 ／ 編集日 2026.10.01