Fine-tuning と RAG: 本番運用での意思決定ガイド

本番LLMシステムが誤った答えを返すとき、その失敗は2つのうちどちらかにあります。モデルが正しい情報を持っていないか、モデルは情報を持っているのに使い方を誤っているかです。これらは別々の問題です。同じ問題として扱うと、高くつくうえに照準のずれた解決策に行き着きます。

RAGは関連ドキュメントを取得し、推論時にコンテキストウィンドウに含めます。知識が頻繁に変わる場合、出典の明示が必要な場合、領域が大きすぎてfine-tuningが現実的でない場合に最適です。モデルの重みは変わりません。

fine-tuningは、キュレートしたデータセットでモデルの重みを更新します。出力フォーマットの一貫性、特定のトーンやスタイル、強い分類性能、コンテキストに記述がなくてもポリシーに従う振る舞いが必要なときに最適です。

意思決定ツリーは単純です。まずプロンプトエンジニアリングから始めます。それで足りなければ、失敗モードを特定します。事実の問題ならRAGを足す。振る舞いの問題ならfine-tuningを足す。両方ならハイブリッドで動かす。

RAG対fine-tuningの議論は2026年にはほぼ決着しています。本番グレードのAIシステムの多くは両者を併用します。RAGが知識検索 — 最新ドキュメント、独自データ、引用付き応答 — を担い、fine-tuningが振る舞い — フォーマット、トーン、ポリシー遵守の一貫性 — を担います。両者は競合ではなく補完関係です。

典型的なハイブリッドスタック: フォーマットとポリシー遵守のためのfine-tuning済みベースモデルに、ドメイン固有の知識検索のためのRAGを上に重ねる構成です。fine-tuning実行は一度きり(あるいは振る舞い要件が変わるごとに四半期に一度)、RAGパイプラインはドキュメント変更に応じて継続的に更新されます。