今回の論文
今回読むのは、Prateek Yadav、Derek Tam、Leshem Choshen、Colin Raffel、Mohit Bansalによる「TIES-Merging: Resolving Interference When Merging Models」です。2023年6月2日にarXivで初版が公開され、NeurIPS 2023で発表されました。研究分野はモデルマージ、転移学習、マルチタスク学習です。
書誌はarXivの論文ページ、手法と実験はNeurIPS 2023の会議版論文で確認できます。著者による公式実装も公開されています。
選んだ理由は、個別に育てたモデルをどう再利用するかという、開発の次の段階に答える技術だからです。専門モデルを増やすたびに推論サーバーを増やす以外にも、学習で生まれた差分を整理して一つにまとめる選択肢があるとわかります。
どんな技術か
TIES-Mergingは、同じ事前学習済みモデルから別々のタスクへ適応したモデルを、重みの計算だけで一つに統合する手法です。統合時に新しい層を足したり、複数モデルを同時に動かしたりする必要はありません。
ただし、単に重みを平均するわけではありません。各モデルが学習で「どの重みを、どちら向きに、どれだけ変えたか」を取り出し、小さな変化を除き、正負の衝突を整理してから統合します。名前のTIESは、Trim、Elect Sign、Mergeという処理に対応します。
たとえば、同じ基盤から作った質問応答モデルと言い換え判定モデルをまとめ、両方の能力を持つモデルを目指します。これは目標であって、元の専門モデルの性能をすべて維持できる保証ではありません。
課題
専門モデルを増やすと運用も増えます
タスクごとにファインチューニングすると、それぞれの用途には強くなります。一方、別々のフルモデルを配備する構成では保存領域や常駐メモリが増え、入力に合うモデルを選ぶ処理も必要になります。
最初から複数タスクを共同学習する方法もありますが、各タスクのデータを集め直し、データの混ぜ方を決めて訓練するコストがかかります。すでに学習済みチェックポイントがあるなら、その成果を直接利用したくなります。
小さな更新による希釈と、逆方向の更新が問題です
ある重みをモデルAが大きく変え、モデルBとCはほとんど変えなかったとします。全モデルで平均すると、Aの大きな更新が薄まります。逆にAが重みを増やし、Bが減らしていた場合は、平均によって相殺されます。
論文はこの二つを、冗長な更新による干渉と、符号の不一致による干渉として整理しています。重みの同じ位置を使う複数の能力が、平均という操作だけで共存できるとは限らないことが問題です。
用語解説
- モデルマージ
- 複数モデルのパラメータを組み合わせて一つのモデルを作る処理です。TIES-Mergingでは、推論結果を合議するのではなく、配備前に重みそのものを統合します。
- タスクベクトル
- 適応後の重みから共通の初期重みを引いた差分です。何を学習で変更したかを表し、TIES-Mergingの選別・統合の対象になります。
- パラメータ干渉
- 別々のモデルの更新を混ぜることで、有効な更新が薄まったり相殺されたりする現象です。入力文同士の干渉ではなく、重みの更新同士の問題です。
- マルチタスク学習
- 複数タスクのデータを使って一つのモデルを訓練する方法です。本論文では、追加訓練なしのマージがどこまで近づけるかを比較する対象になります。
- PEFT
- モデルの一部や追加した少量のパラメータだけを学習する適応手法です。本論文は、フルモデルに加えて、活性値を学習可能なベクトルで調整する(IA)3の統合も検証しています。
技術の仕組み
まず共通の初期モデルとの差分を取り出します
共通の初期重みを θ₀、タスクtへ適応した重みを θₜ とすると、タスクベクトルは τₜ = θₜ − θ₀ です。基盤モデルがすでに持っている重みと、下流学習で追加された変化を分けて考えます。
ここで重要なのは、同じ位置のパラメータが対応していることです。同じアーキテクチャというだけで、別々に事前学習されたモデルをそのまま混ぜてよいわけではありません。本論文の中心は、共通の初期モデルから分岐したモデルの統合です。
Trim：変化が大きい成分を残します
モデルごとにタスクベクトルの絶対値を見て、上位k%だけを残し、残りをゼロにします。小さな更新をゼロにするとは、その重みを事前学習時の値へ戻すことです。モデルの重み自体をゼロにして削除する処理ではありません。
この判断では更新の大きさを重要性の近似として使います。損失への寄与を厳密に測っているわけではありません。kを小さくすると干渉候補は減りますが、有効な更新まで落とす可能性があります。
Elect Sign：更新量の合計で方向を決めます
次に、重みの各位置で、残した更新の合計が正か負かを調べます。正方向の更新量の合計が負方向の合計より大きければ、正を採用します。
これはモデル数による多数決ではありません。説明用の数値として、ある位置の更新が +0.8、+0.3、−0.6 なら、正方向の合計1.1が負方向の大きさ0.6を上回るため、正を選びます。逆に +0.1、+0.1、−0.9 なら、正のモデルが二つあっても負を選びます。
Disjoint Merge：同じ方向の更新だけを平均します
選んだ符号と一致する、ゼロでない更新だけを平均します。先ほどの +0.8、+0.3、−0.6 なら、統合後の差分は (0.8 + 0.3) / 2 = 0.55 です。三つを単純平均した約0.167とは異なり、逆方向の更新による相殺を避けます。
また、更新が +0.8、0、0 なら、ゼロを平均の分母に含めず、差分0.8を残します。この処理がTrimと組み合わさり、ほかのタスクの小さな更新による希釈も抑えます。全成分がゼロの位置は更新しません。正負の合計がちょうど同じになる位置の符号処理は、実装の規則を確認する必要があります。
最終的には θmerge = θ₀ + λ × τmerge とします。λは統合した差分をどの程度反映するかを調整する係数です。重みが完成した後は、通常の単一モデルとして推論します。入力ごとに専門モデルを呼び分ける仕組みではありません。以上が会議版論文のAlgorithm 1とSection 4の基本手順です。
学習を軽くする方法とは役割が違います
TIES-Mergingは、すでにある適応済みモデルを統合する処理なので、そのモデルを作る学習コストは別途必要です。少量のパラメータで専門モデルを作る方法を知りたい場合は、LoRAの低ランク更新と差分管理が補完になります。
ただし、この論文のPEFT実験はLoRAではなく(IA)3です。LoRAへ応用するときも、因子行列の表現と実際の重み差分を区別する必要があります。たとえば更新を BA と表す場合、B同士とA同士をそれぞれ平均して掛けても、更新行列BAの平均とは一般に一致しません。
実験と結果
言語と画像で、統合後のタスク性能を測ります
言語ではT5-baseとT5-largeを使い、QASC・WikiQA・QuaRTzの質問応答、PAWSの言い換え判定、Story Clozeの文補完、Winogrande・WSCの共参照解決という7データセットへ個別に適応して統合しました。画像ではCLIPの視覚エンコーダViT-B/32・ViT-L/14を使い、テキストエンコーダを固定したまま、Cars、DTD、EuroSAT、GTSRB、MNIST、RESISC45、SUN397、SVHNの8データセットに適応しています。
PEFTではT0-3Bを基盤とする(IA)3を11データセットで評価しました。比較対象は単純平均、Fisher Merging、RegMean、Task Arithmeticです。Table 1はタスクごとの正解率を平均したスコアで、(IA)3では各データセットのプロンプトテンプレート間の中央値を使っています。
検証データで設定を選べる場合の比較
会議版のTable 1から、検証セットありの代表値を示します。最良の比較手法はモデルごとに異なります。
| モデル・設定 | 最良の比較手法 | 比較手法の平均スコア | TIES-Merging | 差 |
|---|---|---|---|---|
| T0-3B＋(IA)3、11タスク | Task Arithmetic | 63.9 | 66.4 | +2.5ポイント |
| T5-base、7タスク | Task Arithmetic | 73.2 | 73.9 | +0.7ポイント |
| T5-large、7タスク | Task Arithmetic | 73.3 | 76.9 | +3.6ポイント |
| ViT-B/32、8タスク | RegMean | 71.8 | 73.6 | +1.8ポイント |
| ViT-L/14、8タスク | Task Arithmetic | 84.5 | 86.0 | +1.5ポイント |
これらは相対的な改善率ではなく、スコアの差です。また、統合で専門モデルを完全に再現した結果ではありません。たとえばViT-B/32では個別に適応したモデルの平均が90.5なのに対し、TIES-Mergingは73.6で、能力の損失は残っています。数値と条件は会議版論文のTable 1に基づきます。
検証セットがない場合には例外もあります
論文はPEFT設定で得た知見から、上位20%の更新を残し、λを1に固定するレシピを作り、T5とViTのフル適応モデルに適用しています。新しい統合対象の検証データがなくても処理できますが、設定の選び方に研究上の事前検証がなかったという意味ではありません。
この条件のT5-baseでは、TIES-Mergingが69.7、Task Arithmeticが73.2です。したがって「どのモデルでも既定値だけで最良になる」とは言えません。検証セットありとなしの結果を混ぜずに見ることが大切です。
統合に使わなかったタスクへの転用
7タスクから作ったT5を、Cosmos QA、Social IQA、QuAIL、WiC、COPA、H-SWAGの6つの未使用データセットで評価したTable 2では、T5-baseが35.3、T5-largeが40.4でした。最良の比較手法RegMeanの34.3、36.0に対し、それぞれ1.0、4.4ポイント高い結果です。
この結果は、統合対象以外のタスクにも有効な特徴が残る可能性を示します。ただし、任意の業務領域や日本語への転用を実証したものではありません。
何に使える？
以下は論文の仕組みを踏まえた応用の考察です。業務用SaaSやRAGでの効果が本論文で直接測られたわけではありません。
同じ基盤から作った社内モデルの配備を整理する
質問応答、文書分類、言い換え判定などの専門モデルを同じ基盤から作っているなら、一つの統合モデルで必要な品質を満たせるか検証できます。別々のフルモデルを常駐させる構成と比べ、配備する重みを減らせる可能性があります。
一方、用途別アダプターをすでに効率よく切り替えているシステムでは、統合が常に得とは限りません。専門性能の維持と、運用を簡素化する価値を比較する必要があります。
画像分類の専門知識を一つのエンコーダへまとめる
同じCLIPから、画像領域ごとに適応した視覚エンコーダを統合する使い方は、本論文の実験に近い応用です。扱う画像の種類が複数あるツールで、共通の視覚処理を作る候補になります。
ただし、分類データセットの成果から、検品や異常検知も改善すると断定はできません。実際の画像分布と誤検出の許容度に合わせた評価が必要です。
RAG生成器の複数の適応を組み合わせる
共通基盤から、引用形式への適応と業務用語への適応を別々に学習している場合、統合候補を作る発想に応用できそうです。追加学習の前に、既存の学習成果を再利用できるか調べられます。
ただし、引用の正確さや用語知識が重みの符号ごとに分離している保証はありません。回答品質だけでなく、引用と根拠の一致、形式遵守、回答不能時の挙動を個別に測る必要があります。
開発や事業へのヒント
学習の段階から共通の出発点を管理します
後で統合するなら、基盤チェックポイントの識別情報、トークナイザー、追加語彙、学習対象の重み、適応手法を記録しておくと役立ちます。同じモデル名でも出発点や語彙が違えば、同じ位置の重みを直接比較できない場合があります。
小規模なプロダクトでも、共通基盤と適応済みモデルを版管理することは取り入れられます。統合を試すたびに、どの差分を足したのかが追える状態にします。
平均点と同時に、落としてはいけない能力を測ります
試すなら、互換性のある二つの小さなモデルから始め、元の専門モデル、単純平均、TIES-Mergingを同じテストで比較します。kとλの選択には検証データを使い、最後の品質確認用テストは分けます。
平均スコアが改善しても、重要なタスクだけ大きく落ちることがあります。用途ごとに最低品質を決め、そこを満たす場合だけ配備をまとめる判断が現実的です。統合後のモデルと元のモデルは両方保存し、戻せるようにしておきます。
注目点は「学習済み差分をどう合成するか」です
TIES-Mergingから得られる開発上の視点は、学習済み重みも再利用可能な部品として扱うことです。ただし部品同士は独立ではなく、同じパラメータ上で競合します。今後の手法を見る際も、何を重要と判定し、競合をどう解き、どの能力を失うのかを評価する軸が使えます。
限界
統合できるモデルに前提があります
共通の初期モデルと対応するパラメータが必要です。異なる構造や別の事前学習経路を持つ任意のモデルを、この手順だけで統合する技術ではありません。重みにアクセスできないAPI専用モデルにも直接使えません。
干渉を整理しても、すべての能力は残りません
更新量の大きさは重要性の近似であり、小さい更新が不要とは限りません。また、符号を一つに決める以上、反対方向の更新は採用されません。干渉を抑える操作は、すべてのタスクの要求を同時に満たす証明ではありません。
表の通り、個別モデルや共同学習モデルとの性能差は残ります。固定レシピが比較手法に負ける条件もあります。統合しただけで品質確認を省くことはできません。
追加学習なしでも、メモリと評価コストはかかります
重みの読み込み、差分計算、上位成分の選別が必要です。P個のパラメータを持つNモデルの差分をすべて同時に保持する素朴な実装では、差分だけでも保存量がN×Pに比例します。大規模モデルでは処理を分割するなどの実装上の工夫が必要になります。
また、差分の一部をゼロにしても、基盤重みは残ります。上位20%を残す設定は、推論モデルが20%のサイズになるという意味ではありません。通常の密な重みとして配備するなら、単一の元モデルと同規模です。
現在の生成LLMや業務データには再検証が必要です
本論文の中心的な実験はT5、T0-3B＋(IA)3、CLIPの分類・選択式タスクです。長文の自由生成、ツール呼び出し、日本語の業務文書、量子化モデルの統合まで同じ効果が出るとは断定できません。モデルや処理精度を変えた再現性も、実際に使う条件で確認する必要があります。
よくある質問
Q. 複数のLLMへ質問して回答をまとめる方法と何が違いますか？
A. TIES-Mergingは推論前に重みを統合し、推論時は一つのモデルを動かします。複数回答を集約するアンサンブルとは処理の場所が違います。その分、統合によって失われた専門能力を、推論時に別モデルの回答で補うことはできません。
Q. モデルマージには学習データが不要ですか？
A. 固定したkとλで統合する重み計算自体には、元の学習データを必要としません。ただし、用途に合う設定を選び、配備可否を決めるための評価データは用意したいところです。論文でも検証セットありとなしを別条件として評価しています。
Q. 上位20%だけ残せばモデルは小さくなりますか？
A. 小さくする対象は学習による差分です。残りの位置にも基盤モデルの重みがあるため、通常の推論では元と同じ構造・パラメータ数を使います。複数の配備モデルを一つにまとめる効果と、単一モデルの圧縮は区別してください。
Q. 同じ基盤モデルのLoRAなら、そのまま統合できますか？
A. 応用候補にはなりますが、本論文のPEFT結果は(IA)3での検証です。LoRAでは対象層、スケール、因子行列と重み差分の対応を確認し、何に対してTrimと符号選択を行うかを明確にする必要があります。統合後の性能は別途評価してください。
Q. 既存の専門モデルをすべて統合するべきですか？
A. 必要な品質を満たせる場合に限って候補になります。論文でも個別モデルからの性能低下が残っているため、高い専門精度が必要なら分けたまま使う選択肢があります。まず二つを統合して、各タスクの劣化と配備上の利益を測る方法が取り組みやすいです。
今日の学び
この論文は、学習済みの専門モデルを平均すると、有効な更新が薄まったり逆方向の更新で相殺されたりする課題を扱いました。TIES-Mergingは、小さな差分の除去、符号の選択、同じ方向の差分だけの平均によって、その干渉を抑えます。
開発に活かせるヒントは、既存モデルの差分を再利用する余地があることと、統合を「能力の足し算」と考えすぎないことです。共通基盤の管理とタスクごとの品質評価を組み合わせれば、追加学習の前に試せる改善候補になります。