今回の論文
今回取り上げるのは、Yang Song、Prafulla Dhariwal、Mark Chen、Ilya Sutskeverによる「Consistency Models」です。2023年にICML（International Conference on Machine Learning）で発表され、PMLRから公開されました。分野は、拡散モデルを基盤にした高速な画像生成です。論文URLは https://proceedings.mlr.press/v202/song23a.html です。
この論文を選んだ理由は、高品質な生成のために何十回もモデルを呼び出していた拡散モデルを、「ノイズから完成画像へ直接近づける」という見方で捉え直しているからです。高速化は単に待ち時間を短くするだけではありません。生成をUIの操作に追従させる、探索の試行回数を増やす、少ない計算資源でも提供可能にする、といったプロダクト設計の自由度につながります。
どんな技術か
Consistency Models（CM）は、ノイズの強さが異なる同じ生成経路上の入力を、どれも同じ「きれいなデータ」に写すように学習する生成モデルです。通常の拡散モデルは、ランダムノイズから始めて、少しずつノイズを取り除く処理を多数回繰り返します。CMは大きなノイズを受け取っても、1回のニューラルネットワーク実行でデータ空間の近くまで戻せるようにします。
重要なのは、1ステップ生成専用に固定しない点です。1回で速く生成できる一方、出力品質を上げたいときには途中で再びノイズを加え、CMを数回呼び出せます。速度と品質を実行時に交換できるため、プレビューと最終レンダリングを同じ基本モデルで扱える可能性があります。論文では、既存の拡散モデルを教師にするConsistency Distillation（CD）と、教師なしで直接学ぶConsistency Training（CT）の二通りを提案しています。
課題
拡散モデルは画像品質で大きく進歩しましたが、推論時の反復処理が実用上のボトルネックです。各ステップでU-Netなどの大きなネットワークを実行するため、高解像度化、複数候補の生成、対話的な編集を同時に求めると、待ち時間とGPUコストが大きくなります。
なぜ反復生成が難しいのか
標準的な拡散モデルは、前向き過程でデータに徐々にガウスノイズを足し、逆向き過程を学びます。最もノイズの多い状態から画像へ戻るとき、1回で大きく戻すと誤差が蓄積しやすいため、数十〜数百の細かなステップを使う設計が一般的でした。高速な数値ソルバでステップを減らす手法もありますが、呼び出し回数をゼロ近くにはできません。
既存の蒸留だけでは残る制約
複数ステップの教師モデルを少ないステップの生徒モデルへ蒸留する方法は以前からありました。しかし、段階的な蒸留は教師の推論を何度も必要とし、学習パイプラインが複雑になりやすいという問題があります。また、1ステップへ一気に圧縮すると品質が落ちやすく、生成品質と速度を柔軟に切り替えにくいことも課題です。
この問題は、画像生成APIの低遅延プレビュー、デザインツール内の試行錯誤、ローカルGPUでの生成、動画生成の各フレーム処理などで顕在化します。単発の高品質生成だけでなく、「すぐ見せて、必要なときだけ計算を増やす」体験を作るには、少数ステップでも成立する生成器が必要です。
用語解説
- 拡散モデル
- データへノイズを加える過程と、その逆にノイズからデータを復元する過程を学ぶ生成モデルです。CMはこの逆過程を多数回たどる代わりに、異なる時刻の状態を同じ復元結果へそろえます。
- 確率流常微分方程式（probability flow ODE）
- 拡散モデルの逆生成を連続時間の決定論的な軌道として表す式です。同じ軌道上なら最終画像が同じになるという性質が、CMの「一貫性」を定義する土台になります。
- ノイズレベル（時刻 t）
- 入力にどれほどノイズが混じっているかを表す値です。CMは画像だけでなく時刻も入力に受け取り、強いノイズと弱いノイズを同じクリーンな推定へ対応付けます。
- 蒸留
- 性能の高い教師モデルの振る舞いを、より少ない計算で動く生徒モデルへ移す学習方法です。CDでは既存の拡散モデルを教師として使い、少数ステップ生成を実現します。
- FID
- 生成画像の分布が実画像の分布にどれほど近いかを測る代表的な指標で、低いほど良い値です。本論文では速度だけでなく、1ステップ化で画像品質をどこまで保てるかの比較に使われます。
技術の仕組み
同じ生成経路を同じ出力へ写す
CMのネットワークを fθ(x, t) とします。x はノイズを含む画像、t はノイズレベルです。CMが満たしたい条件は、同じ確率流ODEの軌道上にある x_t と x_s を入力したとき、時刻が違っても同じクリーンなデータ x_ε を返すことです。ここで ε はほぼノイズのない最小時刻です。
言い換えると、CMは「今の入力が軌道のどこにいるか」を読み、軌道の終点を予測する関数です。ノイズだけの x_T を入れて終点を一度予測すれば、1ステップ生成になります。品質を優先するときは、予測結果に少量のノイズを戻して再度終点を予測し、少数ステップで補正します。
境界条件を入れて学習を安定させる
論文は、t=ε のときには入力をそのまま返すという境界条件を、ネットワークのパラメータ化へ組み込んでいます。具体的には、fθ(x,t) = c_skip(t)x + c_out(t)Fθ(x,t) のように、入力を通す項とニューラルネットワークの出力を混ぜます。c_skip(ε)=1、c_out(ε)=0 となるように設計するため、最終時刻では自動的に恒等写像になります。
この工夫により、ネットワークは最も簡単な境界を学習で無理に覚える必要がありません。時間方向の端点を構造で固定し、残りの対応だけを最適化する点は、連続時間モデルを実装する際の有用な設計原則です。
Consistency Distillation：教師の一段を飛び越える
CDでは、事前学習済みのスコアベース拡散モデルを教師にします。ノイズスケジュールから隣り合う時刻 t_n と t_{n+1} を選び、教師のODEソルバで x_{t_{n+1}} を一段だけ戻して x_{t_n} を作ります。生徒CMはよりノイジーな x_{t_{n+1}} を入力し、指数移動平均（EMA）で更新したターゲットCMは x_{t_n} を入力します。この二つの出力が近づくように損失を最小化します。
時刻の分割数を学習の進行に応じて増やすことも重要です。最初は粗い時間格子で近い対応を学び、段階的に細かくすることで、隣接状態を一貫した終点へ写す学習を安定させます。ターゲット側をEMAにして勾配を止めるため、互いに動く二つのネットワークを直接一致させる不安定さを抑えています。
Consistency Training：教師なしで一貫性を学ぶ
CTは、別の事前学習済み拡散モデルを使わず、データにノイズを加えた隣接時刻のペアから直接CMを学習します。後の時刻の入力を現在のCMに、少し前の時刻の入力をEMAターゲットに与え、出力の距離を小さくします。理論上は時間分割を細かくすれば、同じ軌道上の出力が一致する解に近づきます。
CTは教師モデルの品質に上限を縛られない利点があります。一方で、ノイズ付きペアの近似や時間格子、重み付け、損失関数の選択が学習品質を左右します。論文では知覚距離LPIPSやL2を条件に応じて使い、データセットごとの安定性を確認しています。
少数ステップ生成とゼロショット編集
生成時は、まずガウスノイズ x_T にCMを一度適用します。複数ステップにする場合は、出力へノイズを加えて次のノイズレベルへ移し、CMを繰り返し適用します。反復の意味が単なる「少しずつの除去」ではなく、終点予測の再補正になる点が特徴です。
また、既知の画素や低解像度画像に整合するよう、各ステップで観測値をノイズレベルに合わせて混ぜれば、学習時に専用タスクを与えなくても補完、カラー化、超解像などを行えます。これは逆生成の途中状態を扱えるCMの性質を利用したもので、すべての編集品質が保証されるという意味ではありません。
実験と結果
1ステップ生成での品質
論文はCIFAR-10、ImageNet 64×64、LSUN Bedroom 256×256、LSUN Cat 256×256を使い、生成品質と必要な関数評価回数（NFE）を比較しました。CDによる1ステップ生成は、CIFAR-10でFID 3.55、ImageNet 64×64でFID 6.20を記録しました。どちらも当時の拡散モデル蒸留手法を上回る結果であり、1回のネットワーク実行でも実用的な分布品質へ近づけることを示しています。
ここでのNFEは生成時にネットワークを呼ぶ回数です。通常の拡散モデルは品質の高い設定で数十回以上のNFEを要するのに対し、この比較はNFE 1です。FIDだけを見るのではなく、同じNFEで比較することが高速生成技術の評価では重要です。
少数ステップで品質を調節できること
CMは1ステップ専用モデルと違い、2回以上のサンプリングも可能です。論文のCIFAR-10におけるCTの例では、1ステップ時のFID 8.70が2ステップでは5.83へ改善しました。計算を少し増やすことで品質を回復できるため、遅延予算に応じて生成回数を変える余地があります。
CTは、CIFAR-10、ImageNet 64×64、LSUN 256×256で、既存の1ステップ非敵対的生成モデルを上回る結果を報告しています。教師に依存しない学習でも、単に高速な近似器を作るだけでなく、独立した生成モデルの族として成立する可能性を示した点が重要です。
編集タスクの検証
論文は、CMを追加学習せずに画像補完、カラー化、超解像、ストローク誘導生成へ適用する例を示しました。評価は主に定性的な画像例ですが、観測済み部分を守りながら未知部分を生成する操作が、同じ基礎モデルで可能であることを確認しています。
この結果から「どの編集でも専用学習が不要」と結論づけることはできません。テキスト忠実度や細かな制御を求める商用画像編集には、条件付けやデータセットに応じた評価が別途必要です。ただし、少数ステップ生成が編集にも使えるという設計上の方向性は明確です。
何に使える？
対話型の画像生成プレビュー
デザイン支援ツールでプロンプトや構図を調整する場面では、最終品質より先に「方向性が合っているか」を早く確認したいことがあります。CMの1ステップ生成をプレビューに使い、ユーザーが確定した候補だけを少数ステップで再生成する構成なら、待ち時間を抑えながら品質を使い分けられます。
大量候補を作る検索・選別パイプライン
広告クリエイティブ、ゲーム素材、商品イメージの下案では、多くの候補から人や別モデルが選別します。1候補あたりの推論コストを減らせれば、同じGPU予算で探索の多様性を増やせます。CMを一次生成に使い、類似度、品質スコア、ブランドルールで絞り込んだ候補だけを高品質な生成器で再描画する二段階設計が考えられます。
ローカル環境・エッジ端末での生成
モデルサイズが同じでも、呼び出し回数が減れば電力と待ち時間を削減できます。通信せず端末上で簡易プレビューを作りたいアプリや、GPUが限られた社内環境では、少数ステップ生成の価値が高まります。ただし実際の端末でのレイテンシは、ネットワーク構造、量子化、解像度、メモリ帯域も合わせて測定すべきです。
補完・超解像の共通基盤
CMのゼロショット編集の考え方は、欠損した画像の補完や低解像度資料の拡大で、個別タスクごとに別モデルを持たない設計のヒントになります。観測済み画素を拘束条件として扱い、未知部分だけを生成モデルに任せます。実務では、観測部分の保存率、顔や文字の正確さ、誤った補完の検知を評価条件に加える必要があります。
開発や事業へのヒント
速度をモデル選定の後ではなくUX要件にする
生成AIでは「最高品質のモデルを選んでから高速化する」と考えがちです。しかしCMは、推論ステップ数そのものをモデルの学習目標に含めます。プロダクトを作る際は、最初に許容待ち時間を決め、プレビュー、候補生成、最終出力で必要なNFEを分けて設計すると、無駄な高コスト生成を減らせます。
高速モデルを一次フィルタとして使う
1ステップ出力だけで最終納品品質を満たそうとせず、高速モデルを探索層として扱うのが現実的です。具体的には、CMで数十案を生成し、ユーザー選択や自動評価を通った数案だけを高NFEの拡散モデルへ渡します。論文の「同じモデルで少数ステップも選べる」という性質は、この段階的な予算配分と相性があります。
連続した状態に対する整合性を活用する
CMの根本は、異なるノイズレベルの状態を共通の終点へそろえることです。この発想は画像生成以外でも、粗い入力と詳細な入力で予測を大きくぶらさないモデル、途中状態から最終状態を早く推定するシステムの設計に応用できます。直接転用できるとは限りませんが、反復計算を「次の一歩を予測する問題」から「最終到達点を予測する問題」へ変換できないか検討する価値があります。
限界
CMは推論時のネットワーク呼び出しを減らしますが、1回のネットワーク自体が軽くなるわけではありません。高解像度のU-NetやTransformer、巨大な条件付けモデルでは、1 NFEでもメモリ使用量やレイテンシが大きい場合があります。量子化、注意機構の最適化、VAEの高速化などとは別に評価が必要です。
CDは教師となる高品質な拡散モデルへ依存します。生徒は教師以上の品質を原理的に保証されず、教師の偏りや失敗も引き継ぎます。CTはこの制約を避けられる一方、時間格子、損失、EMA、データ規模の設定に敏感で、学習の安定化と再現には相応の実験コストがかかります。
また、本論文の主要な定量評価は比較的低い解像度の画像データセットです。現在の大規模なテキスト条件付き画像・動画生成へ、そのまま同じ品質差や速度比を一般化することはできません。商用導入では、プロンプト追従、細部の一貫性、文字の正確さ、安全フィルタとの結合、実端末でのp95レイテンシを対象タスクごとに検証してください。
よくある質問
Q. Consistency Modelsは拡散モデルを完全に置き換えますか？
A. 必ずしも置き換えるものではありません。CMは既存の拡散モデルから蒸留でき、少数ステップで生成するための強力な選択肢です。一方、最高品質を重視する場面では、多ステップ拡散モデルや後続の高速サンプラーも含め、対象データで品質・コストを比較する必要があります。
Q. 1ステップ生成なら常に最も安いですか？
A. ネットワーク呼び出し回数は最小ですが、全体コストはモデルサイズ、解像度、VAEのエンコード・デコード、条件付け、後処理にも左右されます。まずNFE、GPUメモリ、1枚あたりの時間、候補の採用率を同じ条件で測定してください。
Q. CDとCTはどちらを選ぶべきですか？
A. 高品質な既存拡散モデルがあり、短期間で高速化したいならCDが実務的です。独自データで生成器を一から構築し、教師の上限に縛られたくないならCTを検討できます。ただしCTは学習設計の探索範囲が広いため、小規模チームではまずCDの再現実験から始めるのが安全です。
Q. 少数ステップを増やすと何が変わりますか？
A. CMでは出力を再びノイズ化してから終点を再予測するため、追加ステップで品質を補正できます。論文のCTによるCIFAR-10では、1ステップのFID 8.70に対し、2ステップでは5.83でした。増やし方と効果はモデル・データで異なるため、固定回数ではなく遅延予算ごとに評価してください。
Q. ゼロショット編集だけで業務の画像修正に使えますか？
A. 補完や超解像の試作には役立ちますが、業務利用では出力の検証が欠かせません。特に製品写真、図面、文字を含む画像では、生成された細部が事実と異なる可能性があります。元画像の保護領域、差分レビュー、再生成条件をワークフローへ組み込むべきです。
今日の学び
この論文は、高品質な拡散モデルが多数回の反復推論を必要とする課題を扱いました。Consistency Modelsは、同じ生成軌道上の異なるノイズ状態を共通の終点へ写すように学習し、1回または少数回のネットワーク実行で画像を生成します。開発上のヒントは、生成品質だけでなく「いつ、何回モデルを呼ぶか」を設計対象にし、高速な探索と高品質な最終生成を段階的に組み合わせることです。