タグ

#拡散モデルの記事一覧

8件の記事があります。

推論最適化

DDIMとは?追加学習なしで拡散モデルの生成ステップを減らす技術

DDIMは、学習済み拡散モデルのノイズ予測器を再利用し、生成時の更新則と時刻の選び方で画像生成を高速化する技術です。決定論的サンプリングの仕組み、FIDの比較、プレビューや画像編集への応用と限界を解説します。

参照論文:Denoising Diffusion Implicit Models

学習・ファインチューニング

DIFTとは?画像生成モデルの中間特徴で同じ部位を探し、編集や追跡に活かす技術

DIFTは、学習済み拡散モデルから位置ごとの特徴を抽出し、画像間の対応点を見つける技術です。ノイズ量と抽出層の選び方、特徴の平均化、実験結果から、画像編集や動画アノテーションへの応用と限界を解説します。

参照論文:Emergent Correspondence from Image Diffusion

画像・動画生成

DiTとは?Transformerで画像生成を高品質化する仕組みと計算量の設計

DiT(Diffusion Transformer)は拡散モデルのノイズ除去をTransformerで行う画像生成技術です。潜在パッチ、adaLN-Zero、モデル規模とトークン数の関係、ImageNetの実験結果から、生成AI開発に活かせる考え方を解説します。

参照論文:Scalable Diffusion Models with Transformers

画像・動画生成

Consistency Modelsとは?拡散モデルを1ステップ生成へ高速化する仕組みと使い道

Consistency Modelsは、ノイズから画像へ直接写像することで、拡散モデルの反復サンプリングを1回または少数回に短縮する生成手法です。仕組み、実験結果、リアルタイム画像生成・編集への応用を解説します。

参照論文:Consistency Models

画像・動画生成

Matryoshka Diffusion Modelsとは?高解像度の画像・動画生成を単一モデルで学習する技術

Matryoshka Diffusion Models(MDM)は、複数解像度の拡散過程と入れ子状のU-Netを共同学習し、高解像度の画像・動画生成を一つのモデルへまとめる技術です。仕組み、実験結果、開発への応用を解説します。

参照論文:Matryoshka Diffusion Models

推論最適化

DeepCacheとは?拡散モデルの特徴量キャッシュで画像生成を高速化する技術

DeepCacheは、U-Net型拡散モデルの隣接するノイズ除去ステップで似た高レベル特徴を再利用し、再学習なしで画像生成を高速化する推論最適化手法です。仕組み、実験結果、実装時の注意点を解説します。

参照論文:DeepCache: Accelerating Diffusion Models for Free

画像・動画生成

DreamBoothとは?少数画像で被写体を学習し、本人・商品・キャラクターを生成できる技術

DreamBoothは、3〜5枚ほどの画像から特定の被写体を拡散モデルに学習させ、別の構図や背景でも同じ対象を生成できる画像生成技術です。識別子トークン、prior preservation loss、仕組み、実験結果、実務での使い道を日本語で解説します。

参照論文:DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

画像・動画生成

ControlNetとは?画像生成を構図や線画で制御できる拡散モデル拡張の仕組みと使い道

ControlNetは、既存の拡散モデルを凍結しつつ、エッジ・深度・ポーズなどの空間条件を追加して画像生成を細かく制御する技術です。なぜプロンプトだけでは足りないのか、どう実装されているのか、開発でどこに応用できるのかを技術的に解説します。

参照論文:Adding Conditional Control to Text-to-Image Diffusion Models