カテゴリ

画像・動画生成の記事一覧

7件の記事があります。

DiTとは？Transformerで画像生成を高品質化する仕組みと計算量の設計

DiT（Diffusion Transformer）は拡散モデルのノイズ除去をTransformerで行う画像生成技術です。潜在パッチ、adaLN-Zero、モデル規模とトークン数の関係、ImageNetの実験結果から、生成AI開発に活かせる考え方を解説します。

参照論文：Scalable Diffusion Models with Transformers

Consistency Modelsは、ノイズから画像へ直接写像することで、拡散モデルの反復サンプリングを1回または少数回に短縮する生成手法です。仕組み、実験結果、リアルタイム画像生成・編集への応用を解説します。

参照論文：Consistency Models

Matryoshka Diffusion Models（MDM）は、複数解像度の拡散過程と入れ子状のU-Netを共同学習し、高解像度の画像・動画生成を一つのモデルへまとめる技術です。仕組み、実験結果、開発への応用を解説します。

参照論文：Matryoshka Diffusion Models

VARは、画像を粗い解像度から高解像度へ段階的に生成するVisual Autoregressive Modelingです。次スケール予測の仕組み、VQトークナイザ、ImageNetでの結果、画像生成開発への使い道を解説します。

参照論文：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction

Representation Autoencodersは、DINOv2などの事前学習済み表現エンコーダを画像生成用の潜在空間として使い、Diffusion Transformerの収束速度と生成品質を改善する技術です。仕組み、実験結果、AI開発への応用を解説します。

参照論文：Diffusion Transformers with Representation Autoencoders

DreamBoothは、3〜5枚ほどの画像から特定の被写体を拡散モデルに学習させ、別の構図や背景でも同じ対象を生成できる画像生成技術です。識別子トークン、prior preservation loss、仕組み、実験結果、実務での使い道を日本語で解説します。

参照論文：DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

ControlNetは、既存の拡散モデルを凍結しつつ、エッジ・深度・ポーズなどの空間条件を追加して画像生成を細かく制御する技術です。なぜプロンプトだけでは足りないのか、どう実装されているのか、開発でどこに応用できるのかを技術的に解説します。

参照論文：Adding Conditional Control to Text-to-Image Diffusion Models