カテゴリ
マルチモーダルの記事一覧
5件の記事があります。
SigLIPとは？画像と文章をペア単位で学習し、マルチモーダル検索の学習効率を高める技術
SigLIPは、画像と文章の対応をシグモイド損失で学習する技術です。CLIPとの違い、損失を分割して計算する仕組み、実験結果、画像検索やゼロショット分類への応用と導入時の注意点を解説します。
参照論文：Sigmoid Loss for Language Image Pre-Training
DINOv3とは？ラベルなし画像から高解像度の視覚特徴を学ぶ自己教師あり基盤モデル
DINOv3は、大規模なラベルなし画像から汎用的な視覚特徴を学習し、Gram anchoringで高解像度のdense feature劣化を抑える自己教師あり視覚基盤モデルです。仕組み、実験結果、AI開発への応用を解説します。
参照論文：DINOv3
MuRAGとは？画像とテキストを一緒に検索して答えるマルチモーダルRAG
MuRAGは、画像とテキストの両方を外部メモリとして検索し、回答生成に使うマルチモーダルRAGです。仕組み、既存RAGとの違い、評価結果、実務での使い道を日本語で整理します。
参照論文：MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text
LLaVAとは？画像を見て会話できるマルチモーダルAIの仕組みと実務での使い道
LLaVAは、CLIPの画像理解とLLMの対話能力をつなぎ、画像を見ながら自然言語で応答できるようにしたマルチモーダル技術です。Visual Instruction Tuningの考え方、2段階学習、評価結果、開発への応用ポイントを日本語で解説します。
参照論文：Visual Instruction Tuning
BLIP-2とは？少ない学習コストで画像理解をLLMにつなぐQ-Formerの仕組みと使い道
BLIP-2は、凍結した画像エンコーダと大規模言語モデルをQ-Formerで接続し、少ない学習コストで高性能なマルチモーダル処理を実現する技術です。なぜ画像とLLMの接続が難しいのか、BLIP-2がどう解くのか、開発でどこに応用できるのかを解説します。
参照論文：BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models