今回の論文
今回取り上げるのは、Oriane Siméoni、Huy V. Vo、Maximilian Seitzer、Federico Baldassarre、Maxime Oquab らによる論文「DINOv3」です。2025年8月13日に arXiv で公開された技術レポートで、公開元は arXiv、URL は https://arxiv.org/abs/2508.10104、DOI は https://doi.org/10.48550/arXiv.2508.10104 です。研究分野は、自己教師あり学習、コンピュータビジョン、視覚基盤モデル、dense predictionです。
この論文を選んだ理由は、画像AIで重要になる「よい視覚特徴をどう作るか」という土台の問題に、実装上の工夫まで踏み込んでいるからです。DINOv3は、ラベルやキャプションに頼らず大規模画像から学習しながら、高解像度のパッチ特徴が劣化する問題をGram anchoringで抑えます。画像分類だけでなく、セグメンテーション、物体検出、深度推定、3D理解などへ同じ特徴を使えるため、AIアプリ開発の部品として見ても学びが多い論文です。
どんな技術か
DINOv3は、画像に人手ラベルやテキストキャプションを付けなくても、汎用的な視覚特徴を学習できる自己教師ありの視覚基盤モデルです。画像を分類する専用モデルではなく、入力画像から「このパッチはどの物体や領域に対応しているか」「画像全体はどんな意味を持つか」を後段タスクで使いやすい特徴として取り出すためのバックボーンだと考えると理解しやすいです。
特徴的なのは、DINOv2系の自己蒸留とマスク付きパッチ予測を大規模化しただけではない点です。大きなモデルを長く学習すると、画像全体を表すglobal featureは強くなっても、セグメンテーションや深度推定に必要なpatch-levelのdense featureが崩れていくことがあります。DINOv3は、この崩れをGram anchoringという正則化で抑え、長時間学習しても局所的な対応関係を保つようにします。
その結果、DINOv3は単なる画像分類用のエンコーダではなく、高解像度画像からきれいな特徴マップを出す視覚基盤モデルになります。アプリ開発の観点では、画像検索、物体領域抽出、類似パッチ探索、画像理解付き生成、衛星画像解析、医療・製造画像の特徴抽出などで、学習済みの汎用部品として使える可能性があります。
課題
DINOv3が解こうとしている課題は、自己教師あり学習を大規模化したときに、視覚特徴の「汎用性」と「局所性」を両立することです。
画像の自己教師あり学習では、同じ画像から作った複数の拡張ビューを近い表現にしたり、隠したパッチの表現を予測したりして、ラベルなしで特徴を学習します。この方法は大量の未ラベル画像を使えるため強力ですが、大規模モデル・長時間学習・高解像度特徴を同時に扱うと難しさが出ます。
まず、ラベルなしデータは量だけ増やせばよいわけではありません。重複、低品質画像、偏った画像、下流タスクに役立ちにくい画像が混ざると、学習効率や特徴の汎用性が落ちます。DINOv3では、大規模な背景データを準備しつつ、ImageNet-1kのような専門的に整ったデータも少量混ぜるデータ設計を重視しています。
次に、既存のDINOv2系レシピをそのまま長く回すと、dense featureが劣化する問題があります。画像分類のように画像全体を1つのベクトルで表すタスクでは問題が見えにくくても、セグメンテーションや3D対応点推定のようにパッチ単位の位置関係が重要なタスクでは大きな制約になります。実際のAIシステムでは、画像から「どこに何があるか」を使いたい場面が多いため、dense featureが崩れると応用範囲が狭くなります。
さらに、弱教師ありのCLIP系モデルは画像とテキストのペアを使うため、ラベルやキャプションが豊富なWeb画像では強い一方、衛星画像、医療画像、製造検査画像のように良質なテキストメタデータが少ない領域では使いにくい場合があります。DINOv3は、画像そのものから学習する自己教師あり手法を強くすることで、メタデータに依存しにくい視覚基盤モデルを目指しています。
用語解説
- 自己教師あり学習
- 人手で付けたラベルを使わず、データ自身から学習信号を作る方法です。DINOv3では、同じ画像の異なる拡張ビューやマスクされたパッチを使い、ラベルなし画像から汎用的な視覚特徴を学習します。
- dense feature
- 画像全体を1本のベクトルにするのではなく、パッチや画素領域ごとに得られる特徴です。セグメンテーション、深度推定、対応点推定では局所的な位置関係が重要になるため、DINOv3の中核的な評価対象になります。
- 自己蒸留
- teacherモデルの出力をstudentモデルが追いかける形で学習する方法です。DINO系では、同じ画像の異なるビューに対して一貫した表現を作るために使われ、ラベルなしでも安定した特徴学習を可能にします。
- Gram anchoring
- DINOv3が導入した、パッチ特徴同士の関係を保つための正則化です。単体パッチの値だけでなく、パッチ間の類似関係をGram行列として見て、長時間学習でdense featureが崩れることを抑えます。
- frozen backbone
- 下流タスクの学習時に、事前学習済みの視覚エンコーダ本体を更新せず固定して使うことです。DINOv3は、バックボーンを固定したままでも物体検出やセグメンテーションで強い結果を出すことを重視しています。
技術の仕組み
DINOv3の仕組みは、大きく見ると「大規模な未ラベル画像で視覚エンコーダを自己教師あり学習する」「長時間学習で崩れやすいdense featureをGram anchoringで保つ」「巨大モデルの知識を実用サイズのモデルへ蒸留する」という流れです。
DINOとiBOTを組み合わせた自己教師あり学習
DINOv3は、DINOv2の流れを引き継ぎ、画像の複数ビューを使う自己教師あり学習を行います。入力画像からglobal cropとlocal cropを作り、studentネットワークとteacherネットワークに通します。studentはteacherが出す表現に近づくように学習し、異なる切り出しや拡張を受けても同じ画像に対して一貫した特徴を出すようになります。
ここで重要なのは、画像全体の表現だけでなく、パッチ単位の表現も学習することです。DINOv3は、iBOT系のマスク付きパッチ予測も組み合わせます。画像の一部パッチを隠し、studentがteacherのパッチ特徴を予測することで、局所的な構造や物体境界に敏感な特徴を学習します。
この構成により、DINOv3は分類に使いやすいglobal featureと、セグメンテーションや深度推定に使いやすいdense featureの両方を狙います。ただし、ここまでならDINOv2の延長です。DINOv3の大きな工夫は、スケールを上げたときにdense featureが崩れる問題へ正面から対処した点にあります。
大規模化のためのデータ・モデル・最適化
DINOv3では、最大で約67億パラメータのViT-7Bモデルを自己教師ありで学習します。モデルはViTをベースにしつつ、axial RoPEなどの位置表現や、大規模学習時のアーティファクトを抑える設計を取り入れています。
データ面では、単にWebから画像を大量に集めるだけでなく、データの収集・キュレーション・サンプリングを重視しています。論文では、大規模な背景データに少量のImageNet-1kを混ぜることで、ラベルなしデータの量を活かしながら、学習の方向性を安定させています。
最適化では、DINOv2で使われた複数のcosine scheduleから離れ、長い学習ホライズンでも扱いやすいconstant scheduleを採用しています。巨大な未ラベル画像コーパスを使う場合、最初から「何エポックで終えるか」をきれいに決めにくいため、実運用に近い学習パイプラインとしても意味があります。
Gram anchoringでパッチ間の関係を保つ
DINOv3の中心的な技術がGram anchoringです。問題意識は、モデルを大きくして長く学習すると、画像全体の認識性能は伸びても、patch-levelの特徴マップがノイズっぽくなり、局所的な対応関係が失われることです。
Gram anchoringでは、パッチ特徴を行列として見て、パッチ同士の内積からGram行列を作ります。これは、「各パッチが他のパッチとどれくらい似ているか」を表す関係行列です。たとえば、道路のパッチ同士、建物のパッチ同士、物体の同じ部位同士が近い特徴を持っていれば、Gram行列にもその構造が現れます。
学習時には、参照となるGram teacherのパッチ関係と、現在のstudentのパッチ関係が大きくずれないように正則化します。単に各パッチの特徴値を合わせるのではなく、「パッチ間の相対的な関係」を保つ点が重要です。これにより、分類に有利な抽象化へ進みすぎて局所構造が失われることを抑えます。
論文では、Gram anchoringを入れるとdense taskの改善が早い段階で現れ、ADE20kのようなセグメンテーション評価でも改善が見られると報告されています。開発者目線では、これは「大規模事前学習で何を壊してはいけないか」を明示的な損失にする設計だと言えます。
高解像度適応とモデル蒸留
DINOv3は、事前学習後にも実用性を高める処理を行います。1つは高解像度適応です。高解像度画像では、より細かなパッチ配置や物体境界を扱う必要があります。DINOv3は追加学習で高解像度入力への適応を行い、セグメンテーションやトラッキングのような局所性が効くタスクで特徴を改善します。
もう1つはモデル蒸留です。ViT-7Bは強力ですが、実際のアプリや研究で常用するには重すぎます。そこで、7Bモデルをteacherとして、ViT-S、ViT-B、ViT-L、ViT-H+、さらにConvNeXt系の小型モデルへ知識を移します。
論文では、ViT-Sが約2100万パラメータ、ViT-Bが約8600万パラメータ、ViT-Lが約3億パラメータ、ViT-H+が約8.4億パラメータ、ViT-7Bが約67億パラメータとして整理されています。ConvNeXt系もTinyからLargeまで用意されており、リソース制約のある環境でも使いやすいモデルファミリーを提供しています。
テキストとのアラインメント
DINOv3自体は画像のみで学習する自己教師ありモデルですが、論文では後段でテキスト表現とのアラインメントも扱っています。視覚バックボーンを固定し、テキストエンコーダ側を学習して、CLIPのような画像テキスト検索やopen-vocabulary segmentationに使えるようにします。
ここで重要なのは、DINOv3の強みがdense featureにあることです。画像全体とテキストを対応させるだけならCLIP系が強い場面もありますが、パッチ単位の特徴がきれいだと、テキストで指定した概念が画像内のどの領域にあるかを扱いやすくなります。これは、マルチモーダルRAGや画像理解エージェントにもつながる方向性です。
実験と結果
論文では、DINOv3を分類だけでなく、セグメンテーション、深度推定、対応点推定、物体検出、動画トラッキング、3D理解、衛星画像解析など幅広いタスクで評価しています。重要なのは、多くの実験でバックボーンをfine-tuningせず、frozen backboneとして使っている点です。
dense featureの評価
dense featureの品質を見るために、論文ではセマンティックセグメンテーションと単眼深度推定の線形プロービングを行っています。バックボーンのパッチ出力を固定し、その上に線形変換だけを学習する設定です。評価にはADE20k、Cityscapes、PASCAL VOC 2012、NYUv2、KITTIなどが使われ、セグメンテーションではmIoU、深度推定ではRMSEが報告されています。
結果として、DINOv3はADE20kで55.9 mIoUを達成し、自己教師ありベースラインを6ポイント以上、弱教師ありベースラインを13ポイント以上上回ったとされています。しかも、これは複雑なdecoderでバックボーン全体を調整するのではなく、frozen backboneのdense feature上に線形予測器を載せた評価です。
この結果から言えるのは、DINOv3のパッチ特徴が単に見た目の類似を表すだけでなく、物体カテゴリ、領域境界、奥行きのような下流タスクに必要な情報を線形に取り出しやすい形で持っているということです。
物体検出とセグメンテーション
より実システムに近い評価として、物体検出とセマンティックセグメンテーションでも比較されています。論文では、frozen backboneを使った条件でCOCO detectionにおいてmAP 66.1、ADE20k semantic segmentationにおいてmIoU 63.0を達成したと報告しています。
これは、視覚バックボーンをタスクごとに全面的にfine-tuningしなくても、強い特徴抽出器として使えることを示します。アプリ開発では、画像ごとに物体検出、領域分割、類似検索、深度推定を別々の専用モデルで管理すると複雑になります。DINOv3のような汎用backboneが強いと、共通の画像特徴を使い回し、タスクごとに軽いヘッドを載せる構成が取りやすくなります。
3D理解への応用
DINOv3は、3D理解モデルVGGTのバックボーン置き換えでも評価されています。既存のVGGTはDINOv2を視覚特徴抽出器として使っていましたが、論文ではDINOv3 ViT-Lへ差し替え、ほぼ同じパイプラインで比較しています。
結果は、カメラ姿勢推定、multi-view estimation、view matchingの各タスクで一貫して改善しています。たとえばRe10Kのカメラ姿勢推定ではVGGTのAUC@30が85.3に対し、DINOv3版は86.3、CO3Dv2では88.2から89.6に改善しています。ScanNet-1500のview matchingでも、AUC@5が33.9から35.2、AUC@10が55.2から56.1に上がっています。
この実験は、DINOv3のdense featureが2D画像タスクだけでなく、画像間の対応や3D構造の推定にも役立つことを示しています。ロボティクス、AR、建築・不動産、製造現場の視覚検査などでは、この種の対応点や幾何情報が重要になります。
モデルファミリーの評価
DINOv3は、1つの巨大モデルだけでなく、複数サイズのViTとConvNeXtを提供しています。論文では、ViT-SからViT-H+までをDINOv2、SigLIP 2、Perception Encoderなどの同規模モデルと比較しています。
たとえば小型のViT-Sでは、DINOv2と比べてImageNet-ReaLのような分類ではほぼ同等ながら、ObjectNet、Oxford-H、ADE20k、NYUなどで改善が見られます。大きいモデルほどdense taskでの強みが目立ちますが、小型モデルも実用上の選択肢として用意されている点が重要です。
ConvNeXt系モデルも蒸留されており、CNX-Tinyは約2900万パラメータ、解像度256で5 GFLOPsとされています。エッジやサーバーコストが厳しい用途では、最大精度のViT-7Bではなく、蒸留済みの小型backboneを選ぶ設計が現実的です。
地理空間データでの検証
論文では、自然画像だけでなく衛星・航空画像にもDINOv3を適用しています。DINOv3の考え方は、画像とキャプションのペアを必要としないため、メタデータが少ない観測画像でも使いやすいです。
特に、樹冠高推定のようなリモートセンシングタスクでは、DINOv3のdense featureが有効に働くことが示されています。これは、Web画像で学んだモデルをそのまま使うだけでなく、ドメイン固有の未ラベル画像から自己教師ありで強いbackboneを作る方向性を示しています。
何に使える？
DINOv3は画像を生成するモデルではなく、画像を理解するための特徴抽出器です。ただし、実際のAIアプリでは「よい画像特徴を安定して取れること」が多くの機能の土台になります。
画像検索と類似領域検索
DINOv3の特徴は、画像全体の類似検索だけでなく、パッチ単位の類似検索にも向いています。たとえばECの商品画像で、画像全体ではなく「靴のソール部分が似ている」「家具の脚の形状が近い」といった局所的な類似を探す場合、dense featureが役立ちます。
RAGに近い使い方として、画像データベースから関連画像や関連領域を検索し、その結果をVLMやLLMに渡して回答を作る構成も考えられます。文書RAGでチャンク埋め込みが重要なのと同じように、画像RAGではパッチ特徴の品質が検索精度を左右します。
セグメンテーションや検査AIの共通backbone
製造検査、医療画像、建設現場、農業画像などでは、異常領域や対象物の境界を扱う必要があります。DINOv3はdense featureが強いため、タスクごとに完全な専用モデルを作るのではなく、DINOv3を固定backboneとして使い、少量ラベルで軽いヘッドを学習する構成に向いています。
特に、ラベル付けが高価な領域では、未ラベル画像で自己教師あり事前学習し、少量の注釈で下流タスクへ適応する流れが現実的です。これは、AI受託開発や業務システムにおいて、データ作成コストを抑える設計として使えます。
マルチモーダルエージェントの視覚メモリ
AIエージェントが画面、画像、動画、図面を扱う場合、毎回VLMに全画像をそのまま投げるだけではコストが高く、検索や状態管理もしづらくなります。DINOv3のような視覚backboneを使えば、画像を特徴マップとして保存し、後から類似領域や変化箇所を検索できます。
たとえば、UI操作エージェントが過去の画面状態を記憶する、工場監視エージェントが異常に似た過去画像を引く、研究支援ツールが顕微鏡画像の類似パターンを探す、といった使い方が考えられます。これはテキストのベクトル検索を、画像パッチにも広げる発想です。
画像生成・編集モデルの評価器
DINOv3は生成モデルではありませんが、生成画像の評価や制御にも使えます。生成前後の画像で、指定領域の特徴が保たれているか、物体の構造が崩れていないか、類似パッチが期待通りかを判定する特徴抽出器として使える可能性があります。
これは推測を含みますが、DINOv3のdense featureが高解像度で安定しているなら、画像編集AIにおける「構造保持損失」や「領域単位の品質チェック」に使いやすいはずです。クリエイティブツールでは、生成そのものだけでなく、生成結果を自動検査して再生成するループにも価値があります。
開発や事業へのヒント
DINOv3から得られる開発上のヒントは、画像AIを「個別タスクのモデル群」ではなく「共通特徴基盤と軽量ヘッドの組み合わせ」として設計できることです。
画像AIの共通埋め込み基盤を作る
社内に画像データが多い場合、最初から物体検出、分類、検索、異常検知を別々に作るより、まず高品質な視覚特徴を作って保存する基盤を整える方が有効な場合があります。DINOv3は、その共通特徴基盤の候補になります。
たとえば、画像をアップロードしたらDINOv3特徴を抽出してベクトルDBに保存し、画像全体・パッチ・領域単位で検索できるようにします。その上に、分類ヘッド、検査ヘッド、VLMへの参照コンテキスト生成を載せれば、複数機能で同じ特徴を再利用できます。
ラベル不足の事業領域で使いやすい
多くの業務領域では、テキストキャプション付き画像や高品質ラベルが十分にありません。DINOv3の自己教師あり学習は、こうした領域に合っています。医療、建設、農業、製造、物流、衛星画像などでは、未ラベル画像は蓄積されているが、教師ラベルを作るのが高いという状況がよくあります。
小規模プロダクトで巨大なDINOv3を最初から学習するのは現実的ではありませんが、公開済みbackboneを使う、あるいは特定ドメインで追加の自己教師あり学習や軽量ヘッド学習を行う設計は検討できます。重要なのは、ラベル作成だけに頼らず、未ラベル画像資産を特徴学習に使う発想です。
dense featureの劣化を監視する
Gram anchoringの考え方は、DINOv3以外にも応用できます。モデルを長く事前学習・継続学習すると、ある性能指標は伸びても別の能力が壊れることがあります。DINOv3では、それがdense featureの劣化として現れました。
開発では、分類精度や検索精度だけを見るのではなく、パッチ類似、領域境界、対応点、局所特徴の安定性など、使いたい能力に近い評価を継続的に見る必要があります。必要なら、Gram anchoringのように「壊したくない関係」を損失や評価に入れる設計が有効です。
大規模モデルは蒸留前提で考える
DINOv3は7Bモデルを作ったうえで、実用サイズのViTやConvNeXtへ蒸留しています。これは事業開発でも重要な示唆です。最高性能モデルをそのまま本番投入するのではなく、まず強いteacherで上限を作り、その後にユースケース別の小型studentへ落とす流れです。
たとえば、サーバー側の高精度解析には大きいViT、モバイルやエッジにはConvNeXt-Tiny、バッチ処理にはViT-Lといった使い分けができます。AI機能をプロダクトに組み込むときは、精度だけでなく、推論レイテンシ、GPUコスト、端末制約まで含めたモデルファミリー設計が必要です。
限界
DINOv3は強力ですが、万能な画像AI部品として無条件に使えるわけではありません。
まず、計算コストは大きな制約です。ViT-7Bは約67億パラメータで、解像度512では論文表で14515 GFLOPsとされています。研究上は重要なteacherですが、通常のアプリでそのまま使うには重すぎます。実運用では、ViT-L、ViT-B、ConvNeXt系など、用途に合った蒸留モデルを選ぶ必要があります。
次に、データ依存性があります。DINOv3はラベルなしで学習できるとはいえ、データの質と分布は重要です。特定ドメインで使う場合、自然画像で学習したbackboneがそのまま十分か、ドメイン画像で追加学習すべきかを検証する必要があります。衛星画像のように専用データでの検証がある領域もありますが、すべての業務画像で同じ結果が出るとは限りません。
また、DINOv3は基本的に特徴抽出器です。物体検出、セグメンテーション、深度推定、検索などの実アプリを作るには、後段のヘッド、インデックス、評価データ、推論パイプラインが必要です。DINOv3を導入すればそのまま業務課題が解けるのではなく、よい特徴をどうタスクに接続するかが実装の要になります。
評価面でも注意が必要です。論文では多くのベンチマークで強い結果が示されていますが、実務では自社データでの局所特徴の安定性、照明変化、カメラ差、画像圧縮、対象物の偏りを見なければなりません。特に異常検知や医療画像のような高リスク用途では、ベンチマーク性能だけでなく、失敗例の分析が不可欠です。
よくある質問
Q. DINOv3はCLIPの代わりになりますか？
A. 目的が少し違います。CLIP系は画像とテキストの対応を学習するため、ゼロショット分類や画像テキスト検索に強いです。一方、DINOv3は画像のみの自己教師あり学習で、特にパッチ単位のdense featureが強いモデルです。画像内の領域、境界、対応点、深度のような局所情報を使いたい場合にDINOv3の強みが出ます。
Q. Gram anchoringは何を改善しているのですか？
A. 長時間の大規模自己教師あり学習で崩れやすいパッチ特徴の関係を保ちます。画像全体の認識性能だけを伸ばすと、局所的な特徴マップがノイズっぽくなることがあります。Gram anchoringはパッチ間の類似関係を正則化し、セグメンテーションや対応点推定に使いやすいdense featureを維持します。
Q. 自分の画像データでDINOv3を使うなら何から始めるべきですか？
A. まずは公開済みの小型または中型backboneで特徴を抽出し、画像分類、類似検索、セグメンテーション用の軽量ヘッドなど、自分のタスクに近い評価を作るのが現実的です。最初から大規模事前学習を回すより、frozen backboneとして使ったときに十分な特徴が得られるかを確認する方が早いです。
Q. DINOv3は画像生成にも使えますか？
A. DINOv3自体は画像生成モデルではありません。ただし、生成画像の評価、画像編集での構造保持、生成前後の領域比較、視覚特徴を使った検索付き生成などには応用できる可能性があります。実際、DINO系の特徴は画像生成モデルの潜在表現や評価器として参照されることがあります。
Q. 小型モデルでも価値はありますか？
A. あります。DINOv3はViT-S、ViT-B、ViT-L、ConvNeXt-Tinyなど複数サイズを提供しており、最大モデルだけが前提ではありません。レイテンシやコストが厳しいプロダクトでは、小型の蒸留モデルを使い、必要なタスクだけ軽いヘッドで解く構成が現実的です。
今日の学び
この論文は、自己教師あり視覚モデルを大規模化するときに、global featureの性能だけでなく、セグメンテーションや3D理解に必要なdense featureをどう保つかという課題を扱いました。
解決策として、DINO/iBOT系の自己教師あり学習を大規模化しつつ、Gram anchoringでパッチ間の関係を保ち、高解像度適応と蒸留で実用的なモデルファミリーへ展開しました。
ここから得られるヒントは、画像AIの価値は「分類できるか」だけでなく、「再利用しやすい視覚特徴を作れるか」で決まるということです。画像検索、検査AI、マルチモーダルRAG、視覚エージェントを作るなら、DINOv3のようなdense featureを中心にシステムを設計する発想が役立ちます。