今回の論文
今回取り上げるのは、Kaiming He、Xinlei Chen、Saining Xie らによる論文「Masked Autoencoders Are Scalable Vision Learners」です。2021年11月11日に arXiv で公開され、その後 CVPR 2022 でも発表されました。公開元は arXiv / CVPR 2022、研究分野はコンピュータビジョン、自己教師あり学習、Vision Transformer の事前学習です。URL は https://arxiv.org/abs/2111.06377 です。
この論文を選んだ理由は、画像AIのための事前学習手法でありながら、発想そのものは「重要な情報を隠して復元させることで表現を学ぶ」という非常に汎用的なものだからです。画像分類だけでなく、医療画像、製造業の検査画像、文書画像、マルチモーダル学習などにもつながる考え方で、開発のヒントが多い論文です。
どんな技術か
Masked Autoencoders、略して MAE は、画像を小さなパッチに分割し、そのうち大部分を隠したうえで、隠された部分を元のピクセルとして復元するように学習する技術です。文章でいう BERT のようなマスク予測を、画像に対してシンプルな形で持ち込んだものと考えるとイメージしやすいです。
ただし、単に画像の欠損を埋めるだけではありません。MAE の本当の狙いは、復元タスクを通じて「画像の意味がわかる表現」を学ぶことです。犬の耳や車の窓が隠れていても復元するには、周辺の形や配置から物体構造を理解する必要があります。そのため、ラベルなし画像からでも強い特徴表現を学びやすくなります。
MAE の重要なポイントは、画像の 75% もの高い割合を隠すことと、見えているパッチだけを重いエンコーダに入れる非対称構造です。これにより、学習信号を十分に難しくしつつ、計算コストを抑えながら大規模な事前学習を進められます。
課題
この技術が解決しようとしているのは、画像モデルの事前学習がラベル付きデータに強く依存しやすく、自己教師あり学習の設計も複雑になりがちだったという課題です。
何が難しいのかというと、画像は言語より冗長で、少し欠けても元の内容を推測しやすいからです。テキストで単語を数個隠すと意味理解が必要になりますが、画像で少しだけ隠しても、周囲の色やテクスチャだけで埋められてしまいます。そのため、画像版のマスク学習は「簡単すぎる課題」になりやすいです。
既存の方法ではどこに限界があるのかというと、自己教師あり学習の主流はコントラスト学習でした。これは強い性能を出せる一方で、画像拡張の設計、負例の扱い、大きなバッチサイズなどに依存しやすく、実装も運用も重くなりがちです。また、画像トークンを離散化して予測する方式もありましたが、事前に別の tokenizer を用意する必要があり、パイプラインが複雑でした。
なぜこの課題を解く必要があるのかというと、実務ではラベル付き画像よりラベルなし画像のほうが圧倒的に集めやすいからです。製造現場のカメラ画像、店舗棚の画像、社内文書のスキャン画像、医療画像などは大量にあっても、丁寧なアノテーションを付けるのは高コストです。ラベルなしデータから良い表現を学べれば、その後の少量ラベル学習や下流タスクの精度を底上げできます。
実際の AI システムでは、分類、検出、セグメンテーションのような下流タスクに入る前の事前学習品質が、その後の性能や必要データ量に大きく影響します。そこで MAE は、できるだけ単純でスケールしやすい自己教師あり学習の形を目指しました。
用語解説
- 自己教師あり学習
- 人手ラベルなしで学習信号を作る学習方法です。MAE では「隠したパッチを復元する」というタスク自体が教師信号になっており、大量の未ラベル画像を活用できる点が重要です。
- Vision Transformer（ViT）
- 画像をパッチ列として扱い、Transformer で処理するモデルです。MAE は ViT を土台としており、どのパッチが見えていて、どのパッチが隠れているかを列処理として扱います。
- パッチ
- 画像を小さな正方形に区切った単位です。MAE では画像全体をパッチ列に変換してから、一部をマスクします。どの粒度で情報を隠すかが学習難度に直結します。
- マスク率
- 入力中のどれだけを隠すかを表す割合です。MAE では 75% 前後の高いマスク率が重要で、課題を十分難しくしつつ、エンコーダの計算量も減らせる要素になっています。
- 事前学習と下流タスク
- まず大規模データで汎用表現を学び、その後に分類や検出など目的別タスクへ適応する流れです。MAE の価値は、事前学習で得た表現が複数の下流タスクへよく転移する点にあります。
技術の仕組み
MAE の仕組みはシンプルですが、効いている工夫はかなりはっきりしています。重要なのは、画像の大部分を隠すこと、見えている部分だけを重いエンコーダで処理すること、復元専用の軽いデコーダを別に持つことです。
基本アイデア
入力画像を固定サイズのパッチに分割し、そのうちランダムに選んだ大部分を隠します。そして、見えているパッチだけを使って隠されたパッチのピクセル値を予測します。学習中は「何が欠けているか」を復元する必要があるため、モデルは局所的な模様だけでなく、物体形状や空間配置も学ばざるを得ません。
ここで大事なのは、BERT のように少しだけ隠すのでは足りないという点です。画像は冗長なので、隠す量が少ないと task が簡単すぎます。MAE は思い切って 75% という高いマスク率を採用し、復元問題を意味のある難しさにしています。
非対称エンコーダ・デコーダ構造
MAE の代表的な工夫は非対称構造です。通常の autoencoder なら、欠損した場所も含めて全体をエンコードしがちですが、MAE では重いエンコーダは見えているパッチだけを処理します。隠された位置を表す mask token は、エンコーダのあとで軽いデコーダ側に追加されます。
この設計のメリットは2つあります。1つは、エンコーダ計算量が visible patch の数に比例して減ることです。75% を隠すなら、エンコーダは 25% 分だけ処理すればよいのでかなり軽くなります。もう1つは、下流タスクで使うのはエンコーダ側なので、事前学習時に重要な表現学習容量をエンコーダへ集中できることです。
何を復元するのか
MAE は離散トークンではなく、基本的には元画像のピクセル値を直接復元します。これは設計上かなり重要です。別の tokenizer や codebook を用意しなくてよいため、学習パイプラインを単純に保ちやすいです。
論文では、ピクセルをそのまま復元する方法と、パッチ単位で正規化したピクセルを復元する方法も比較しています。結果として、正規化したピクセルをターゲットにするほうが安定して良い性能を出していました。これは、明るさやコントラストの絶対値より、パッチ内部の構造情報に注目しやすくなるためだと解釈できます。
学習方法
学習時には、各画像からランダムに visible patch を残し、残りをマスクします。エンコーダは visible patch のみを入力として潜在表現を作り、デコーダが masked patch を含む全位置に対して復元を行います。損失は主に masked patch に対してだけ計算されます。
この設計は地味ですが重要です。見えている部分まで全部再構成させるのではなく、隠した部分の誤差だけを見ることで、モデルは欠損補完のための文脈理解に集中できます。
推論時の使い方
MAE は画像生成モデルとして使うのが主目的ではありません。事前学習が終わったら、軽いデコーダは捨てて、エンコーダだけを分類や検出などの下流タスクに使います。つまり、MAE は「復元できること」そのものより、「復元タスクで強い表現を学んだエンコーダ」を得るための仕組みです。
この点は実務でも重要です。推論本番で毎回復元処理をする必要はなく、事前学習済みバックボーンとして使えるので、導入後の推論経路は比較的シンプルです。
なぜスケールしやすいのか
MAE がスケールしやすい理由は、計算量を抑えながら大きな ViT を事前学習できるからです。高いマスク率によりエンコーダ入力が小さくなり、重い計算を visible patch に集中できます。論文では、この構造によって学習を 3 倍以上高速化しつつ、より大きなモデルで強い精度を実現できると示しています。
実験と結果
論文では、MAE が単に面白い復元遊びではなく、本当に強い事前学習手法になっているかを、画像分類、転移学習、検出、セグメンテーションで検証しています。
何を検証したのか
主な検証点は4つです。1つ目は、ImageNet-1K 上で高い分類精度を出せるかです。2つ目は、ラベル付き学習や既存の自己教師あり学習より良い転移性能を出せるかです。3つ目は、COCO の物体検出やインスタンスセグメンテーションでも有利かです。4つ目は、マスク率や復元ターゲットの違いが性能にどう効くかです。
データセットと評価指標
事前学習と分類評価には ImageNet-1K が使われています。転移先としては COCO の物体検出・インスタンスセグメンテーション、ADE20K の意味セグメンテーションなどが使われています。評価指標は、分類では top-1 accuracy、検出では box AP / mask AP、セグメンテーションでは mIoU です。
ImageNet では高精度かつ大規模化に強かった
論文では、ImageNet-1K のみを使った条件で、ViT-Huge を fine-tuning した MAE が top-1 accuracy 87.8% を達成しています。これは当時の同条件の既存手法を上回る結果でした。
ここで重要なのは、MAE が「より複雑な自己教師あり目的」を足したから勝ったのではなく、かなり単純な復元課題でも十分に強いことを示した点です。しかも大きいモデルほど伸びやすく、スケーリングの相性も良好でした。
高マスク率と非対称構造が効いた
論文ではマスク率も比較しており、低いマスク率より 75% 前後の高マスク率のほうが良い結果を出しました。画像では少し隠すだけだと簡単すぎるため、かなり多めに隠すことがむしろ学習に効くわけです。
また、visible patch だけをエンコードする非対称設計により、学習は 3 倍以上高速化したと報告されています。つまり MAE は精度改善だけでなく、事前学習コストの観点でも現実的でした。
検出とセグメンテーションでも supervised pretraining を上回った
COCO では、ViT-B バックボーンの box AP が supervised pretraining の 47.9 に対して MAE は 50.3、ViT-L では 49.3 に対して 53.3 でした。大きいモデルほど差が広がっているのが印象的です。
ADE20K の意味セグメンテーションでも、ViT-L の mIoU は supervised pretraining の 49.9 に対して MAE が 53.6 でした。画像分類だけでなく、空間理解が必要なタスクにも転移しやすいことが分かります。
ピクセル復元でも十分に強かった
論文では、離散トークンを予測する方式とも比較しています。その結果、パッチ正規化つきピクセル復元は、より複雑な token-based 手法と同等以上の性能を示しました。これは実務的に大きく、追加の tokenizer を作らずに済むので、再現や応用がしやすいです。
結果から言えるのは、自己教師あり学習では「目的関数を凝ること」よりも、「課題の難しさ」と「計算をどこに使うか」の設計が効く場合があるということです。MAE はその好例です。
何に使える？
MAE は画像分類の研究論文に見えますが、使い道はかなり広いです。特に、ラベルは少ないが未ラベル画像は多い現場と相性がよいです。
画像分類や検査AIの事前学習
製造業の外観検査、農業画像、医療画像などでは、正常・異常ラベルを大量に集めるのが難しいです。MAE で未ラベル画像を事前学習しておけば、少量ラベルで fine-tuning したときの立ち上がりが良くなる可能性があります。特に見た目のパターン理解が重要な領域では有効です。
文書画像や帳票AI
スキャン文書、請求書、契約書、図面などの画像は、レイアウトや局所構造の理解が重要です。MAE の「欠けた領域を文脈から復元する」学習は、文書画像の表現学習とも相性があります。これは論文の直接検証ではありませんが、Document AI 系で類似の masked pretraining が広く使われる流れと整合的です。
マルチモーダル学習の視覚バックボーン
画像キャプション、VQA、視覚文書検索などでは、テキストと組み合わせる前段の視覚表現が重要です。MAE で事前学習した ViT を視覚エンコーダとして使うと、少ない教師信号でも下流タスクへ移しやすくなります。BLIP 系や各種 vision-language model の土台発想ともつながります。
ドメイン特化モデルの土台づくり
一般画像ではなく、自社カメラ画像、自社アプリのスクリーンショット、工場設備の画像のような独自ドメインでも、まず MAE 的な自己教師あり学習で表現を慣らしてから本タスクへ進む構成が考えられます。小規模プロダクトでも試しやすいのは、この事前学習がラベル不要だからです。
動画や音声への発想展開
論文自体は静止画中心ですが、「入力の大部分を隠し、残りから文脈を復元させる」という考え方は動画や音声にも拡張しやすいです。実際、その後に VideoMAE や AudioMAE のような派生研究が広がっています。ここは論文の直接結果ではなく、その後の技術展開を踏まえた応用の見通しです。
開発や事業へのヒント
MAE から得られるヒントは、ラベル付きデータを増やす前に、未ラベルデータをどう活かすかを考えるべきだということです。特に画像系プロダクトでは、その差がそのまま開発速度と精度改善余地に跳ねます。
まずは未ラベル資産を資産として見直す
社内には、学習に使っていない画像ログが大量に眠っていることがよくあります。監視カメラ、検査画像、ユーザー投稿画像、UI スクリーンショットなどです。MAE の発想は、それらを「ラベル不足だから使えないデータ」ではなく、「事前学習に使えるデータ」と見直すきっかけになります。
難しい自己教師あり学習を避けて、単純な目的で勝つ
事業開発では、再現が難しい派手な手法より、シンプルで回しやすい手法のほうが強いことがあります。MAE は、複雑な負例設計や多段パイプラインを避けつつ高性能を出した好例です。小さなチームなら特に、この「複雑さを増やさず性能を取る」方向は重要です。
下流タスクのラベルコストを下げる戦略になる
物体検出や異常検知をゼロから supervised 学習するより、まず自己教師ありでドメイン表現を作っておくほうが、必要な教師データ量を抑えられる可能性があります。これは PoC 段階の AI プロダクトにとってかなり大きいです。少量アノテーションしか取れない案件ほど、この種の事前学習が効きます。
モデル構造だけでなく学習課題の設計を見る
新しい AI 技術を見るとき、ついモデル構造の派手さに目が向きますが、MAE が示したのは「何を予測させるか」という学習課題の設計そのものが強い差別化になるという点です。自社データで AI を作るときも、正解ラベルを作る前に、どんな自己教師ありタスクが組めるかを考える価値があります。
注目すべき方向性
今後も、マルチモーダルや時系列を含めて masked modeling 系の事前学習は重要であり続けるはずです。特に「入力の一部だけ見せて残りを推測させる」設計は、データ量が多くラベルが少ない分野で強いです。画像以外にも広がる発想として追っておく価値があります。
限界
まず、MAE は事前学習に向いた技術であって、すぐにそのまま本番推論を高速化する技術ではありません。価値が出るのは、事前学習後に下流タスクへ転移させるときです。したがって、未ラベルデータを十分に集められない環境では恩恵が小さい可能性があります。
次に、論文の主結果は ImageNet 系の自然画像と代表的な下流タスクが中心です。医療、衛星、工場、文書などの特殊ドメインで同じ改善幅がそのまま出るとは限りません。ドメイン差が大きい場合は、マスク粒度や入力解像度の調整が必要です。
また、高いマスク率が効くのは画像が持つ冗長性を前提にしています。データによっては、75% も隠すと必要情報まで失ってしまう可能性があります。特に細かい局所情報が重要なタスクでは、最適なマスク率は再検討が必要です。
実装面では、大規模 ViT の事前学習そのものが軽いわけではありません。コントラスト学習より単純でも、GPU 計算資源や学習管理はそれなりに必要です。PoC で試すなら、最初から巨大モデルを狙うより、既存重みや小さめモデルから始めるほうが現実的です。
さらに、復元できることと、必ずしも最終タスクに最適な表現を学べることは同義ではありません。論文では強い結果が出ていますが、すべての下流タスクで常に最良とは限らないため、最終的には自分のタスクで評価が必要です。
よくある質問
Q. MAE は画像生成モデルですか？
A. 主目的は画像生成ではありません。学習中は欠けた部分を復元しますが、その目的は強い視覚表現を学ぶことです。実運用では、復元用デコーダを捨ててエンコーダだけを分類や検出のバックボーンとして使うのが基本です。
Q. なぜ 75% も隠して学習できるのですか？
A. 画像には空間的な冗長性があるため、周辺文脈から欠けた領域をある程度推測できます。ただし少ししか隠さないと課題が簡単すぎるので、むしろ高マスク率のほうが意味理解を促しやすいです。MAE はこの性質をうまく利用しています。
Q. コントラスト学習と比べて何が違いますか？
A. コントラスト学習は、異なる画像や拡張画像を区別しながら表現を学びます。一方 MAE は、同じ画像の欠損復元を通じて表現を学びます。MAE のほうが目的関数とパイプラインが比較的単純で、画像 tokenizer や大きな負例設計に頼りにくいのが特徴です。
Q. 小規模なプロダクトでも使えますか？
A. 使えます。ただし自前で巨大な事前学習を回すというより、既存の MAE 系事前学習済みバックボーンを活用したり、自社ドメイン画像で小規模に追加事前学習したりするほうが現実的です。ラベル不足がボトルネックのプロダクトほど効果を検討する価値があります。
Q. LLM やマルチモーダル開発にも関係ありますか？
A. 直接は画像の自己教師あり学習ですが、視覚エンコーダの質はマルチモーダルモデル全体の性能に効きます。また、「一部を隠して残りから学ぶ」という発想は、言語、音声、動画にも広く応用されています。MAE はその代表例として理解しておく価値があります。
今日の学び
この論文は、画像モデルの事前学習がラベル付きデータや複雑な自己教師あり設計に依存しがちだった課題を扱っています。そこで、画像の 75% を隠し、見えている部分だけから欠けた部分を復元させる MAE というシンプルな技術で解こうとしました。
そこから得られるヒントは、良い AI を作るために必要なのは、必ずしも複雑なモデルだけではないということです。未ラベルデータを活かせる学習課題をうまく設計すれば、少ないラベルでも強い土台モデルを作れる可能性があります。