自己教師あり学習（Self-Supervised Learning, SSL）#

普通の画像認識モデルは「この画像は犬」という人手のラベルで学習する。自己教師あり学習は、ラベルを使わず、データ自体から学習の手がかりを作る方法である。

DINO の場合は「同じ画像を切り抜き方や色合いを変えて 2 通り見せても、同じ特徴になるようにする」という課題を自分で解く。ラベル付けのコストがかからないので、数億〜数十億枚の画像で学習できる³。

バックボーン（エンコーダ）とヘッド#

画像モデルはだいたい次の 2 段構成になっている。

1
画像 → [バックボーン] → 特徴ベクトル → [ヘッド] → 答え（クラス、マスク、深度…）

DINO が提供するのはバックボーンの部分。ヘッドは用途に合わせて利用者が付ける。

ViT とパッチ・CLS トークン#

DINO の主力モデルは Vision Transformer（ViT）。ViT は画像を 14×14 や 16×16 ピクセルのパッチに分割し、それぞれをトークンとして扱う。出力は主に 2 種類ある。

後者のような位置ごとの特徴を密な特徴（dense features）と呼ぶ。DINO 系の強みはここにある³。

凍結（frozen）して使う#

DINOv2 以降の売りは、バックボーンの重みを一切更新せず（凍結）、上に載せた小さなヘッドだけを学習しても高性能という点である²³。少ないラベル・少ない計算資源で済み、1 回の推論結果を複数タスクで使い回せる⁴。

名前と基本アイデア#

DINO は self-DIstillation with NO labels（ラベルなしの自己蒸留）の略¹。論文は 2021 年 4 月公開、ICCV 2021 採択。

仕組みは先生（teacher）と生徒（student）の 2 つのネットワークで構成される¹。

1. 1 枚の画像から、大きな切り抜き（global crop）2 枚と小さな切り抜き（local crop）数枚を作る（multi-crop）¹
2. 先生には大きな切り抜きだけ、生徒には全部を見せる。生徒は「一部しか見ていなくても、全体を見た先生と同じ出力を出す」ように学習する（局所→全体の対応）¹
3. 先生は別途学習するのではなく、生徒の重みの指数移動平均（EMA、モメンタムエンコーダ）で作る¹
4. 全部同じ出力になってしまう崩壊（collapse）を防ぐため、先生の出力にセンタリングとシャープニングをかける¹

何がすごかったのか#

• 自己教師ありで学習した ViT の注意マップに、教えていないのに物体のセグメンテーションに相当する情報がはっきり現れた。教師あり ViT や CNN ではここまで明確には出ない¹
• 特徴がそのまま優れた k-NN 分類器になり、小型 ViT で ImageNet top-1 78.3%（k-NN）、ViT-Base で 80.1%（線形評価）を達成した¹
• 学習データは ImageNet（ラベルは使わない）¹

ひとことで言うと、ラベルなしでもここまで意味のある特徴が学べることを示した原点である。ただし学習データ・モデル規模は小さく、現在の実用では v2 / v3 が使われることが多い。

何が変わったか#

DINOv2 は 2023 年 4 月公開²。主な変更点は次の 3 つ。

パッチ単位の損失が加わったことで、DINO より密な特徴が大幅に強化された。

モデル一覧（公式リポジトリ）#

それぞれに with registers 版もある²⁰。

レジスタ（registers）という追加改良#

2023 年 9 月、同じ FAIR のチームが、ViT の特徴マップには、背景の情報量が少ない場所に異常にノルムの大きいトークンが出る（アーティファクト）ことを報告した⁹。モデルが内部計算のために背景パッチをメモ用紙として流用していたのが原因で、専用の追加トークン（レジスタ）を入力に足すとこの問題が消え、特徴マップや注意マップがきれいになる⁹。DINOv2 にはレジスタ付きの重みが追加配布されている²⁰。

実務上は、パッチ特徴を使う（セグメンテーション、異常検知など）なら、DINOv2 は _reg 付きモデルを選ぶほうが無難である。

DINOv2 の影響#

DINOv2 は凍結したまま多くのタスクで使える初めての本格的な自己教師ありモデルで、オープンな CLIP 系モデルに匹敵または上回る結果を出した³。このため、後述するように深度推定（Depth Anything）、3D 再構成（VGGT）、ロボット（OpenVLA）、病理（UNI）など、多数のモデルの「目」として組み込まれた。

概要#

DINOv3 は 2025 年 8 月 14 日に公開⁴。DINOv2 比でモデルは約 7 倍、データは約 12 倍である⁴。

Gram anchoring ── DINOv3 の中核技術#

DINOv2 の手法をそのまま大規模化すると、長く学習するほど画像全体の性能は上がるのに、パッチ特徴（密な特徴）は劣化するという問題が起きた。ViT-Large（300M）より大きいモデルを長く学習すると顕著になる³。

原因として、CLS トークンとパッチ出力のコサイン類似度が学習とともに上がり、パッチ特徴の局所性（その場所らしさ）が薄れていくことが観察された³。

Gram anchoring はこれを次のように解決する³。

1. Gram 行列、つまり画像内の全パッチ同士の類似度（内積）を並べた行列を考える
2. 学習初期の、パッチ特徴がまだきれいな時点のモデルを Gram 先生として用意する
3. 生徒の Gram 行列が Gram 先生の Gram 行列に近づくように損失をかける

特徴そのものではなく、パッチ同士の類似関係の構造だけを固定するので、特徴自体は自由に改善しつつ、局所性は保たれる。論文では、劣化がかなり進んだ後から適用しても特徴が修復されたと報告している³。

モデルファミリー#

7B は重いため、7B を先生として小型モデルへ蒸留したファミリーが配布されている。ViT-L は 7B に近い性能を持つとされる³⁵。

（出典: 公式リポジトリ README⁵、Meta ブログ⁴）

ConvNeXt 版は CNN なので、エッジデバイスや CNN 前提の既存パイプラインに組み込みやすい⁴。

主な性能#

• 凍結したバックボーンで COCO 物体検出 mAP 66.1、ADE20k セグメンテーション mIoU 63.0。専用にファインチューニングしたパイプラインを上回る³
• 密な特徴の評価（線形プローブでのセグメンテーション）で、自己教師ありの比較対象を 6 mIoU 以上、CLIP 系（弱教師あり）を 13 mIoU 以上上回る³
• 画像分類では SigLIP 2 や Perception Encoder など最新の CLIP 系に匹敵する。大差で勝つのは密なタスクのほう³⁴
• 動画で学習していないのに、パッチ特徴の類似度だけで動画内の物体を追跡できる（DAVIS で DINOv2 比 +6.7 ポイント）³

ただしベンチマークの数値は評価条件に強く依存する。COCO 66.1 は 7B バックボーンに大型の検出デコーダを載せた結果であり、ViT-S / B に簡易ヘッドを載せて同等になるわけではない。また、分類で CLIP 系に匹敵するというのは Meta の主張で、タスクやデータによっては CLIP 系のほうが良いこともある。

2026 年時点の動き#

公式リポジトリの更新履歴⁵によると、公開後も周辺整備が続いている。

FINO は公開から日が浅く、第三者による追試はまだ限られる。

全体マップ#

同じ内容を表にすると次のとおり。

パターン別の詳細#

分野別の利用例#

ここに挙げたのは代表例で、網羅的な一覧ではない。

どの組み合わせを選ぶか#

迷ったら、上から順に質問に答えていけばよい。

文字で書くと次のとおり。

1. 言葉で検索・分類したい？
   • はい → CLIP / SigLIP を検討する。または DINOv3 ＋ dino.txt
   • いいえ → 2 へ
2. 画像全体を判定したい？ 場所ごとに判定したい？
   • 画像全体 → CLS 特徴 ＋ 線形層 / k-NN / ベクトル検索
   • 場所ごと → 3 へ
3. ラベル付きデータはある？
   • ほぼない → パッチ特徴の最近傍・類似度で解く（異常検知・追跡・対応点）
   • ある程度ある → 凍結バックボーン ＋ 軽量ヘッド（セグメンテーション・深度）。4 へ
4. 精度が足りない？
   • はい → 大きいモデルへ変更する。それでも不足なら微調整や LoRA

画像全体の特徴とパッチ特徴を取り出す#

Transformers 4.56.0 以降で DINOv3 が使える⁵。Hugging Face 上のモデルは、利用規約への同意が必要になる場合がある。

1
import torch
2
from transformers import AutoImageProcessor, AutoModel
3
from transformers.image_utils import load_image
4

5
image = load_image("http://images.cocodataset.org/val2017/000000039769.jpg")
6

7
name = "facebook/dinov3-vits16-pretrain-lvd1689m"
8
processor = AutoImageProcessor.from_pretrained(name)
9
model = AutoModel.from_pretrained(name, device_map="auto")
10

11
inputs = processor(images=image, return_tensors="pt").to(model.device)
12
with torch.inference_mode():
13
    outputs = model(**inputs)
14

15
# 画像全体の特徴（分類・検索用）
16
global_feat = outputs.pooler_output            # (1, D)
17

18
# パッチ特徴（セグメンテーション・異常検知用）
19
# ViT の出力は [CLS, レジスタ×N, パッチ...] の順に並ぶ
20
n_reg = model.config.num_register_tokens
21
patch_feat = outputs.last_hidden_state[:, 1 + n_reg:, :]  # (1, パッチ数, D)

中級者向けの注意点#