【従来の画像分類 vs CLIPの画像分類】 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 従来の画像分類（CNN、ViTなど） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 入力: 猫の画像 ↓ モデル（ImageNet 1000クラス分類用に訓練） ↓ 出力: 確率分布 [0.85(猫), 0.05(犬), 0.03(虎), …] ↓ 予測: 「猫」（クラス281） 問題点: ・「ペルシャ猫」と「三毛猫」を区別したい → できない（ImageNetには細かい品種がない） ・「寝ている猫」と「遊んでいる猫」を区別したい → できない（行動のクラスがない） ・新しいクラス「マンチカン」を追加したい → 再訓練が必要（大量のデータと計算資源） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ CLIPの画像分類 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 入力: 猫の画像 + 自由なテキスト候補 テキスト候補（自分で決める！）: “a photo of a Persian cat” “a photo of a tabby cat” “a photo of a Munchkin” “a photo of a sleeping cat” “a photo of a playing cat” ↓ モデル（画像とテキストの類似度を計算） ↓ 出力: 各テキストとの類似度 “Persian cat”: 0.78 “tabby cat”: 0.12 “Munchkin”: 0.05 “sleeping cat”: 0.82 ← 最高！ “playing cat”: 0.08 ↓ 予測: 「sleeping cat」（寝ている猫） 利点: ・任意のテキストで分類可能 ・事前に定義されたクラスに縛られない ・細かい属性（色、行動、品種など）も表現可能 ・訓練なしで新しいクラスに対応

【CLIPの構造】 ┌─────────────────────────────────────────────────────────┐ │ CLIP │ │ │ │ ┌─────────────────┐ ┌─────────────────┐ │ │ │ Image Encoder │ │ Text Encoder │ │ │ │ │ │ │ │ │ │ ViT または │ │ Transformer │ │ │ │ ResNet │ │ (GPT-2スタイル)│ │ │ │ │ │ │ │ │ │ 入力: 画像 │ │ 入力: テキスト │ │ │ │ 224×224×3 │ │ 最大77トークン │ │ │ │ │ │ │ │ │ │ 出力: 512次元 │ │ 出力: 512次元 │ │ │ │ ベクトル │ │ ベクトル │ │ │ └────────┬────────┘ └────────┬────────┘ │ │ │ │ │ │ ↓ ↓ │ │ ┌─────────────────────────────────────────────┐ │ │ │ 同じ512次元の埋め込み空間 │ │ │ │ │ │ │ │ 画像埋め込み ●───────────● テキスト埋め込み│ │ │ │ ↑ │ │ │ │ 類似度計算 │ │ │ │ （コサイン類似度） │ │ │ └─────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────┘ 重要なポイント: ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1. 同じ次元数の埋め込み ・画像: 512次元ベクトル ・テキスト: 512次元ベクトル → 直接比較可能！ 2. 意味的な類似性 ・「猫の画像」と「a photo of a cat」は近い位置 ・「猫の画像」と「a photo of a dog」は遠い位置 → 意味的に近いものが空間的にも近くなる 3. コサイン類似度 ・2つのベクトルの角度の近さを測定 ・1に近い: 非常に類似 ・0に近い: 無関係 ・-1に近い: 正反対

【埋め込み空間の視覚的イメージ】 512次元空間（2次元に簡略化して図示）: ↑ │ │ ★”a dog playing” ★”a cat” │ 🐕画像 🐱画像 │ │ ────────────────┼────────────────→ │ │ ★”a car on road” ★”a cat │ 🚗画像 sleeping” │ 🐱画像 │ │ 凡例: 🐱🐕🚗: 画像の埋め込み位置 ★: テキストの埋め込み位置 特徴: ・「猫の画像」は「a cat」というテキストの近くに配置 ・「犬の画像」は「a dog」というテキストの近くに配置 ・「猫の画像」と「犬のテキスト」は遠い位置 これにより: ・画像とテキストの類似度を直接計算できる ・「この画像は何？」という質問に、テキストで答えられる ・「このテキストに合う画像は？」という検索もできる

【Contrastive Learningの基本アイデア】 目標: 正例（Positive）: 対応する画像-テキストペア → 近づける 負例（Negative）: 対応しない画像-テキストペア → 遠ざける 例（4ペアのバッチ）: ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ バッチデータ: ペア1: (🐱画像, “a photo of a cat”) ペア2: (🐕画像, “a photo of a dog”) ペア3: (🚗画像, “a photo of a car”) ペア4: (🌸画像, “a photo of a flower”) 正例（近づけたいペア）: 🐱画像 ↔ “a photo of a cat” ← 正しいペア 🐕画像 ↔ “a photo of a dog” ← 正しいペア 🚗画像 ↔ “a photo of a car” ← 正しいペア 🌸画像 ↔ “a photo of a flower” ← 正しいペア 負例（遠ざけたいペア）: 🐱画像 ↔ “a photo of a dog” ← 間違いペア 🐱画像 ↔ “a photo of a car” ← 間違いペア 🐱画像 ↔ “a photo of a flower” ← 間違いペア 🐕画像 ↔ “a photo of a cat” ← 間違いペア … （すべての間違いペア） 学習: 正例の類似度を最大化 負例の類似度を最小化

【類似度行列の計算】 バッチサイズ N の場合: 画像埋め込み: I = [I₁, I₂, I₃, …, Iₙ] （N個） テキスト埋め込み: T = [T₁, T₂, T₃, …, Tₙ] （N個） 類似度行列 S = I × Tᵀ （N×N行列） 例: N=4の場合 T₁(猫) T₂(犬) T₃(車) T₄(花) ┌───────────────────────────────────┐ I₁(🐱) │ [0.90] 0.15 0.08 0.12 │ I₂(🐕) │ 0.18 [0.85] 0.10 0.15 │ I₃(🚗) │ 0.05 0.08 [0.92] 0.06 │ I₄(🌸) │ 0.10 0.12 0.05 [0.88] │ └───────────────────────────────────┘ [ ] で囲まれた対角要素 = 正例（高くしたい） それ以外の要素 = 負例（低くしたい） 理想的な類似度行列: T₁ T₂ T₃ T₄ ┌─────────────────────────────┐ I₁ │ [1.0] 0.0 0.0 0.0 │ I₂ │ 0.0 [1.0] 0.0 0.0 │ I₃ │ 0.0 0.0 [1.0] 0.0 │ I₄ │ 0.0 0.0 0.0 [1.0] │ └─────────────────────────────┘ → 対角要素が1、それ以外が0

【InfoNCE Lossの仕組み】 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 損失関数の定義 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 画像→テキスト方向の損失: L_i2t = -log( exp(s_ii / τ) / Σⱼ exp(s_ij / τ) ) 説明: s_ii: i番目の画像とi番目のテキストの類似度（正例） s_ij: i番目の画像とj番目のテキストの類似度 τ: 温度パラメータ（学習可能、通常0.07程度） 意味: 正例の類似度を、すべてのテキストとの類似度の合計で割る → 正例の確率を最大化 テキスト→画像方向の損失: L_t2i = -log( exp(s_ii / τ) / Σⱼ exp(s_ji / τ) ) 説明: i番目のテキストからi番目の画像を選ぶ確率を最大化 総損失: L_total = (L_i2t + L_t2i) / 2 → 双方向で学習（画像→テキスト、テキスト→画像） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 具体例（N=4） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 類似度行列（温度適用後）: T₁ T₂ T₃ T₄ ┌─────────────────────────────┐ I₁ │ 12.86 2.14 1.14 1.71 │ ← s_ij / τ I₂ │ 2.57 12.14 1.43 2.14 │ I₃ │ 0.71 1.14 13.14 0.86 │ I₄ │ 1.43 1.71 0.71 12.57 │ └─────────────────────────────┘ I₁の損失計算: 分子: exp(12.86) = 385,240 分母: exp(12.86) + exp(2.14) + exp(1.14) + exp(1.71) = 385,240 + 8.5 + 3.1 + 5.5 = 385,257 確率 = 385,240 / 385,257 = 0.99996 損失 = -log(0.99996) ≈ 0.00004（非常に小さい = 良い） もし正例の類似度が低かったら: 分子: exp(2.0) = 7.4 分母: exp(2.0) + exp(3.0) + … = 50.0 確率 = 7.4 / 50.0 = 0.148 損失 = -log(0.148) ≈ 1.91（大きい = 悪い） → 正例の類似度を高くするほど損失が小さくなる

【CLIPの訓練データと規模】 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 訓練データ: WebImageText（WIT） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ データ数: 4億ペア（400,000,000） ソース: インターネットから収集 ・Webページの画像とalt-text（代替テキスト） ・画像キャプション ・自然言語で記述された画像の説明 例: 画像: 夕日の写真 テキスト: “a beautiful sunset over the Pacific Ocean” 画像: 猫の写真 テキスト: “an orange tabby cat sleeping on a blue couch” 特徴: ・自然言語（人間が書いたテキスト） ・多様なドメイン（動物、風景、食べ物、人物、建物…） ・多様な表現（詳細な説明、簡潔なタグ、詩的な表現…） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 訓練の規模 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ モデルサイズ: ・Image Encoder: ViT-L/14（約300Mパラメータ） ・Text Encoder: Transformer（約63Mパラメータ） ・合計: 約400Mパラメータ バッチサイズ: 32,768 → 1バッチで32,768×32,768 = 10億以上の負例！ → 非常に効果的な対照学習 訓練: ・256個のV100 GPU ・約2週間 ・約400億サンプルを処理 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ なぜこれほど大規模なデータが必要か ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1. 多様な概念を学習 ・一般的な物体（猫、犬、車…） ・抽象的な概念（美しい、怖い、快適…） ・細かい属性（色、形、動作、状態…） 2. 言語の多様性に対応 ・同じ概念の異なる表現 “cat” = “kitty” = “feline” = “猫” ・文脈による意味の違い 3. ゼロショット能力の獲得 ・見たことのない組み合わせにも対応 ・「紫色の象」など訓練データにないものも理解

【ゼロショット分類のプロセス】 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ステップ1: テキストプロンプトの作成 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 分類したいクラスをテキストで記述 例: 6クラス分類（猫、犬、鳥、馬、羊、牛） クラス1: “a photo of a cat” クラス2: “a photo of a dog” クラス3: “a photo of a bird” クラス4: “a photo of a horse” クラス5: “a photo of a sheep” クラス6: “a photo of a cow” ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ステップ2: テキスト埋め込みの計算 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 各テキストをText Encoderで埋め込み “a photo of a cat” → T₁ (512次元) “a photo of a dog” → T₂ (512次元) “a photo of a bird” → T₃ (512次元) “a photo of a horse” → T₄ (512次元) “a photo of a sheep” → T₅ (512次元) “a photo of a cow” → T₆ (512次元) text_features = [T₁, T₂, T₃, T₄, T₅, T₆] # shape: (6, 512) ※ これは事前に計算しておける（一度だけ） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ステップ3: 画像埋め込みの計算 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 分類したい画像をImage Encoderで埋め込み 猫の画像 → I (512次元) image_features = I # shape: (1, 512) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ステップ4: 類似度の計算 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 画像とすべてのテキストの類似度を計算 similarity = image_features @ text_features.T # shape: (1, 6) 結果例: [0.85, 0.12, 0.08, 0.05, 0.03, 0.02] 猫↑ 犬 鳥 馬 羊 牛 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ステップ5: 確率に変換して予測 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 類似度をsoftmaxで確率に変換 probs = softmax(similarity * 100) # 100を掛けるのはスケール調整のため 結果例: 猫: 94.32% ← 最高確率 犬: 3.21% 鳥: 0.87% 馬: 0.75% 羊: 0.52% 牛: 0.33% 予測: 「猫」

【プロンプトの書き方による精度の違い】 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 基本形 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ シンプルなプロンプト: “cat” 問題: ・文脈がない ・「cat」という単語だけでは曖昧 ImageNet精度: 約65% ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 改善版1: 文脈を追加 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 文脈付きプロンプト: “a photo of a cat” 効果: ・「写真である」という文脈 ・より明確な意味 ImageNet精度: 約70%（+5%） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 改善版2: 複数テンプレートの平均 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 複数のテンプレートを使用: テンプレート1: “a photo of a {class}” テンプレート2: “a photo of the {class}” テンプレート3: “a good photo of a {class}” テンプレート4: “a bad photo of a {class}” テンプレート5: “a cropped photo of the {class}” テンプレート6: “a close-up photo of a {class}” テンプレート7: “a bright photo of the {class}” テンプレート8: “a dark photo of the {class}” …（合計80個のテンプレート） 各テンプレートで埋め込みを計算 → 平均を取る ImageNet精度: 約76%（+6%） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ドメイン特化 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ データセットに応じてプロンプトを調整: 衛星画像: “a satellite photo of {class}” “an aerial view of {class}” 医療画像: “a CT scan showing {class}” “an X-ray of {class}” 食べ物: “a photo of {class}, a type of food” ペット: “a photo of a {class}, a type of pet” ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ カスタムクラス ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ CLIPなら自由にクラスを定義できる: 従来: [“cat”, “dog”, “bird”]（固定） CLIP: [“sleeping cat”, “playful cat”, “angry cat”] ← 状態で分類 [“orange cat”, “black cat”, “white cat”] ← 色で分類 [“Persian”, “Siamese”, “Tabby”] ← 品種で分類

【テキスト→画像検索の仕組み】 事前処理（一度だけ）: ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 画像データベース内のすべての画像を埋め込み 画像1 → I₁ (512次元) 画像2 → I₂ (512次元) 画像3 → I₃ (512次元) … 画像N → Iₙ (512次元) → 埋め込みを保存（インデックス） 検索時: ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1. 検索クエリ（テキスト）を埋め込み “a cat playing with a ball” → Q (512次元) 2. クエリとすべての画像の類似度を計算 similarity = Q @ [I₁, I₂, …, Iₙ]ᵀ → (1, N) の類似度ベクトル 3. 類似度が高い順にソート → Top-K画像を返す 例: クエリ: “a sunset over mountains” 結果: 1位: 山の夕日の写真 (類似度: 0.89) 2位: 海の夕日の写真 (類似度: 0.76) 3位: 山の朝日の写真 (類似度: 0.68) …

【DALL-E 2の構造（簡略版）】 DALL-E 2（2022年、OpenAI）: テキスト → 画像を生成 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 構成要素 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1. CLIP Text Encoder ・テキストを埋め込みに変換 ・CLIPで事前学習済み 2. Prior（プライアー） ・テキスト埋め込み → 画像埋め込みを予測 ・「このテキストに対応する画像の埋め込みはこれ」 3. Decoder（デコーダ） ・画像埋め込み → 実際のピクセル ・Diffusion Modelで生成 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 処理の流れ ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 入力: “an astronaut riding a horse on Mars” ↓ ┌─────────────────────────────────────────────┐ │ CLIP Text Encoder │ │ │ │ テキスト → テキスト埋め込み（512次元） │ └─────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────┐ │ Prior │ │ │ │ テキスト埋め込み → 画像埋め込み（512次元）│ │ │ │ 「このテキストならCLIPの画像埋め込み空間の │ │ この辺りに対応する画像があるはず」 │ └─────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────┐ │ Diffusion Decoder │ │ │ │ 画像埋め込み → 実際の画像（1024×1024） │ │ │ │ ノイズから徐々にクリーンな画像を生成 │ └─────────────────────────────────────────────┘ ↓ 出力: 火星で馬に乗る宇宙飛行士の画像 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ CLIPの役割 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1. テキストの理解 ・4億ペアで学習した豊富な知識 ・「宇宙飛行士」「馬」「火星」を理解 2. 画像埋め込み空間の提供 ・Priorのターゲット空間 ・意味的に整理された空間 3. 品質の評価 ・生成画像がテキストに合っているか確認

【Stable Diffusionの構造（簡略版）】 Stable Diffusion（2022年、Stability AI）: テキスト → 画像を生成（オープンソース） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 構成要素 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1. CLIP Text Encoder ・テキストを埋め込みに変換 ・出力: (77, 768) のテキスト埋め込み ・77: 最大トークン数 ・768: 埋め込み次元 2. U-Net（ノイズ除去ネットワーク） ・ノイズ画像 → 少しクリーンな画像 ・Cross-Attentionでテキスト埋め込みを参照 3. VAE Decoder ・潜在空間 → ピクセル空間 ・512×512の画像を生成 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 処理の流れ ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 入力: “a beautiful sunset over mountains” ↓ ┌─────────────────────────────────────────────┐ │ CLIP Text Encoder │ │ │ │ テキスト → テキスト埋め込み（77×768） │ └─────────────────────────────────────────────┘ ↓ ↓ テキスト埋め込みをU-Netに渡す ↓ ┌─────────────────────────────────────────────┐ │ Diffusion Process（50ステップ） │ │ │ │ ステップ1: │ │ ノイズ画像（潜在空間） │ │ ↓ │ │ U-Net（テキスト埋め込みを参照） │ │ ← Cross-Attention でテキストを見る │ │ ↓ │ │ 少しクリーンな画像 │ │ │ │ ステップ2〜50: │ │ 繰り返し… │ │ ↓ │ │ クリーンな画像（潜在空間） │ └─────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────┐ │ VAE Decoder │ │ │ │ 潜在空間 → ピクセル空間（512×512） │ └─────────────────────────────────────────────┘ ↓ 出力: 山の上の美しい夕日の画像 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ Cross-Attentionの仕組み ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ U-Netの各層でCross-Attentionを実行: Query（Q）: 現在の画像特徴 Key（K）: テキスト埋め込み Value（V）: テキスト埋め込み Attention = softmax(Q × Kᵀ / √d) × V 意味: 画像の各位置が「テキストのどの部分に注目するか」を計算 例: 画像の「空の部分」→ テキストの「sunset」に注目 画像の「下の部分」→ テキストの「mountains」に注目 → テキストに従った画像が生成される！

【マルチモーダルAIの発展史】 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 第1世代: 単一モダリティ（〜2020年） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 画像のみ: ・CNN、ViT ・画像分類、物体検出 テキストのみ: ・BERT、GPT ・言語理解、文章生成 → それぞれ独立、連携なし ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 第2世代: 2モダリティ統合（2021年〜） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 画像 + テキスト: ・CLIP（2021年）: 画像-テキスト埋め込み ・DALL-E（2021年）: テキスト→画像生成 ・Stable Diffusion（2022年）: オープンソース生成 応用: ・ゼロショット分類 ・画像検索 ・Text-to-Image生成 → 画像とテキストの統合的理解 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 第3世代: 真のマルチモーダル（2023年〜） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ すべてのモダリティを統合: GPT-4V（GPT-4 Vision, 2023年）: ・画像とテキストの同時入力 ・画像に関する質問応答 ・画像の内容を説明 ・画像内のテキストを読む Gemini（Google, 2023年）: ・テキスト、画像、音声、動画を統合 ・ネイティブなマルチモーダル ・より自然な理解 Claude 3（Anthropic, 2024年）: ・画像理解能力 ・複雑な図表の分析 → 人間のような総合的理解 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 未来: エージェント型AI（これから） ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ すべてのモダリティ + 行動: 入力: ・視覚（カメラ） ・聴覚（マイク） ・触覚（センサー） ・テキスト（指示） 出力: ・テキスト（回答） ・音声（話す） ・行動（ロボット操作） 例: 「テーブルの上の赤いカップを取って」 → 視覚で赤いカップを認識 → 言語で指示を理解 → ロボットアームで取る → 人間のように世界を理解し行動