【従来のタスクの限界】 ■ セマンティックセグメンテーション（STEP 13） できること: 各ピクセルをクラス分類 例: 2台の車と道路 ┌─────────────────────────┐ │ 空 空 空 空 │ │ 車車 車車車車 │ ← 2台の車を区別できない │ 道路 道路 道路 道路 │ すべて「車」クラス └─────────────────────────┘ 限界: ・「車が何台あるか」分からない ・個別の車を追跡できない ・重なった車を分離できない ───────────────────────────────────────────────────── ■ インスタンスセグメンテーション（STEP 14） できること: 物体を個別識別、マスク生成 例: 2台の車と道路 ┌─────────────────────────┐ │ (無) (無) (無) (無) │ ← 背景を無視 │ 車① 車②②② │ ← 2台を区別 │ (無) (無) (無) (無) │ ← 道路も無視 └─────────────────────────┘ 限界: ・背景（道路、空）が分からない ・「走行可能な領域はどこか」不明 ・シーン全体を理解できない ───────────────────────────────────────────────────── ■ パノプティックセグメンテーション（このSTEP） できること: すべてのピクセルをラベル付け + 物体は個別識別 例: 2台の車と道路 ┌─────────────────────────┐ │ 空,0 空,0 空,0 空,0 │ ← Stuff（ID不要） │ 車,1 車,2 車,2 車,2 │ ← Things（個別ID） │道路,0 道路,0 道路,0 │ ← Stuff（ID不要） └─────────────────────────┘ 出力形式: (クラス, インスタンスID) 利点: ・すべてのピクセルを網羅 ・物体は個別識別（車1、車2） ・背景も認識（道路、空） ・完全なシーン理解

【Things（シングス）= 可算物体】 定義: 個別に数えられる、明確な境界を持つ物体 判定基準: ・「何個ある？」と聞いて意味がある ・境界線を引ける ・個体として追跡できる 例: ✓ 人（person） → 1人、2人とカウント ✓ 車（car） → 1台、2台とカウント ✓ 自転車 → 1台、2台とカウント ✓ 椅子、テーブル → 個別の家具 ✓ 猫、犬 → 1匹、2匹とカウント ✓ 信号機 → 個数で数えられる 処理方法: → インスタンスセグメンテーションで処理 → 個別ID付与（人1、人2、車1、車2） → マスク + Bounding Box ───────────────────────────────────────────────────── 【Stuff（スタッフ）= 不可算領域】 定義: 個別に数えられない、境界が曖昧な領域 判定基準: ・「何個ある？」と聞いても意味がない ・明確な境界がない ・連続した領域として扱う 例: ✓ 空（sky） → 何個とは数えない ✓ 道路（road） → 連続した領域 ✓ 草、芝生 → 広がった領域 ✓ 壁（wall） → 背景として認識 ✓ 水（water） → 境界が曖昧 ✓ 建物の壁面 → 背景要素 処理方法: → セマンティックセグメンテーションで処理 → クラスのみ（ID不要） → インスタンスID = 0（固定） ───────────────────────────────────────────────────── 【なぜ分けるのか？】 効率性: ・Stuffに個別IDは不要 → 処理が軽い ・Thingsのみ個別追跡 → 必要な部分だけ詳細処理 現実世界の反映: ・「空が3つある」は意味がない ・「車が3台ある」は意味がある タスクの明確化: ・Things → 個数カウント、追跡が重要 ・Stuff → 領域の広さ、位置が重要

【パノプティックセグメンテーションの出力】 ■ 出力形式 各ピクセルに (クラスID, インスタンスID) を割り当て 実装では1つの整数で表現: panoptic_id = クラスID × 1000 + インスタンスID 例: ・(クラス=人=1, ID=3) → 1003 ・(クラス=車=2, ID=1) → 2001 ・(クラス=道路=10, ID=0) → 10000 ← Stuffは ID=0 ■ 具体例 画像サイズ: 1024×2048 出力マップ（同じサイズ）: ┌────────────────────────────────────┐ │ 7000 7000 7000 7000 … │ ← 空（Stuff、クラス7） │ 7000 7000 7000 7000 … │ │ 1001 1001 2001 2001 2001 … │ ← 人1、車1（Things） │ 1001 1002 2001 2001 2001 … │ ← 人1、人2、車1 │ 10000 10000 10000 10000 … │ ← 道路（Stuff、クラス10） └────────────────────────────────────┘ ■ segments_info（セグメント情報） 各セグメントのメタデータ: [ {‘id’: 1001, ‘category_id’: 1, ‘isthing’: True, ‘area’: 12543}, ← 人1 {‘id’: 1002, ‘category_id’: 1, ‘isthing’: True, ‘area’: 8932}, ← 人2 {‘id’: 2001, ‘category_id’: 2, ‘isthing’: True, ‘area’: 45678}, ← 車1 {‘id’: 7000, ‘category_id’: 7, ‘isthing’: False, ‘area’: 389012}, ← 空 {‘id’: 10000, ‘category_id’: 10, ‘isthing’: False, ‘area’: 856234} ← 道路 ] isthing: True = Things、False = Stuff

【Panoptic FPNの全体構造】 入力画像（例: 1024×2048×3） │ ↓ ┌─────────────────────────────────────────────────────┐ │ バックボーン（ResNet-50/101） │ │ │ │ 畳み込み層で特徴抽出 │ │ C2, C3, C4, C5 の特徴マップを出力 │ └─────────────────────────────────────────────────────┘ │ ↓ ┌─────────────────────────────────────────────────────┐ │ FPN（Feature Pyramid Network） │ │ │ │ マルチスケールの特徴マップを生成 │ │ P2(1/4), P3(1/8), P4(1/16), P5(1/32), P6(1/64) │ │ すべて256チャンネルに統一 │ └─────────────────────────────────────────────────────┘ │ ┌────┴────┐ │ │ ↓ ↓ ┌─────────┐ ┌─────────────────────────────────────────┐ │Instance │ │ Semantic Branch（Stuff用） │ │ Branch │ │ │ │(Things用)│ │ FPN特徴を使用 │ │ │ │ ↓ │ │Mask R-CNN│ │ 各レベルを同じ解像度にアップサンプル │ │の構造 │ │ ↓ │ │ │ │ 結合（Concatenate） │ │ RPN │ │ ↓ │ │ ↓ │ │ 3×3 Conv × 複数 │ │RoIAlign │ │ ↓ │ │ ↓ │ │ 1×1 Conv（Stuffクラス数） │ │分類+Box │ │ ↓ │ │+マスク │ │ セマンティックマスク（H×W×Stuff数） │ └─────────┘ └─────────────────────────────────────────┘ │ │ │ │ ↓ ↓ Things Stuff 検出結果 セマンティック マスク │ │ └────┬────┘ │ ↓ ┌─────────────────────────────────────────────────────┐ │ Merge（統合） │ │ │ │ ThingsとStuffを1つのマップに統合 │ │ 重複の解決 │ │ 小さいセグメントの除去 │ └─────────────────────────────────────────────────────┘ │ ↓ パノプティック セグメンテーション 結果

【Instance Branch = Mask R-CNN】 STEP 14で学んだMask R-CNNとほぼ同じ構造: FPN特徴マップ {P2, P3, P4, P5, P6} │ ↓ ┌─────────────────────────────────────────────────────┐ │ RPN（Region Proposal Network） │ │ │ │ 各FPNレベルでAnchor Boxを生成 │ │ 物体らしさを予測 │ │ 約2000個の候補領域を提案 │ └─────────────────────────────────────────────────────┘ │ ↓ ┌─────────────────────────────────────────────────────┐ │ RoIAlign │ │ │ │ 各候補領域から14×14×256の特徴を抽出 │ │ 量子化なしで正確な位置を保持 │ └─────────────────────────────────────────────────────┘ │ ↓ ┌─────────────────────────────────────────────────────┐ │ 3つのヘッド（並列処理） │ │ │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │分類ヘッド│ │Box回帰 │ │マスクヘッド│ │ │ │ │ │ │ │ │ │ │ │FC層 │ │FC層 │ │Conv×4 │ │ │ │ ↓ │ │ ↓ │ │ ↓ │ │ │ │クラス確率│ │調整量 │ │28×28マスク│ │ │ └──────────┘ └──────────┘ └──────────┘ │ └─────────────────────────────────────────────────────┘ │ ↓ Things検出結果: – N個の物体 – 各物体: クラス、信頼度、Bbox、マスク 注意: ・Thingsクラスのみを検出対象 ・COCOでは80クラス中、Thingsは約50クラス

【Semantic Branch = 軽量FCN】 FPN特徴マップ {P2, P3, P4, P5} │ ↓ ┌─────────────────────────────────────────────────────┐ │ 各レベルを同じ解像度に揃える │ │ │ │ P2 (H/4×W/4×256) → そのまま │ │ P3 (H/8×W/8×256) → 2倍アップサンプル → H/4 │ │ P4 (H/16×W/16×256) → 4倍アップサンプル → H/4 │ │ P5 (H/32×W/32×256) → 8倍アップサンプル → H/4 │ │ │ │ すべて H/4 × W/4 × 256 に統一 │ └─────────────────────────────────────────────────────┘ │ ↓ ┌─────────────────────────────────────────────────────┐ │ 結合（Concatenate） │ │ │ │ 4つの特徴マップを結合 │ │ → H/4 × W/4 × 1024 │ └─────────────────────────────────────────────────────┘ │ ↓ ┌─────────────────────────────────────────────────────┐ │ 畳み込み層 │ │ │ │ 3×3 Conv (256) × 複数 │ │ 特徴を処理 │ └─────────────────────────────────────────────────────┘ │ ↓ ┌─────────────────────────────────────────────────────┐ │ 1×1 Conv（Stuffクラス数 + Thingsクラス数） │ │ │ │ 出力: H/4 × W/4 × 全クラス数 │ │ ※ 後でThingsは除外される │ └─────────────────────────────────────────────────────┘ │ ↓ ┌─────────────────────────────────────────────────────┐ │ 4倍アップサンプル │ │ │ │ H/4 × W/4 → H × W │ │ 元の解像度に戻す │ └─────────────────────────────────────────────────────┘ │ ↓ セマンティックマスク: H × W × 全クラス数 各ピクセルでクラス確率

【統合アルゴリズムの詳細】 入力: ・things_detections: N個の物体検出結果 各物体: (クラス, 信頼度, Bbox, マスク) ・semantic_mask: H×W×全クラス数のセマンティックマスク 出力: ・panoptic_map: H×W のパノプティックマップ 各ピクセル: (クラスID, インスタンスID) ・segments_info: セグメント情報のリスト ───────────────────────────────────────────────────── 【ステップ1: 初期化】 panoptic_map = 空のマップ（全ピクセル未割り当て） instance_counter = {} # クラスごとのインスタンスカウンタ segments_info = [] ───────────────────────────────────────────────────── 【ステップ2: Thingsの配置（信頼度の高い順）】 # 信頼度でソート（降順） sorted_things = sort(things_detections, key=confidence, reverse=True) for thing in sorted_things: # 信頼度が閾値以上か確認 if thing.confidence < threshold: # 例: 0.5 continue # マスクのピクセルを取得 mask_pixels = thing.mask > 0.5 # 二値化 # 既に割り当て済みのピクセルを除外 available_pixels = mask_pixels AND (panoptic_map == 未割り当て) # 有効なピクセル数が閾値以上か確認 if count(available_pixels) < min_area: # 例: 4096 continue # インスタンスIDを割り当て class_id = thing.class_id if class_id not in instance_counter: instance_counter[class_id] = 0 instance_counter[class_id] += 1 instance_id = instance_counter[class_id] # パノプティックマップに配置 panoptic_map[available_pixels] = (class_id, instance_id) # セグメント情報を記録 segments_info.append({ 'id': class_id * 1000 + instance_id, 'category_id': class_id, 'isthing': True, 'area': count(available_pixels) }) ───────────────────────────────────────────────────── 【ステップ3: Stuffの配置】 # 未割り当てピクセルを取得 unassigned_pixels = (panoptic_map == 未割り当て) # セマンティックマスクから予測を取得 for pixel in unassigned_pixels: # 最も確率の高いクラスを取得 class_probs = semantic_mask[pixel] class_id = argmax(class_probs) # Thingsクラスの場合はスキップ（またはvoidに） if is_thing_class(class_id): # オプション: 未分類としてマーク continue # Stuffとして割り当て（インスタンスID = 0） panoptic_map[pixel] = (class_id, 0) # Stuff領域をセグメント化 for stuff_class in stuff_classes: stuff_pixels = (panoptic_map[:, 0] == stuff_class) if count(stuff_pixels) >= min_area: segments_info.append({ ‘id’: stuff_class * 1000, ‘category_id’: stuff_class, ‘isthing’: False, ‘area’: count(stuff_pixels) }) ───────────────────────────────────────────────────── 【ステップ4: 後処理】 # 小さいセグメントを除去 for segment in segments_info: if segment[‘area’] < min_area: # void（未分類）に変更 pixels = (panoptic_map == segment['id']) panoptic_map[pixels] = (void_class, 0) segments_info.remove(segment)

【統合の具体例】 ■ シーン: 交差点（2人の歩行者、1台の車、道路、空） Instance Branchの出力: 物体1: 人、信頼度0.95、マスクM1 物体2: 人、信頼度0.82、マスクM2 物体3: 車、信頼度0.88、マスクM3 Semantic Branchの出力: 空: 上部30% 道路: 下部40% 建物: 左右の領域 ───────────────────────────────────────────────────── 【処理の流れ】 初期状態: ┌─────────────────────────┐ │ ? ? ? ? ? ? │ ? = 未割り当て │ ? ? ? ? ? ? │ │ ? ? ? ? ? ? │ │ ? ? ? ? ? ? │ └─────────────────────────┘ Step 2a: 人1（信頼度0.95）を配置 ┌─────────────────────────┐ │ ? ? ? ? ? ? │ │ ? 人1 ? ? ? ? │ │ ? 人1 ? ? ? ? │ │ ? ? ? ? ? ? │ └─────────────────────────┘ Step 2b: 車（信頼度0.88）を配置 ┌─────────────────────────┐ │ ? ? ? ? ? ? │ │ ? 人1 ? 車1 車1 ? │ │ ? 人1 ? 車1 車1 ? │ │ ? ? ? ? ? ? │ └─────────────────────────┘ Step 2c: 人2（信頼度0.82）を配置 ※ 人1と一部重複 → 重複部分は除外 ┌─────────────────────────┐ │ ? ? ? ? ? ? │ │ ? 人1 人2 車1 車1 ? │ │ ? 人1 人2 車1 車1 ? │ │ ? ? ? ? ? ? │ └─────────────────────────┘ Step 3: Stuffを配置 ┌─────────────────────────┐ │ 空 空 空 空 空 空 │ │建物 人1 人2 車1 車1 建物│ │道路 人1 人2 車1 車1 道路│ │道路 道路 道路 道路 道路 道路│ └─────────────────────────┘ ───────────────────────────────────────────────────── 【最終出力】 panoptic_map: 各ピクセルに (クラス, インスタンスID) segments_info: – 人1: {id: 1001, category_id: 1, isthing: True, area: …} – 人2: {id: 1002, category_id: 1, isthing: True, area: …} – 車1: {id: 2001, category_id: 2, isthing: True, area: …} – 空: {id: 7000, category_id: 7, isthing: False, area: …} – 道路: {id: 10000, category_id: 10, isthing: False, area: …} – 建物: {id: 11000, category_id: 11, isthing: False, area: …}

【2つのアプローチの比較】 ■ Panoptic FPN 構造: バックボーン → 2つの独立ブランチ → 後処理で統合 ┌──────────────┐ │ バックボーン │ └──────────────┘ │ ┌────┴────┐ │ │ ↓ ↓ ┌──────┐ ┌──────┐ │Instance│ │Semantic│ ← 独立した2つのブランチ │ Branch │ │ Branch │ └──────┘ └──────┘ │ │ └────┬────┘ │ 後処理で統合 ← ネットワーク外で統合 特徴: ・シンプルな設計 ・既存のMask R-CNNを流用 ・統合は後処理（ヒューリスティック） ───────────────────────────────────────────────────── ■ UPSNet 構造: バックボーン → 統一ヘッド → ネットワーク内で統合 ┌──────────────┐ │ バックボーン │ └──────────────┘ │ ↓ ┌──────────────┐ │ Panoptic Head │ ← 統一されたヘッド │ │ │ Deformable Conv│ │ ↓ │ │ セマンティック │ │ ロジット │ │ ↓ │ │ インスタンス │ │ ロジット │ │ ↓ │ │ Panoptic │ │ Logits Fusion │ ← ネットワーク内で統合 └──────────────┘ │ ↓ パノプティック 出力 特徴: ・End-to-endで学習 ・統合もネットワークの一部 ・より自然な融合

【PQの詳細定義】 ■ まず、マッチングを行う 予測セグメントと正解セグメントをマッチング マッチング条件: IoU > 0.5 結果: TP（True Positive）: IoU > 0.5 でマッチした予測 FP（False Positive）: マッチしなかった予測（誤検出） FN（False Negative）: マッチしなかった正解（見逃し） ───────────────────────────────────────────────────── ■ SQ（Segmentation Quality） マッチしたセグメントの分割品質 SQ = (Σ IoU(p, g)) / |TP| 意味: マッチしたペアの平均IoU 分割の正確さを測定 範囲: 0〜1（高いほど良い） 特徴: ・FP、FNは含まない ・純粋に「分割品質」を測定 ───────────────────────────────────────────────────── ■ RQ（Recognition Quality） 認識の品質（検出率） RQ = |TP| / (|TP| + 0.5×|FP| + 0.5×|FN|) 意味: F1スコアと同等 検出の正確さを測定 範囲: 0〜1（高いほど良い） 導出: Precision = TP / (TP + FP) Recall = TP / (TP + FN) F1 = 2 × Precision × Recall / (Precision + Recall) = TP / (TP + 0.5×FP + 0.5×FN) = RQ ───────────────────────────────────────────────────── ■ PQ（Panoptic Quality） 総合的な品質 PQ = SQ × RQ 展開すると: PQ = (Σ IoU(p, g)) / (|TP| + 0.5×|FP| + 0.5×|FN|) 範囲: 0〜1（0%〜100%） 特徴: ・分割品質と認識品質の両方を考慮 ・1つの数値で総合評価

【PQ計算の具体例】 ■ シーン: 4台の車の検出 正解（Ground Truth）: 車GT1、車GT2、車GT3、車GT4 予測: 車P1、車P2、車P3、車P4、車P5 ───────────────────────────────────────────────────── 【ステップ1: マッチング（IoU > 0.5）】 車P1 ↔ 車GT1: IoU = 0.78 → ✓ TP 車P2 ↔ 車GT2: IoU = 0.65 → ✓ TP 車P3 ↔ 車GT3: IoU = 0.72 → ✓ TP 車P4 ↔ なし: IoU < 0.5 → × FP（誤検出） 車P5 ↔ なし: IoU < 0.5 → × FP（誤検出） 車GT4 ↔ なし: 見逃し → × FN（見逃し） 結果: TP = 3（P1-GT1、P2-GT2、P3-GT3） FP = 2（P4、P5） FN = 1（GT4） ───────────────────────────────────────────────────── 【ステップ2: SQの計算】 SQ = (IoU_P1 + IoU_P2 + IoU_P3) / TP = (0.78 + 0.65 + 0.72) / 3 = 2.15 / 3 = 0.717 = 71.7% 解釈: マッチした3台の車の平均IoUは71.7% 分割品質は良好 ───────────────────────────────────────────────────── 【ステップ3: RQの計算】 RQ = TP / (TP + 0.5×FP + 0.5×FN) = 3 / (3 + 0.5×2 + 0.5×1) = 3 / (3 + 1 + 0.5) = 3 / 4.5 = 0.667 = 66.7% 解釈: 認識品質は66.7% 2台誤検出、1台見逃し ───────────────────────────────────────────────────── 【ステップ4: PQの計算】 PQ = SQ × RQ = 0.717 × 0.667 = 0.478 = 47.8% 解釈: 総合的な品質は47.8% 内訳: ・分割品質（SQ）71.7%は良好 ・認識品質（RQ）66.7%が課題 ・誤検出と見逃しを減らす必要 ───────────────────────────────────────────────────── 【改善の方向性】 SQを上げる（分割品質向上）: ・境界の精度を上げる ・RoIAlignの活用 ・より細かいマスク予測 RQを上げる（認識品質向上）: ・誤検出を減らす → 信頼度閾値を上げる ・見逃しを減らす → 信頼度閾値を下げる ・データ拡張で学習強化

【PQの分解評価】 PQはThingsとStuffで別々に計算できます: ■ PQ^Things（可算物体のみ） Thingsクラスのみでマッチングと計算 例（Cityscapes val）: PQ^Things = 52.0% 特徴: ・個別識別が必要 → 難しい ・インスタンスセグメンテーションの性能を反映 ・一般的に PQ^Things < PQ^Stuff ■ PQ^Stuff（不可算領域のみ） Stuffクラスのみでマッチングと計算 例（Cityscapes val）: PQ^Stuff = 62.5% 特徴: ・領域分割のみ → 比較的簡単 ・セマンティックセグメンテーションの性能を反映 ・一般的に PQ^Stuff > PQ^Things ■ 全体PQ ThingsとStuffを合わせた評価 例（Cityscapes val）: PQ = 58.1% 計算方法: 全クラスのPQを平均（または加重平均） ───────────────────────────────────────────────────── 【なぜ PQ^Things < PQ^Stuff か】 1. 個別識別の難しさ Things: 同じクラスでも個別にマッチング必要 Stuff: クラスが合えばOK 2. 境界の複雑さ Things: 複雑な形状（人、車） Stuff: 比較的単純な領域（空、道路） 3. 重なりの問題 Things: 物体同士が重なることが多い Stuff: 重なりが少ない

【自動運転に必要な情報】 ■ Things（可算物体）の情報 必要な認識対象: ・歩行者: 何人、どこに、どう動いているか ・車両: 何台、どこに、速度と方向は ・自転車: 何台、どこに、予測動作は ・信号機: 状態（赤/黄/青） なぜ個別識別が必要か: ・追跡: 「車1が右車線から接近」 ・予測: 「歩行者2が横断しそう」 ・計画: 「車3の後ろについて走行」 ■ Stuff（不可算領域）の情報 必要な認識対象: ・道路: 走行可能な領域 ・歩道: 歩行者がいる可能性のある領域 ・車線: 自車がどの車線にいるか ・縁石: 道路の端 なぜ領域認識が必要か: ・経路計画: 「この道路を直進」 ・安全確認: 「歩道に歩行者なし」 ・緊急対応: 「路肩に停車可能」 ───────────────────────────────────────────────────── 【セマンティック/インスタンス単独の限界】 セマンティックのみ: 「前方に車がある」はわかる 「何台の車がどう動いているか」は不明 → 衝突予測ができない インスタンスのみ: 「車が3台、人が5人」はわかる 「どこが道路で走行可能か」は不明 → 経路計画ができない パノプティック: 「車1が道路上を右から接近中」 「歩行者2が歩道から道路に出そう」 「前方の道路は空いている」 → 完全なシーン理解 → 安全な運転判断

【Cityscapes: 自動運転研究の標準データセット】 ■ 概要 撮影場所: ドイツの50都市 解像度: 2048×1024（高解像度） データ数: 訓練2,975枚、検証500枚、テスト1,525枚 アノテーション: ピクセル単位、高品質手動ラベリング ■ クラス構成（19クラス） Things（8クラス）: person – 歩行者 rider – 自転車/バイク乗り car – 乗用車 truck – トラック bus – バス train – 電車 motorcycle – オートバイ bicycle – 自転車 Stuff（11クラス）: road – 道路 sidewalk – 歩道 building – 建物 wall – 壁 fence – フェンス pole – ポール（信号機支柱等） traffic light – 信号機本体 traffic sign – 標識 vegetation – 植物 terrain – 地形（未舗装地等） sky – 空 ■ パノプティック評価の特徴 Things: 8クラスを個別識別 Stuff: 11クラスを領域分類 典型的なスコア: PQ: 55-65% PQ^Things: 45-55% PQ^Stuff: 60-70%

【シナリオ: 交差点での右折】 ■ ステップ1: パノプティックセグメンテーション 入力: 車載カメラ画像（1920×1080） 出力: ┌────────────────────────────────────────┐ │ 空 空 空 空 空 建物 建物 │ │ 空 空 空 空 空 建物 建物 │ │建物 (人1)(車1)(車1)(車2) 建物 建物 │ Things: 個別ID │歩道 (人2)(車1)(車1)(車2) 道路 道路 │ │道路 道路 道路 道路 道路 道路 道路 │ Stuff: クラスのみ └────────────────────────────────────────┘ 検出結果: Things: ・人1: 歩道上、信頼度0.95 ・人2: 歩道から道路に近づいている、信頼度0.88 ・車1: 道路上、右側を走行中、信頼度0.92 ・車2: 道路上、対向車線、信頼度0.90 Stuff: ・道路: 中央下部の領域 ・歩道: 道路の両脇 ・建物: 背景 ・空: 上部 ■ ステップ2: シーン理解 空間的関係の把握: ・人1は歩道にいる → 安全 ・人2は道路に近い → 要注意 ・車1は自車の右前方 → 右折時に注意 ・車2は対向車線 → 右折待ち 動的状態の推定: ・人2が道路方向に移動 → 横断の可能性 ・車1が減速中 → 追突のリスク低 ・車2が接近中 → 右折タイミングを計算 ■ ステップ3: 行動計画 判断: 1. 人2の動きを監視（横断の可能性） 2. 車2が通過するのを待機 3. 車1との車間距離を維持 4. 人2が横断しないことを確認 5. 右折開始 実行: ・停止 → 車2通過待ち → 人2確認 → 右折開始 ■ パノプティックの貢献 セマンティックだけでは: 「前方に車と人がいる」→ どの車？どの人？ インスタンスだけでは: 「車2台、人2人」→ どこが道路？走行可能？ パノプティックでは: 「車1が道路上の右前方にいて、 人2が歩道から道路に向かっている」 → 正確な状況判断が可能