# =================================================== # OpenCVで動画を扱う基本 # =================================================== import cv2 import numpy as np import matplotlib.pyplot as plt # =================================================== # 1. 動画の読み込みとプロパティ取得 # =================================================== # cv2.VideoCapture(): 動画ファイルを開く # 引数: 動画ファイルのパス # Webカメラの場合は 0（デフォルトカメラ）を指定 cap = cv2.VideoCapture(‘video.mp4’) # 動画が正常に開けたか確認 if not cap.isOpened(): print(“動画ファイルを開けませんでした”) else: print(“動画ファイルを開きました”) # cap.get(): 動画のプロパティを取得 # CAP_PROP_FPS: フレームレート fps = cap.get(cv2.CAP_PROP_FPS) # CAP_PROP_FRAME_COUNT: 総フレーム数 frame_count = int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) # CAP_PROP_FRAME_WIDTH/HEIGHT: フレームの幅と高さ width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) # 動画の長さを計算 duration = frame_count / fps print(f”FPS: {fps}”) print(f”総フレーム数: {frame_count}”) print(f”解像度: {width}×{height}”) print(f”動画の長さ: {duration:.2f}秒”) # 使い終わったら閉じる cap.release()

# =================================================== # 2. フレームの読み込みと表示 # =================================================== cap = cv2.VideoCapture(‘video.mp4’) # cap.read(): 1フレームを読み込む # 戻り値: (成功したか, フレーム画像) ret, frame = cap.read() # ret: True なら読み込み成功、False なら失敗（動画の終わり） # frame: BGR形式の画像（NumPy配列） if ret: print(f”フレームの形状: {frame.shape}”) # 例: (1080, 1920, 3) = 高さ, 幅, チャンネル(BGR) # OpenCVはBGR、matplotlibはRGBなので変換 frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) # 画像を表示 plt.figure(figsize=(10, 6)) plt.imshow(frame_rgb) plt.title(‘最初のフレーム’) plt.axis(‘off’) plt.savefig(‘first_frame.png’, dpi=150, bbox_inches=’tight’) plt.show() cap.release()

# =================================================== # 3. すべてのフレームを順番に処理 # =================================================== cap = cv2.VideoCapture(‘video.mp4’) frame_number = 0 # 無限ループで全フレームを処理 while True: # フレームを読み込む ret, frame = cap.read() # ret が False なら動画の終わり if not ret: print(“動画の終わりに達しました”) break # ===== ここでフレームに処理を加える ===== # 例1: グレースケール変換 gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 例2: エッジ検出 edges = cv2.Canny(gray, 100, 200) # 例3: ぼかし blurred = cv2.GaussianBlur(frame, (15, 15), 0) # ======================================== # ウィンドウに表示（Jupyter以外の環境用） # cv2.imshow(‘Frame’, gray) frame_number += 1 # 10フレームごとに進捗表示 if frame_number % 100 == 0: print(f”処理済み: {frame_number} フレーム”) # ‘q’キーで終了（cv2.imshow使用時） # if cv2.waitKey(1) & 0xFF == ord(‘q’): # break print(f”合計 {frame_number} フレームを処理しました”) cap.release() cv2.destroyAllWindows()

# =================================================== # 4. 特定のフレームを抽出する関数 # =================================================== def extract_frame(video_path, frame_number): “”” 動画から特定のフレームを抽出する Args: video_path: 動画ファイルのパス frame_number: 抽出するフレーム番号（0から始まる） Returns: RGB形式のフレーム画像（NumPy配列）、失敗時はNone “”” cap = cv2.VideoCapture(video_path) # cap.set(): プロパティを設定 # CAP_PROP_POS_FRAMES: フレーム位置を指定 # → 指定したフレーム番号に移動 cap.set(cv2.CAP_PROP_POS_FRAMES, frame_number) # そのフレームを読み込む ret, frame = cap.read() cap.release() if ret: # BGRからRGBに変換して返す return cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) else: return None # 使用例: 100フレーム目を抽出 frame_100 = extract_frame(‘video.mp4’, 100) if frame_100 is not None: plt.figure(figsize=(10, 6)) plt.imshow(frame_100) plt.title(‘100フレーム目’) plt.axis(‘off’) plt.show() print(f”フレーム100の形状: {frame_100.shape}”) else: print(“フレームの抽出に失敗しました”)

# =================================================== # 5. 動画の書き込み（処理結果を保存） # =================================================== # 入力動画を開く cap = cv2.VideoCapture(‘input.mp4’) # 動画のプロパティを取得 fps = cap.get(cv2.CAP_PROP_FPS) width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) # cv2.VideoWriter_fourcc(): コーデックを指定 # ‘mp4v’: MP4形式 # ‘XVID’: AVI形式 # ‘MJPG’: Motion JPEG fourcc = cv2.VideoWriter_fourcc(*’mp4v’) # cv2.VideoWriter(): 動画書き込みオブジェクトを作成 # 引数: (出力ファイル名, コーデック, FPS, (幅, 高さ)) out = cv2.VideoWriter(‘output.mp4’, fourcc, fps, (width, height)) frame_count = 0 while True: ret, frame = cap.read() if not ret: break # フレームに処理を加える # 例: エッジ検出結果をカラーに変換 gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) edges = cv2.Canny(gray, 100, 200) # グレースケールをBGRに変換（VideoWriterはBGR形式が必要） edges_bgr = cv2.cvtColor(edges, cv2.COLOR_GRAY2BGR) # out.write(): フレームを書き込む out.write(edges_bgr) frame_count += 1 # リソースを解放 cap.release() out.release() print(f”動画処理完了！ {frame_count}フレームを処理しました”)

# =================================================== # 6. 均等にフレームをサンプリング # =================================================== def sample_frames(video_path, num_samples=16, target_size=(224, 224)): “”” 動画から均等にフレームをサンプリング 行動認識モデルの入力として使用 Args: video_path: 動画ファイルのパス num_samples: サンプリングするフレーム数（通常8, 16, 32） target_size: リサイズ後のサイズ Returns: サンプリングされたフレームのNumPy配列 形状: (num_samples, height, width, 3) “”” cap = cv2.VideoCapture(video_path) # 総フレーム数を取得 frame_count = int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) # np.linspace(): 等間隔の数列を生成 # 0からframe_count-1までをnum_samples個に分割 # 例: 900フレームから16個 → [0, 60, 120, 180, …] indices = np.linspace(0, frame_count – 1, num_samples, dtype=int) print(f”総フレーム数: {frame_count}”) print(f”サンプリングするインデックス: {indices[:5]}…”) frames = [] for idx in indices: # 指定フレームに移動 cap.set(cv2.CAP_PROP_POS_FRAMES, idx) ret, frame = cap.read() if ret: # BGRからRGBに変換 frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) # リサイズ（行動認識モデルは通常224×224） frame_resized = cv2.resize(frame_rgb, target_size) frames.append(frame_resized) cap.release() return np.array(frames) # 使用例 sampled_frames = sample_frames(‘video.mp4’, num_samples=16) print(f”サンプリング結果の形状: {sampled_frames.shape}”) # 期待: (16, 224, 224, 3) # サンプリングしたフレームを可視化 fig, axes = plt.subplots(2, 8, figsize=(16, 4)) for i, ax in enumerate(axes.flat): if i < len(sampled_frames): ax.imshow(sampled_frames[i]) ax.set_title(f'Frame {i}', fontsize=10) ax.axis('off') plt.tight_layout() plt.savefig('sampled_frames.png', dpi=150, bbox_inches='tight') plt.show()

# =================================================== # Dense Optical Flow（Farneback法） # =================================================== import cv2 import numpy as np import matplotlib.pyplot as plt # 動画を開く cap = cv2.VideoCapture(‘video.mp4’) # 最初のフレームを読み込む ret, frame1 = cap.read() # グレースケールに変換（光学フローはグレースケールで計算） prev_gray = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY) # HSV画像を作成（可視化用） # 光学フローの方向を色相（H）、大きさを明度（V）で表現 hsv = np.zeros_like(frame1) hsv[…, 1] = 255 # 彩度を最大に固定 frame_count = 0 while True: ret, frame2 = cap.read() if not ret: break # 現在のフレームをグレースケールに変換 gray = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY) # cv2.calcOpticalFlowFarneback(): Dense Optical Flowを計算 # 引数: # prev_gray: 前のフレーム（グレースケール） # gray: 現在のフレーム（グレースケール） # None: 出力先（Noneで自動作成） # pyr_scale: ピラミッドスケール（0.5 = 各レベルで半分） # levels: ピラミッドレベル数 # winsize: 平均化ウィンドウサイズ # iterations: 各レベルでの繰り返し回数 # poly_n: ピクセル近傍のサイズ # poly_sigma: 平滑化パラメータ # flags: フラグ flow = cv2.calcOpticalFlowFarneback( prev_gray, gray, None, pyr_scale=0.5, levels=3, winsize=15, iterations=3, poly_n=5, poly_sigma=1.2, flags=0 ) # flowの形状: (高さ, 幅, 2) # flow[…, 0]: x方向の移動量 # flow[…, 1]: y方向の移動量 # 光学フローを可視化（HSV色空間で表現） # cv2.cartToPolar(): 直交座標を極座標に変換 # (x, y) → (大きさ, 角度) mag, ang = cv2.cartToPolar(flow[…, 0], flow[…, 1]) # 角度（0〜2π）を色相（0〜180）に変換 # 方向によって色が変わる（右=赤、上=緑、左=青など） hsv[…, 0] = ang * 180 / np.pi / 2 # 大きさを明度に変換（正規化して0〜255に） hsv[…, 2] = cv2.normalize(mag, None, 0, 255, cv2.NORM_MINMAX) # HSVをBGRに変換（表示用） flow_bgr = cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR) # 表示（Jupyter以外の環境用） # cv2.imshow(‘Original’, frame2) # cv2.imshow(‘Optical Flow’, flow_bgr) # 次のイテレーション用に現在のフレームを保存 prev_gray = gray frame_count += 1 # 最初の数フレームだけ処理して結果を保存 if frame_count == 30: # 結果を保存 flow_rgb = cv2.cvtColor(flow_bgr, cv2.COLOR_BGR2RGB) frame_rgb = cv2.cvtColor(frame2, cv2.COLOR_BGR2RGB) fig, axes = plt.subplots(1, 2, figsize=(12, 5)) axes[0].imshow(frame_rgb) axes[0].set_title(‘元のフレーム’) axes[0].axis(‘off’) axes[1].imshow(flow_rgb) axes[1].set_title(‘光学フロー（色=方向、明るさ=速度）’) axes[1].axis(‘off’) plt.savefig(‘optical_flow_visualization.png’, dpi=150, bbox_inches=’tight’) plt.show() break cap.release() print(f”光学フローの形状: {flow.shape}”)

# =================================================== # Sparse Optical Flow（Lucas-Kanade法） # =================================================== import cv2 import numpy as np cap = cv2.VideoCapture(‘video.mp4’) # 最初のフレームを読み込む ret, old_frame = cap.read() old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY) # cv2.goodFeaturesToTrack(): 追跡に適した特徴点を検出 # Shi-Tomasi法でコーナーを検出 feature_params = dict( maxCorners=100, # 検出する最大特徴点数 qualityLevel=0.3, # 品質レベル（0〜1、高いほど厳選） minDistance=7, # 特徴点間の最小距離 blockSize=7 # 検出時のブロックサイズ ) # 特徴点を検出 p0 = cv2.goodFeaturesToTrack(old_gray, mask=None, **feature_params) print(f”検出された特徴点数: {len(p0)}”) # Lucas-Kanade法のパラメータ lk_params = dict( winSize=(15, 15), # 検索ウィンドウサイズ maxLevel=2, # ピラミッドレベル criteria=( # 終了条件 cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, # 最大繰り返し回数 0.03 # 精度 ) ) # 各特徴点に色を割り当て（可視化用） colors = np.random.randint(0, 255, (100, 3)) # 軌跡を描画するためのマスク画像 mask = np.zeros_like(old_frame) frame_count = 0 while True: ret, frame = cap.read() if not ret: break frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # cv2.calcOpticalFlowPyrLK(): Sparse Optical Flowを計算 # 引数: # old_gray: 前のフレーム # frame_gray: 現在のフレーム # p0: 追跡する特徴点 # None: 出力先 # 戻り値: # p1: 新しい特徴点の位置 # st: ステータス（1=成功、0=失敗） # err: エラー値 p1, st, err = cv2.calcOpticalFlowPyrLK( old_gray, frame_gray, p0, None, **lk_params ) # 追跡に成功した特徴点のみを選択 if p1 is not None: # st == 1 の点のみ選択 good_new = p1[st == 1] good_old = p0[st == 1] # 軌跡を描画 for i, (new, old) in enumerate(zip(good_new, good_old)): # 座標を取得 a, b = new.ravel() # 新しい位置 c, d = old.ravel() # 古い位置 # 軌跡の線を描画 mask = cv2.line(mask, (int(a), int(b)), (int(c), int(d)), colors[i].tolist(), 2) # 現在位置に円を描画 frame = cv2.circle(frame, (int(a), int(b)), 5, colors[i].tolist(), -1) # 元のフレームと軌跡を合成 output = cv2.add(frame, mask) # 次のイテレーション用に更新 old_gray = frame_gray.copy() p0 = good_new.reshape(-1, 1, 2) frame_count += 1 # 60フレーム後に結果を保存 if frame_count == 60: output_rgb = cv2.cvtColor(output, cv2.COLOR_BGR2RGB) plt.figure(figsize=(12, 8)) plt.imshow(output_rgb) plt.title(‘Sparse Optical Flow（特徴点追跡）’) plt.axis(‘off’) plt.savefig(‘sparse_optical_flow.png’, dpi=150, bbox_inches=’tight’) plt.show() break cap.release() print(f”追跡中の特徴点数: {len(good_new)}”)

# =================================================== # 行動認識用の光学フロー抽出 # =================================================== def extract_optical_flow(video_path, num_frames=16, target_size=(224, 224)): “”” 動画から光学フローを抽出（行動認識用） Args: video_path: 動画ファイルのパス num_frames: 抽出するフレーム数 target_size: 出力サイズ Returns: 光学フローのNumPy配列 形状: (num_frames, height, width, 2) 2 = (x方向の移動, y方向の移動) “”” cap = cv2.VideoCapture(video_path) frame_count = int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) # 均等にサンプリングするインデックス # 最後のフレームは使わない（次のフレームが必要なため） indices = np.linspace(0, frame_count – 2, num_frames, dtype=int) flows = [] for idx in indices: # 2つの連続フレームを取得 cap.set(cv2.CAP_PROP_POS_FRAMES, idx) ret1, frame1 = cap.read() ret2, frame2 = cap.read() if not (ret1 and ret2): break # グレースケール変換 gray1 = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY) gray2 = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY) # 光学フローを計算 flow = cv2.calcOpticalFlowFarneback( gray1, gray2, None, 0.5, 3, 15, 3, 5, 1.2, 0 ) # リサイズ flow_resized = cv2.resize(flow, target_size) flows.append(flow_resized) cap.release() return np.array(flows) # 使用例 optical_flows = extract_optical_flow(‘video.mp4’, num_frames=16) print(f”光学フローの形状: {optical_flows.shape}”) # 期待: (16, 224, 224, 2) # 光学フローの統計情報 print(f”x方向の移動量: min={optical_flows[…, 0].min():.2f}, max={optical_flows[…, 0].max():.2f}”) print(f”y方向の移動量: min={optical_flows[…, 1].min():.2f}, max={optical_flows[…, 1].max():.2f}”)

# =================================================== # YOLOv8で動画物体検出 # =================================================== # インストール（必要な場合） # !pip install ultralytics from ultralytics import YOLO import cv2 import matplotlib.pyplot as plt # =================================================== # 1. モデルのロード # =================================================== # YOLOv8モデルをロード # ‘yolov8n.pt’: nanoモデル（最速、精度は低め） # ‘yolov8s.pt’: smallモデル # ‘yolov8m.pt’: mediumモデル # ‘yolov8l.pt’: largeモデル # ‘yolov8x.pt’: extralargeモデル（最も高精度） model = YOLO(‘yolov8n.pt’) print(“モデルをロードしました”) print(f”クラス数: {len(model.names)}”) print(f”クラス例: {list(model.names.values())[:10]}…”)

# =================================================== # 2. 動画の読み込みと検出 # =================================================== cap = cv2.VideoCapture(‘video.mp4′) # 動画のプロパティ fps = cap.get(cv2.CAP_PROP_FPS) width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) print(f”FPS: {fps}”) print(f”解像度: {width}×{height}”) print(f”総フレーム数: {total_frames}”) # 出力動画の設定 fourcc = cv2.VideoWriter_fourcc(*’mp4v’) out = cv2.VideoWriter(‘output_detection.mp4’, fourcc, fps, (width, height)) frame_number = 0 while True: ret, frame = cap.read() if not ret: break # YOLOv8で物体検出 # verbose=False: 進捗を非表示 results = model(frame, verbose=False) # results[0].plot(): 検出結果を画像に描画 # Bounding Box、クラス名、信頼度が描画される annotated_frame = results[0].plot() # 出力動画に書き込み out.write(annotated_frame) frame_number += 1 # 進捗表示 if frame_number % 30 == 0: print(f”処理済み: {frame_number}/{total_frames} フレーム”) cap.release() out.release() print(f”検出完了！ {frame_number}フレームを処理しました”)

# =================================================== # 3. トラッキング（物体追跡）の追加 # =================================================== # YOLOv8には組み込みのトラッキング機能がある # ByteTrack、BoT-SORTなどのアルゴリズムを使用 cap = cv2.VideoCapture(‘video.mp4′) fourcc = cv2.VideoWriter_fourcc(*’mp4v’) out = cv2.VideoWriter(‘output_tracking.mp4′, fourcc, fps, (width, height)) frame_number = 0 while True: ret, frame = cap.read() if not ret: break # model.track(): 検出 + トラッキング # persist=True: 前のフレームの追跡情報を保持 # tracker=’bytetrack.yaml’: ByteTrackアルゴリズムを使用 results = model.track(frame, persist=True, verbose=False) # 検出結果にIDが割り当てられる annotated_frame = results[0].plot() out.write(annotated_frame) frame_number += 1 # 30フレーム目の検出結果を詳しく表示 if frame_number == 30: print(“\n=== 30フレーム目の検出結果 ===”) if results[0].boxes is not None: boxes = results[0].boxes for i, box in enumerate(boxes): # box.xyxy: Bounding Boxの座標 x1, y1, x2, y2 = box.xyxy[0].tolist() # box.cls: クラスID cls_id = int(box.cls[0]) cls_name = model.names[cls_id] # box.conf: 信頼度 conf = float(box.conf[0]) # box.id: トラッキングID（追跡時のみ） track_id = int(box.id[0]) if box.id is not None else -1 print(f”物体{i+1}: {cls_name}, ID={track_id}, 信頼度={conf:.2f}”) cap.release() out.release() print(f”\nトラッキング完了！”)