mkdir -p ~/docker-practice/step27 cd ~/docker-practice/step27 pwd

# プロジェクトディレクトリ作成 mkdir -p production-deploy cd production-deploy # ディレクトリ構成 mkdir -p config/{dev,prod} mkdir -p scripts mkdir -p src mkdir -p data/input mkdir -p logs mkdir -p backups # 構造確認 tree -L 2 . || find . -type d

# 開発環境の環境変数 cat > config/dev/.env.dev << ‘EOF’ # 開発環境設定 ENV=development DEBUG=true LOG_LEVEL=DEBUG # データベース DB_NAME=dev_datawarehouse DB_USER=dev_user DB_PASSWORD=dev_password_123 # ETL設定 BATCH_SIZE=100 MAX_RETRIES=1 EOF echo “✅ 開発環境設定ファイル作成完了”

# 本番環境の環境変数 cat > config/prod/.env.prod << ‘EOF’ # 本番環境設定 ENV=production DEBUG=false LOG_LEVEL=WARNING VERSION=1.0.0 # データベース DB_NAME=prod_datawarehouse DB_USER=prod_user # パスワードはDocker Secretsで管理 # ETL設定 BATCH_SIZE=5000 MAX_RETRIES=5 EOF # シークレットファイル（Git管理外） cat > config/prod/db_password.txt << ‘EOF’ very_secure_production_password_456 EOF # 権限を制限 chmod 600 config/prod/db_password.txt echo “✅ 本番環境設定ファイル作成完了”

# 開発環境用docker-compose.dev.yml cat > docker-compose.dev.yml << ‘EOF’ version: ‘3.8’ services: # ============================================ # PostgreSQL（開発環境） # ============================================ postgres: image: postgres:15 container_name: dev-postgres environment: POSTGRES_DB: ${DB_NAME} POSTGRES_USER: ${DB_USER} POSTGRES_PASSWORD: ${DB_PASSWORD} ports: – “5432:5432” volumes: – postgres_dev_data:/var/lib/postgresql/data – ./init.sql:/docker-entrypoint-initdb.d/init.sql networks: – dev-network # 開発環境ではヘルスチェックなし、再起動なし # ============================================ # ETL（開発環境） # ============================================ etl: build: context: . dockerfile: Dockerfile target: development # 開発用ステージを使用 container_name: dev-etl environment: ENV: development DEBUG: “true” LOG_LEVEL: DEBUG DB_HOST: postgres DB_PORT: 5432 DB_NAME: ${DB_NAME} DB_USER: ${DB_USER} DB_PASSWORD: ${DB_PASSWORD} volumes: – ./src:/app/src # ホットリロード用 – ./data:/data – ./logs:/logs networks: – dev-network depends_on: – postgres # 開発中は待機状態 command: tail -f /dev/null networks: dev-network: driver: bridge volumes: postgres_dev_data: EOF echo “✅ docker-compose.dev.yml 作成完了”

# 本番環境用docker-compose.prod.yml cat > docker-compose.prod.yml << ‘EOF’ version: ‘3.8’ services: # ============================================ # PostgreSQL（本番環境） # ============================================ postgres: image: postgres:15 container_name: prod-postgres environment: POSTGRES_DB: ${DB_NAME} POSTGRES_USER: ${DB_USER} # パスワードはSecretから読み込み POSTGRES_PASSWORD_FILE: /run/secrets/db_password secrets: – db_password ports: – “5432:5432” volumes: – postgres_prod_data:/var/lib/postgresql/data – ./init.sql:/docker-entrypoint-initdb.d/init.sql:ro – ./backups:/backups networks: – prod-network healthcheck: test: [“CMD-SHELL”, “pg_isready -U ${DB_USER} -d ${DB_NAME}”] interval: 30s timeout: 10s retries: 3 start_period: 40s restart: always deploy: resources: limits: cpus: ‘2.0’ memory: 2G reservations: cpus: ‘1.0’ memory: 1G logging: driver: “json-file” options: max-size: “10m” max-file: “3” # ============================================ # ETL（本番環境） # ============================================ etl: build: context: . dockerfile: Dockerfile target: production # 本番用ステージを使用 image: etl-pipeline:${VERSION:-latest} container_name: prod-etl environment: ENV: production DEBUG: “false” LOG_LEVEL: ${LOG_LEVEL:-WARNING} DB_HOST: postgres DB_PORT: 5432 DB_NAME: ${DB_NAME} DB_USER: ${DB_USER} BATCH_SIZE: ${BATCH_SIZE:-5000} MAX_RETRIES: ${MAX_RETRIES:-5} secrets: – db_password volumes: – ./data/input:/data/input:ro # 読み取り専用 – ./data/output:/data/output – ./logs:/logs networks: – prod-network depends_on: postgres: condition: service_healthy restart: always deploy: resources: limits: cpus: ‘1.5’ memory: 1G reservations: cpus: ‘0.5’ memory: 512M healthcheck: test: [“CMD”, “python”, “-c”, “from src.config import Config; Config.validate()”] interval: 60s timeout: 10s retries: 3 start_period: 30s logging: driver: “json-file” options: max-size: “50m” max-file: “5” # ============================================ # Secrets（Docker Secrets） # ============================================ secrets: db_password: file: ./config/prod/db_password.txt # ============================================ # Networks # ============================================ networks: prod-network: driver: bridge # ============================================ # Volumes # ============================================ volumes: postgres_prod_data: EOF echo “✅ docker-compose.prod.yml 作成完了”

# マルチステージDockerfile cat > Dockerfile << ‘EOF’ # ============================================ # ベースイメージ # ============================================ FROM python:3.11-slim as base LABEL maintainer=”dataeng” \ version=”1.0″ \ description=”ETL Pipeline Container” WORKDIR /app # 非rootユーザー作成 RUN useradd -m -u 1000 -s /bin/bash etluser # ============================================ # 開発環境ステージ # ============================================ FROM base as development # 依存関係インストール COPY requirements.txt . RUN pip install –no-cache-dir -r requirements.txt # アプリケーションコード（開発時はボリュームマウントで上書き） COPY –chown=etluser:etluser src/ ./src/ # 必要なディレクトリ作成 RUN mkdir -p /data/input /data/output /logs && \ chown -R etluser:etluser /data /logs /app USER etluser ENV PYTHONUNBUFFERED=1 \ PYTHONPATH=/app # 開発時は待機 CMD [“tail”, “-f”, “/dev/null”] # ============================================ # ビルドステージ（本番用） # ============================================ FROM base as builder COPY requirements.txt . RUN pip install –no-cache-dir –user -r requirements.txt # ============================================ # 本番環境ステージ # ============================================ FROM base as production # Pythonパッケージをビルダーからコピー COPY –from=builder /root/.local /home/etluser/.local # アプリケーションコードをコピー COPY –chown=etluser:etluser src/ ./src/ # 必要なディレクトリ作成 RUN mkdir -p /data/input /data/output /logs && \ chown -R etluser:etluser /data /logs /app # 非rootユーザーに切り替え USER etluser # 環境変数 ENV PATH=/home/etluser/.local/bin:$PATH \ PYTHONUNBUFFERED=1 \ PYTHONDONTWRITEBYTECODE=1 \ PYTHONPATH=/app # ヘルスチェック HEALTHCHECK –interval=30s –timeout=10s –start-period=5s –retries=3 \ CMD python -c “from src.config import Config; Config.validate()” || exit 1 # デフォルトコマンド CMD [“python”, “-m”, “src.etl”, “sales_data.csv”] EOF echo “✅ Dockerfile 作成完了”

# scripts/deploy.sh cat > scripts/deploy.sh << ‘EOF’ #!/bin/bash set -e echo “🚀 ======================================” echo “🚀 本番環境デプロイ開始” echo “🚀 ======================================” # 環境変数読み込み export $(cat config/prod/.env.prod | grep -v ‘^#’ | xargs) # バージョン確認 echo “” echo “📦 デプロイバージョン: ${VERSION}” echo “📅 日時: $(date ‘+%Y-%m-%d %H:%M:%S’)” echo “” read -p “このバージョンでデプロイしますか？ (y/n): ” -n 1 -r echo if [[ ! $REPLY =~ ^[Yy]$ ]]; then echo “❌ デプロイをキャンセルしました” exit 1 fi # イメージビルド echo “” echo “🔨 Dockerイメージをビルド中…” docker build \ –target production \ –tag etl-pipeline:${VERSION} \ –tag etl-pipeline:latest \ . # 既存のバックアップ作成 echo “” echo “💾 データベースのバックアップ作成中…” if docker ps | grep -q prod-postgres; then ./scripts/backup.sh else echo ” ⚠️ PostgreSQLコンテナが起動していないためスキップ” fi # 古いコンテナを停止 echo “” echo “⏸️ 既存のコンテナを停止中…” docker-compose -f docker-compose.prod.yml –env-file config/prod/.env.prod down 2>/dev/null || true # 新しいコンテナを起動 echo “” echo “▶️ 新しいコンテナを起動中…” docker-compose -f docker-compose.prod.yml –env-file config/prod/.env.prod up -d # ヘルスチェック待機 echo “” echo “⏳ コンテナの起動を待機中（30秒）…” sleep 30 # ヘルスチェック echo “” echo “🏥 ヘルスチェック実行中…” ./scripts/health_check.sh if [ $? -eq 0 ]; then echo “” echo “✅ ======================================” echo “✅ デプロイ完了！” echo “✅ ======================================” echo “” echo “📊 ログ確認コマンド:” echo ” docker-compose -f docker-compose.prod.yml logs -f” else echo “” echo “❌ ======================================” echo “❌ デプロイ失敗” echo “❌ ======================================” echo “” echo “🔙 ロールバックを実行してください:” echo ” ./scripts/rollback.sh” exit 1 fi EOF chmod +x scripts/deploy.sh echo “✅ deploy.sh 作成完了”

# scripts/backup.sh cat > scripts/backup.sh << ‘EOF’ #!/bin/bash set -e BACKUP_DIR=”./backups” TIMESTAMP=$(date +%Y%m%d_%H%M%S) BACKUP_FILE=”backup_${TIMESTAMP}.dump” # 環境変数読み込み export $(cat config/prod/.env.prod | grep -v ‘^#’ | xargs) mkdir -p ${BACKUP_DIR} echo “💾 データベースバックアップ開始…” echo ” 対象: ${DB_NAME}” echo ” ファイル: ${BACKUP_DIR}/${BACKUP_FILE}” # pg_dumpでバックアップ（カスタム形式） docker exec prod-postgres pg_dump \ -U ${DB_USER} \ -d ${DB_NAME} \ -F c \ -f /backups/${BACKUP_FILE} # バックアップファイルのサイズ確認 BACKUP_SIZE=$(ls -lh ${BACKUP_DIR}/${BACKUP_FILE} | awk ‘{print $5}’) echo “✅ バックアップ完了: ${BACKUP_FILE} (${BACKUP_SIZE})” # 古いバックアップを削除（7日以上前） OLD_COUNT=$(find ${BACKUP_DIR} -name “backup_*.dump” -mtime +7 | wc -l) if [ $OLD_COUNT -gt 0 ]; then find ${BACKUP_DIR} -name “backup_*.dump” -mtime +7 -delete echo “🗑️ 古いバックアップを ${OLD_COUNT} 件削除しました” fi # バックアップ一覧 echo “” echo “📁 現在のバックアップ一覧:” ls -lh ${BACKUP_DIR}/backup_*.dump 2>/dev/null || echo ” バックアップなし” EOF chmod +x scripts/backup.sh echo “✅ backup.sh 作成完了”

# scripts/rollback.sh cat > scripts/rollback.sh << ‘EOF’ #!/bin/bash set -e echo “🔙 ======================================” echo “🔙 ロールバック開始” echo “🔙 ======================================” # 環境変数読み込み export $(cat config/prod/.env.prod | grep -v ‘^#’ | xargs) # 最新のバックアップを確認 LATEST_BACKUP=$(ls -t backups/backup_*.dump 2>/dev/null | head -1) if [ -z “$LATEST_BACKUP” ]; then echo “❌ バックアップファイルが見つかりません” exit 1 fi echo “” echo “📦 利用可能なバックアップ:” ls -lh backups/backup_*.dump echo “” echo “📦 選択されたバックアップ: ${LATEST_BACKUP}” echo “” read -p “このバックアップでロールバックしますか？ (y/n): ” -n 1 -r echo if [[ ! $REPLY =~ ^[Yy]$ ]]; then echo “❌ ロールバックをキャンセルしました” exit 1 fi # PostgreSQLのみ起動 echo “” echo “⏸️ ETLコンテナを停止中…” docker-compose -f docker-compose.prod.yml –env-file config/prod/.env.prod stop etl echo “” echo “🔄 データベースをリストア中…” # リストア実行 BACKUP_FILENAME=$(basename ${LATEST_BACKUP}) docker exec prod-postgres pg_restore \ -U ${DB_USER} \ -d ${DB_NAME} \ -c \ /backups/${BACKUP_FILENAME} || true # ETLコンテナを再起動 echo “” echo “▶️ ETLコンテナを再起動中…” docker-compose -f docker-compose.prod.yml –env-file config/prod/.env.prod start etl echo “” echo “✅ ======================================” echo “✅ ロールバック完了” echo “✅ ======================================” EOF chmod +x scripts/rollback.sh echo “✅ rollback.sh 作成完了”

# scripts/health_check.sh cat > scripts/health_check.sh << ‘EOF’ #!/bin/bash echo “🏥 ヘルスチェック開始…” echo “” EXIT_CODE=0 # 環境変数読み込み export $(cat config/prod/.env.prod | grep -v ‘^#’ | xargs) # 1. PostgreSQLチェック echo “📊 [1/4] PostgreSQL…” if docker exec prod-postgres pg_isready -U ${DB_USER} -d ${DB_NAME} > /dev/null 2>&1; then echo ” ✅ PostgreSQL: 正常” else echo ” ❌ PostgreSQL: 異常” EXIT_CODE=1 fi # 2. ETLコンテナチェック echo “🔄 [2/4] ETLコンテナ…” CONTAINER_STATUS=$(docker inspect -f ‘{{.State.Status}}’ prod-etl 2>/dev/null || echo “not found”) if [ “$CONTAINER_STATUS” = “running” ]; then echo ” ✅ ETLコンテナ: 実行中” else echo ” ❌ ETLコンテナ: ${CONTAINER_STATUS}” EXIT_CODE=1 fi # 3. ディスク容量チェック echo “💾 [3/4] ディスク容量…” DISK_USAGE=$(df -h / | awk ‘NR==2 {print $5}’ | sed ‘s/%//’) if [ $DISK_USAGE -lt 80 ]; then echo ” ✅ ディスク使用率: ${DISK_USAGE}% (正常)” elif [ $DISK_USAGE -lt 90 ]; then echo ” ⚠️ ディスク使用率: ${DISK_USAGE}% (警告)” else echo ” ❌ ディスク使用率: ${DISK_USAGE}% (危険)” EXIT_CODE=1 fi # 4. メモリ使用量チェック echo “🧠 [4/4] メモリ使用量…” MEMORY_USAGE=$(docker stats –no-stream –format “{{.MemPerc}}” prod-postgres prod-etl 2>/dev/null | head -1 | sed ‘s/%//’) if [ -n “$MEMORY_USAGE” ]; then echo ” ✅ コンテナメモリ: 確認済み” else echo ” ⚠️ メモリ使用量: 取得できません” fi echo “” if [ $EXIT_CODE -eq 0 ]; then echo “✅ すべてのヘルスチェック完了” else echo “❌ ヘルスチェックに失敗した項目があります” fi exit $EXIT_CODE EOF chmod +x scripts/health_check.sh echo “✅ health_check.sh 作成完了”

# 開発環境で動作確認 docker-compose -f docker-compose.dev.yml \ –env-file config/dev/.env.dev up -d # コンテナ状態確認 docker-compose -f docker-compose.dev.yml ps # 手動でETL実行テスト docker-compose -f docker-compose.dev.yml exec etl \ python -m src.etl sales_data.csv # 問題なければ停止 docker-compose -f docker-compose.dev.yml down

# デプロイスクリプトを実行 ./scripts/deploy.sh

# コンテナ状態確認 docker-compose -f docker-compose.prod.yml ps # リソース使用状況 docker stats –no-stream prod-postgres prod-etl # ログ確認 docker-compose -f docker-compose.prod.yml logs –tail 50 # データベース確認 docker exec prod-postgres psql -U prod_user -d prod_datawarehouse \ -c “SELECT COUNT(*) FROM sales;”

# crontabを編集 crontab -e # 毎日午前2時にバックアップ 0 2 * * * cd /path/to/production-deploy && ./scripts/backup.sh >> logs/backup.log 2>&1 # 毎時ヘルスチェック 0 * * * * cd /path/to/production-deploy && ./scripts/health_check.sh >> logs/health.log 2>&1

# リアルタイムログ docker-compose -f docker-compose.prod.yml logs -f # 特定のサービスのみ docker-compose -f docker-compose.prod.yml logs -f etl # 最新100行（タイムスタンプ付き） docker-compose -f docker-compose.prod.yml logs –tail 100 -t # エラーログのみ抽出 docker-compose -f docker-compose.prod.yml logs 2>&1 | grep -i error

# ディスク使用状況 df -h # Dockerのディスク使用状況 docker system df # 未使用リソースのクリーンアップ（注意して実行） docker system prune -a –volumes # 古いイメージのみ削除 docker image prune -a –filter “until=168h” # 7日以上前

# 特定のサービスを再起動 docker-compose -f docker-compose.prod.yml –env-file config/prod/.env.prod restart etl # すべてのサービスを再起動 docker-compose -f docker-compose.prod.yml –env-file config/prod/.env.prod restart # 設定変更後の再起動（コンテナ再作成） docker-compose -f docker-compose.prod.yml –env-file config/prod/.env.prod up -d –force-recreate