# EMRクラスター作成時にスポットインスタンスを指定

aws emr create-cluster \
    --name "spark-spot-cluster" \
    --release-label emr-7.0.0 \
    --applications Name=Spark \
    --instance-groups \
        InstanceGroupType=MASTER,InstanceType=m5.xlarge,InstanceCount=1 \
        InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=2,BidPrice=0.10 \
    --region ap-northeast-1

# BidPrice: 支払う最大価格（オンデマンド価格より低く設定）

# Dataprocクラスター作成時にPreemptible VMを指定

gcloud dataproc clusters create my-spark-cluster \
    --region=asia-northeast1 \
    --master-machine-type=n1-standard-4 \
    --worker-machine-type=n1-standard-4 \
    --num-workers=2 \
    --num-secondary-workers=3 \
    --secondary-worker-type=preemptible

# secondary-workers: 追加のワーカー（Preemptible）
# 通常ワーカー2台 + Preemptible 3台 = 合計5台のワーカー

# EMR自動スケーリングポリシー（JSON）

{
  "Constraints": {
    "MinCapacity": 2,    // 最小ワーカー数
    "MaxCapacity": 10    // 最大ワーカー数
  },
  "Rules": [
    {
      "Name": "ScaleOut",
      "Action": {
        "SimpleScalingPolicyConfiguration": {
          "AdjustmentType": "CHANGE_IN_CAPACITY",
          "ScalingAdjustment": 2,      // 2台追加
          "CoolDown": 300              // 5分間隔
        }
      },
      "Trigger": {
        "CloudWatchAlarmDefinition": {
          "MetricName": "YARNMemoryAvailablePercentage",
          "ComparisonOperator": "LESS_THAN",
          "Threshold": 20              // メモリ20%以下で発動
        }
      }
    },
    {
      "Name": "ScaleIn",
      "Action": {
        "SimpleScalingPolicyConfiguration": {
          "AdjustmentType": "CHANGE_IN_CAPACITY",
          "ScalingAdjustment": -1,     // 1台削減
          "CoolDown": 300
        }
      },
      "Trigger": {
        "CloudWatchAlarmDefinition": {
          "MetricName": "YARNMemoryAvailablePercentage",
          "ComparisonOperator": "GREATER_THAN",
          "Threshold": 75              // メモリ75%以上で発動
        }
      }
    }
  ]
}

# Dataprocクラスター作成時に自動スケーリングを有効化

gcloud dataproc clusters create my-spark-cluster \
    --region=asia-northeast1 \
    --num-workers=2 \
    --enable-autoscaling \
    --autoscaling-policy=my-policy

# 自動スケーリングポリシーを事前に作成
gcloud dataproc autoscaling-policies create my-policy \
    --region=asia-northeast1 \
    --min-workers=2 \
    --max-workers=10 \
    --scale-up-factor=0.5 \
    --scale-down-factor=0.5 \
    --cooldown-period=120s

# AWS Budget アラート（CLI）

aws budgets create-budget \
    --account-id 123456789012 \
    --budget '{
        "BudgetName": "EMR-Monthly",
        "BudgetLimit": {"Amount": "100", "Unit": "USD"},
        "BudgetType": "COST",
        "TimeUnit": "MONTHLY"
    }' \
    --notifications-with-subscribers '[{
        "Notification": {
            "NotificationType": "ACTUAL",
            "ComparisonOperator": "GREATER_THAN",
            "Threshold": 80
        },
        "Subscribers": [{"SubscriptionType": "EMAIL", "Address": "alert@example.com"}]
    }]'

# 予算の80%を超えたらメール通知

# GCP Budget アラート（CLI）

gcloud billing budgets create \
    --billing-account=BILLING_ACCOUNT_ID \
    --display-name="Dataproc Monthly Budget" \
    --budget-amount=100USD \
    --threshold-rule=percent=0.8,basis=current-spend \
    --all-updates-rule.pubsub-topic=projects/PROJECT_ID/topics/budget-alerts

# EMR: CloudWatchでメトリクス確認

aws cloudwatch get-metric-statistics \
    --namespace AWS/ElasticMapReduce \
    --metric-name YARNMemoryAvailablePercentage \
    --dimensions Name=ClusterId,Value=j-XXXXX \
    --start-time 2024-01-01T00:00:00Z \
    --end-time 2024-01-01T23:59:59Z \
    --period 300 \
    --statistics Average

# Dataproc: Cloud Monitoringでメトリクス確認
# GCPコンソール → Monitoring → ダッシュボードで確認