【Autoregressive（自己回帰）生成】 定義: 前の単語を条件として、次の単語を1つずつ生成する 数式: P(文全体) = P(w₁) × P(w₂|w₁) × P(w₃|w₁,w₂) × … 意味: ・w₁の確率 × w₂がw₁の後に来る確率 × w₃がw₁,w₂の後に来る確率… 【生成プロセスの例】 入力プロンプト: “Once upon a time” ステップ1: 入力: “Once upon a time” 予測: 次の単語の確率を計算 “there” (30%), “in” (20%), “the” (15%), … 選択: “there”（最も確率が高い） 出力: “Once upon a time there” ステップ2: 入力: “Once upon a time there” 予測: “was” (40%), “lived” (25%), … 選択: “was” 出力: “Once upon a time there was” ステップ3: 入力: “Once upon a time there was” 予測: “a” (35%), “an” (20%), … 選択: “a” 出力: “Once upon a time there was a” … （繰り返し） 終了条件: ・<EOS>（End of Sentence）トークンが生成される ・指定した最大長に達する 【図解】 “Once upon a time” → [GPT] → “there” (0.30) “in” (0.20) “the” (0.15) … 最も確率が高い “there” を選択 ↓ “Once upon a time there” → [GPT] → “was” (0.40) “lived” (0.25) …

【1. Greedy Search（貪欲探索）】 方法: 毎回、最も確率が高い単語を選ぶ 例: 確率: “the” (0.4), “a” (0.3), “an” (0.2), … 選択: “the”（常に最大） 利点: ✅ 決定論的（同じ入力なら同じ出力） ✅ 高速 欠点: ❌ 単調な文章 ❌ 同じフレーズの繰り返し 問題例: “The cat sat on the mat. The cat sat on the mat. The cat…” → 同じパターンの無限ループ 【2. Beam Search】 方法: 上位k個の「候補系列」を保持して探索 パラメータ: beam_size（通常3-10） 例（beam_size=2）: ステップ1: “I like” (0.3), “I love” (0.25) を保持 ステップ2: “I like cats” (0.15), “I like dogs” (0.12) “I love music” (0.14), “I love food” (0.10) → 上位2つ “I like cats”, “I love music” を保持 利点: ✅ Greedyより良い系列を見つけやすい 欠点: ❌ 依然として単調 ❌ 計算コスト増加 【3. Top-k Sampling】 方法: 確率上位k個からランダムにサンプリング パラメータ: k（通常30-50） 例（k=3）: 確率: “the” (0.4), “a” (0.3), “an” (0.2), “some” (0.05), … 候補: “the”, “a”, “an” の3つのみ 選択: この3つからランダム（確率に比例） 利点: ✅ 多様性が増す 欠点: ❌ kの値の選択が難しい ❌ 文脈によっては不適切 【4. Top-p (Nucleus) Sampling】← 推奨 方法: 累積確率がpになるまでの候補からサンプリング パラメータ: p（通常0.9-0.95） 例（p=0.9）: 確率: “the” (0.4), “a” (0.3), “an” (0.15), “some” (0.1), … 累積: 0.4 → 0.7 → 0.85 → 0.95 候補: “the”, “a”, “an”, “some”（累積が0.9を超えるまで） 選択: この候補からランダム 利点: ✅ 文脈に応じて候補数が自動調整 ✅ 多様かつ自然な生成 実務では Top-p が最も推奨されます 【5. Temperature】 方法: 確率分布の「尖り具合」を調整 パラメータ: T（Temperature） 計算: 新しい確率 = softmax(logits / T) 効果: T < 1.0: 分布が尖る → 確信的、保守的 T = 1.0: 元の分布のまま T > 1.0: 分布が平らに → ランダム、創造的 例: 元の確率: “the” (0.5), “a” (0.3), “an” (0.2) T=0.5: “the” (0.7), “a” (0.2), “an” (0.1) ← 尖る T=1.5: “the” (0.4), “a” (0.35), “an” (0.25) ← 平らに

【Temperature の解釈】 T = 0.3（低い）: ・確信的で保守的 ・予測可能な文章 ・事実的な内容向き T = 0.7（中程度）: ・バランスが良い ・多くの用途に適する ・推奨設定 T = 1.0（元の分布）: ・モデル本来の確率 ・やや創造的 T = 1.5（高い）: ・非常にランダム ・意味不明になりがち ・通常は使わない

【2つの要約アプローチ】 ■ Extractive（抽出型）要約 元の文から重要な文を「抽出」する 例: 元の文章: “AIは急速に発展しています。機械学習は AI の一分野です。 ディープラーニングは画像認識に革命をもたらしました。 今後も発展が期待されています。” 抽出型要約: “AIは急速に発展しています。 ディープラーニングは画像認識に革命をもたらしました。” ↑ 元の文をそのまま選択 特徴: ✅ 文法的に正しい（元の文を使用） ✅ 事実性が保証される ❌ 冗長になりがち ❌ 文の選択に限定される ■ Abstractive（生成型）要約 ← このステップで学ぶ 内容を理解して新しい文を「生成」する 例: 元の文章: （上と同じ） 生成型要約: “AI技術、特にディープラーニングは急速に発展し、 今後の進歩が期待されています。” ↑ 新しい表現で要約 特徴: ✅ 簡潔で自然な要約 ✅ 言い換えや統合が可能 ❌ ハルシネーション（事実誤認）のリスク ❌ 計算コストが高い

【T5要約のポイント】 1. 入力形式 “summarize: ” + テキスト → T5はこのプレフィックスでタスクを認識 2. 主要なパラメータ max_length: 要約の最大トークン数 min_length: 要約の最小トークン数 length_penalty: 長さへのペナルティ num_beams: Beam Searchの幅 3. 結果 元の記事: 723文字 要約: 234文字 → 約32%に圧縮！

【ROUGE（Recall-Oriented Understudy for Gisting Evaluation）】 定義: 生成された要約と参照要約の「重なり」を測定 3つの種類: ROUGE-1: 単語（unigram）の重なり ROUGE-2: 2単語の組（bigram）の重なり ROUGE-L: 最長共通部分列（LCS） 【ROUGE-1 の計算例】 参照: “The cat sat on the mat” 生成: “The cat is on the mat” 参照の単語: {The, cat, sat, on, the, mat} → 6個 生成の単語: {The, cat, is, on, the, mat} → 6個 共通の単語: {The, cat, on, the, mat} → 5個 Precision = 共通 / 生成 = 5/6 = 0.833 Recall = 共通 / 参照 = 5/6 = 0.833 F1 = 2 × P × R / (P + R) = 0.833 【ROUGE-2 の計算例】 参照のbigram: {The cat, cat sat, sat on, on the, the mat} 生成のbigram: {The cat, cat is, is on, on the, the mat} 共通: {The cat, on the, the mat} → 3個 Precision = 3/5 = 0.60 Recall = 3/5 = 0.60 F1 = 0.60 【ROUGE-L】 最長共通部分列（LCS）を使用 参照: “The cat sat on the mat” 生成: “The cat is on the mat” LCS: “The cat on the mat”（5単語） ROUGE-L は語順を考慮しつつ、連続でなくてもOK

【スコアの解釈】 ROUGE-1 F1 = 0.73 単語レベルで73%の重なり → 良好なスコア ROUGE-2 F1 = 0.46 bigramレベルで46%の重なり → 語順も部分的に一致 ROUGE-L F1 = 0.64 最長共通部分列で64% → 文の構造も類似 【ROUGEスコアの目安】 ・ROUGE-1 F1 > 0.4: 許容範囲 ・ROUGE-1 F1 > 0.5: 良好 ・ROUGE-1 F1 > 0.6: 優秀 ※ タスクやデータセットによって基準は異なる

【BLEU（Bilingual Evaluation Understudy）】 定義: 機械翻訳の評価指標として開発 テキスト生成の評価にも使用 計算: n-gramの一致率を計算 短い生成に対するペナルティ（Brevity Penalty） 【ROUGEとBLEUの違い】 ROUGE: Recall重視（参照の何%をカバーしたか） BLEU: Precision重視（生成の何%が正しいか） 用途: ROUGE: 要約の評価に多用 BLEU: 翻訳の評価に多用