# ======================================== # ツイート前処理関数 # ======================================== import re def clean_tweet(text): “”” ツイートテキストをクリーニング 処理内容: 1. @メンション（@username）を除去 2. URLを除去 3. ハッシュタグの#記号を除去（単語は残す） 4. 改行を空白に変換 5. 連続する空白を1つに “”” # @メンション除去 # \w+ は英数字とアンダースコアの連続 text = re.sub(r’@\w+’, ”, text) # URL除去（http:// または https://） text = re.sub(r’https?://\S+’, ”, text) # ハッシュタグの#を除去（単語は残す） # 例: “#AI” → “AI” text = text.replace(‘#’, ”) # 改行を空白に text = text.replace(‘\n’, ‘ ‘) # 連続する空白を1つに text = re.sub(r’\s+’, ‘ ‘, text) # 前後の空白を削除 text = text.strip() return text # テスト sample = “@user これは #AI の時代です https://example.com” print(f”Before: {sample}”) print(f”After: {clean_tweet(sample)}”)

# ======================================== # 3クラス感情分類モデル # ======================================== from transformers import BertForSequenceClassification # ラベルマッピング id2label = {0: ‘ネガティブ’, 1: ‘ニュートラル’, 2: ‘ポジティブ’} label2id = {‘ネガティブ’: 0, ‘ニュートラル’: 1, ‘ポジティブ’: 2} # モデルの読み込み model = BertForSequenceClassification.from_pretrained( ‘cl-tohoku/bert-base-japanese-v2’, num_labels=3, # 3クラス分類 id2label=id2label, label2id=label2id ) print(f”ラベル: {list(id2label.values())}”)

# ======================================== # 時系列グラフとワードクラウド # ======================================== import matplotlib.pyplot as plt from wordcloud import WordCloud # 時系列グラフ（感情の推移） def plot_sentiment_timeline(df): “”” 日付ごとの感情分布を可視化 “”” # 日付でグループ化し、感情ごとにカウント daily_sentiment = df.groupby([‘date’, ‘sentiment’]).size().unstack(fill_value=0) # プロット fig, ax = plt.subplots(figsize=(12, 6)) daily_sentiment.plot(kind=’area’, stacked=True, ax=ax, alpha=0.7) ax.set_xlabel(‘日付’) ax.set_ylabel(‘ツイート数’) ax.set_title(‘感情の時系列推移’) ax.legend(title=’感情’) plt.tight_layout() return fig # ワードクラウド（感情別） def create_wordcloud(texts, title): “”” テキストからワードクラウドを生成 “”” # 日本語フォントのパス（環境に合わせて変更） font_path = ‘/usr/share/fonts/truetype/fonts-japanese-gothic.ttf’ # テキストを結合 all_text = ‘ ‘.join(texts) # ワードクラウド生成 wc = WordCloud( font_path=font_path, width=800, height=400, background_color=’white’ ).generate(all_text) # プロット fig, ax = plt.subplots(figsize=(10, 5)) ax.imshow(wc, interpolation=’bilinear’) ax.axis(‘off’) ax.set_title(title) return fig

# ======================================== # Gradio ダッシュボード # ======================================== import gradio as gr def analyze_sentiment(text): “”” 単一ツイートの感情分析 “”” # 前処理 text = clean_tweet(text) # 推論 result = classifier.predict(text, return_probs=True) return result[‘category’], result[‘all_probabilities’] # ダッシュボード demo = gr.Interface( fn=analyze_sentiment, inputs=gr.Textbox( lines=3, placeholder=”ツイートを入力してください…”, label=”ツイートテキスト” ), outputs=[ gr.Textbox(label=”感情”), gr.Label(label=”確率分布”, num_top_classes=3) ], title=”📊 Twitter感情分析ダッシュボード”, description=”ツイートの感情（ポジティブ/ネガティブ/ニュートラル）を分析します”, examples=[ [“今日は天気が良くて気分最高！”], [“電車が遅延して最悪だ…”], [“明日の会議の準備をしています”] ] ) demo.launch(share=True)

# ======================================== # 複数レビューの統合要約 # ======================================== from transformers import T5Tokenizer, T5ForConditionalGeneration # T5モデルの読み込み tokenizer = T5Tokenizer.from_pretrained(‘t5-base’) model = T5ForConditionalGeneration.from_pretrained(‘t5-base’) def summarize_reviews(reviews, max_reviews=10): “”” 複数のレビューを統合して要約 Args: reviews: レビューテキストのリスト max_reviews: 使用するレビュー数の上限 Returns: str: 要約文 “”” # 上位のレビューを選択（長すぎる場合は制限） selected_reviews = reviews[:max_reviews] # レビューを結合 # 各レビューを「レビュー:」で区切る combined_text = ‘ ‘.join([ f”レビュー: {review}” for review in selected_reviews ]) # T5の入力形式 input_text = f”summarize: {combined_text}” # トークン化 inputs = tokenizer( input_text, max_length=1024, truncation=True, return_tensors=’pt’ ) # 要約生成 outputs = model.generate( **inputs, max_length=150, min_length=50, num_beams=4, length_penalty=2.0, early_stopping=True ) # デコード summary = tokenizer.decode(outputs[0], skip_special_tokens=True) return summary

# ======================================== # ポジティブ・ネガティブを分けて要約 # ======================================== def analyze_and_summarize(reviews, ratings): “”” レビューを感情で分けて要約 Args: reviews: レビューテキストのリスト ratings: 評価スコア（1-5）のリスト Returns: dict: ポジティブ要約、ネガティブ要約、総合要約 “”” # 評価スコアで分類 # 4-5点: ポジティブ # 1-2点: ネガティブ # 3点: ニュートラル positive_reviews = [r for r, s in zip(reviews, ratings) if s >= 4] negative_reviews = [r for r, s in zip(reviews, ratings) if s <= 2] # それぞれ要約 positive_summary = summarize_reviews(positive_reviews) if positive_reviews else "ポジティブなレビューはありません" negative_summary = summarize_reviews(negative_reviews) if negative_reviews else "ネガティブなレビューはありません" overall_summary = summarize_reviews(reviews) return { 'positive': positive_summary, 'negative': negative_summary, 'overall': overall_summary, 'stats': { 'total': len(reviews), 'positive_count': len(positive_reviews), 'negative_count': len(negative_reviews) } }

# ======================================== # ROUGE評価 # ======================================== from rouge_score import rouge_scorer def evaluate_summary(generated, reference): “”” 要約の品質をROUGEで評価 Args: generated: 生成された要約 reference: 参照要約（人手で作成） Returns: dict: ROUGEスコア “”” scorer = rouge_scorer.RougeScorer( [‘rouge1’, ‘rouge2’, ‘rougeL’], use_stemmer=True ) scores = scorer.score(reference, generated) return { ‘rouge1’: scores[‘rouge1’].fmeasure, ‘rouge2’: scores[‘rouge2’].fmeasure, ‘rougeL’: scores[‘rougeL’].fmeasure } # テスト generated = “この商品は品質が良く、価格も手頃です。” reference = “この商品は高品質で、コストパフォーマンスに優れています。” scores = evaluate_summary(generated, reference) print(f”ROUGE-L: {scores[‘rougeL’]:.4f}”)

# ======================================== # FAQデータの準備 # ======================================== # FAQデータ（質問と回答のペア） faq_data = [ { ‘question’: ‘配送にかかる時間はどれくらいですか？’, ‘answer’: ‘通常、ご注文から3〜5営業日でお届けします。お届け先や商品によっては異なる場合があります。’ }, { ‘question’: ‘返品はできますか？’, ‘answer’: ‘商品到着後30日以内であれば返品可能です。未使用・未開封の状態に限ります。’ }, { ‘question’: ‘支払い方法は何がありますか？’, ‘answer’: ‘クレジットカード、銀行振込、コンビニ決済、代金引換をご利用いただけます。’ }, { ‘question’: ‘送料はいくらですか？’, ‘answer’: ‘全国一律500円です。5,000円以上のお買い上げで送料無料となります。’ }, { ‘question’: ‘ポイントの有効期限はありますか？’, ‘answer’: ‘ポイントの有効期限は最終ご利用日から1年間です。’ }, # … さらに追加 ] print(f”FAQ数: {len(faq_data)}”)

# ======================================== # BERTで質問を埋め込み # ======================================== import torch from transformers import BertJapaneseTokenizer, BertModel # モデルとトークナイザー tokenizer = BertJapaneseTokenizer.from_pretrained(‘cl-tohoku/bert-base-japanese-v2’) bert_model = BertModel.from_pretrained(‘cl-tohoku/bert-base-japanese-v2’) device = torch.device(‘cuda’ if torch.cuda.is_available() else ‘cpu’) bert_model = bert_model.to(device) bert_model.eval() def embed_text(text): “”” テキストをBERTで埋め込みベクトルに変換 Args: text: 入力テキスト Returns: torch.Tensor: 埋め込みベクトル（768次元） “”” # トークン化 inputs = tokenizer( text, max_length=128, padding=’max_length’, truncation=True, return_tensors=’pt’ ) inputs = {k: v.to(device) for k, v in inputs.items()} # BERTで埋め込み with torch.no_grad(): outputs = bert_model(**inputs) # [CLS]トークンの埋め込みを使用 # [CLS]は文全体の意味を表す embedding = outputs.last_hidden_state[:, 0, :] return embedding

# ======================================== # 全FAQを埋め込み # ======================================== def embed_all_faqs(faq_data): “”” 全FAQの質問を埋め込み “”” embeddings = [] for faq in faq_data: emb = embed_text(faq[‘question’]) embeddings.append(emb) # 結合して1つのテンソルに return torch.cat(embeddings, dim=0) # 埋め込み実行 print(“FAQを埋め込み中…”) faq_embeddings = embed_all_faqs(faq_data) print(f”埋め込み形状: {faq_embeddings.shape}”)

# ======================================== # 類似質問の検索 # ======================================== def find_similar_faq(user_question, top_k=3, threshold=0.7): “”” ユーザーの質問に最も近いFAQを検索 Args: user_question: ユーザーの質問 top_k: 返す候補数 threshold: 類似度の閾値 Returns: list: 類似FAQのリスト “”” # ユーザー質問を埋め込み user_emb = embed_text(user_question) # コサイン類似度を計算 # cos_sim = (A・B) / (||A|| * ||B||) similarities = torch.nn.functional.cosine_similarity( user_emb, # shape: (1, 768) faq_embeddings # shape: (N, 768) ) # 上位k件を取得 top_scores, top_indices = similarities.topk(top_k) results = [] for score, idx in zip(top_scores, top_indices): score_value = score.item() idx_value = idx.item() results.append({ ‘question’: faq_data[idx_value][‘question’], ‘answer’: faq_data[idx_value][‘answer’], ‘score’: score_value, ‘above_threshold’: score_value >= threshold }) return results

# ======================================== # テスト # ======================================== user_question = “届くまでどのくらいかかりますか？” results = find_similar_faq(user_question) print(f”質問: {user_question}\n”) for i, result in enumerate(results, 1): print(f”[候補 {i}] スコア: {result[‘score’]:.4f}”) print(f” Q: {result[‘question’]}”) print(f” A: {result[‘answer’]}”) print()

# ======================================== # FAQチャットボット # ======================================== def faq_chatbot(user_question): “”” FAQチャットボットの回答関数 Args: user_question: ユーザーの質問 Returns: str: 回答 “”” # 類似FAQを検索 results = find_similar_faq(user_question, top_k=3, threshold=0.7) # 最も類似度が高いものを確認 top_result = results[0] if top_result[‘above_threshold’]: # 閾値を超えていれば回答 response = f”{top_result[‘answer’]}\n\n” response += f”（類似度: {top_result[‘score’]:.2%}）” else: # 閾値以下なら回答できない response = “申し訳ございません。該当するFAQが見つかりませんでした。\n\n” response += “以下の質問に近いでしょうか？\n” for i, r in enumerate(results[:3], 1): response += f”{i}. {r[‘question’]}\n” return response

# ======================================== # Gradioチャットインターフェース # ======================================== import gradio as gr demo = gr.ChatInterface( fn=faq_chatbot, title=”💬 FAQチャットボット”, description=”ご質問をどうぞ。よくある質問にお答えします。”, examples=[ “届くまでどのくらいかかりますか？”, “返品したいのですが”, “支払い方法を教えてください” ] ) demo.launch(share=True)