# ======================================== # 必要なライブラリのインストール # ======================================== # transformers: BERTなどの事前学習モデル # datasets: Hugging Faceのデータセット # seqeval: NER専用の評価ライブラリ !pip install transformers==4.35.0 datasets==2.14.0 seqeval -q

# ======================================== # ライブラリのインポート # ======================================== import torch from transformers import ( BertTokenizerFast, # 高速トークナイザー BertForTokenClassification, # トークン分類用BERT Trainer, TrainingArguments ) from datasets import load_dataset from seqeval.metrics import ( classification_report, f1_score, precision_score, recall_score ) import numpy as np # GPU確認 device = torch.device(‘cuda’ if torch.cuda.is_available() else ‘cpu’) print(f”Using device: {device}”) if torch.cuda.is_available(): print(f”GPU: {torch.cuda.get_device_name(0)}”)

# ======================================== # CoNLL-2003データセットの読み込み # ======================================== # load_dataset: Hugging Faceからデータセットをダウンロード # ‘conll2003’: 英語NERの標準データセット dataset = load_dataset(‘conll2003’) print(“=== データセットの構造 ===”) print(dataset)

# ======================================== # サンプルデータの確認 # ======================================== # 1つ目のサンプルを取得 example = dataset[‘train’][0] print(“=== サンプルデータ ===”) print(f”トークン: {example[‘tokens’]}”) print(f”NERタグ（数値）: {example[‘ner_tags’]}”)

# ======================================== # タグの定義を確認 # ======================================== # データセットからタグ名を取得 tag_names = dataset[‘train’].features[‘ner_tags’].feature.names print(“=== タグ一覧 ===”) for i, tag in enumerate(tag_names): print(f” {i}: {tag}”) # タグIDとタグ名の変換辞書を作成 id2tag = {i: tag for i, tag in enumerate(tag_names)} tag2id = {tag: i for i, tag in enumerate(tag_names)}

# ======================================== # サンプルを見やすく表示 # ======================================== print(“=== サンプルの詳細 ===”) print(f”{‘トークン’:<15} {'タグID':<8} {'タグ名'}") print("-" * 35) for token, tag_id in zip(example['tokens'], example['ner_tags']): tag_name = id2tag[tag_id] print(f"{token:<15} {tag_id:<8} {tag_name}")

# ======================================== # トークナイザーの読み込み # ======================================== # bert-base-cased: 大文字小文字を区別するBERT # NERでは固有名詞の大文字が重要なので cased を使用 model_name = ‘bert-base-cased’ # BertTokenizerFast: 高速版トークナイザー # word_ids() メソッドが使えるのでFast版を使用 tokenizer = BertTokenizerFast.from_pretrained(model_name) print(f”トークナイザー: {model_name}”) print(f”語彙サイズ: {tokenizer.vocab_size}”)

# ======================================== # サブワード分割の確認 # ======================================== # サンプルテキスト sample_tokens = [‘EU’, ‘rejects’, ‘German’, ‘call’] # 各単語をトークン化 print(“=== サブワード分割の例 ===”) for word in sample_tokens: sub_tokens = tokenizer.tokenize(word) print(f” {word} → {sub_tokens}”)

# ======================================== # ラベルアライメント関数 # ======================================== def tokenize_and_align_labels(examples): “”” トークン化してラベルをアライメントする関数 Args: examples: データセットのバッチ Returns: トークン化されたデータ（ラベル付き） “”” # トークン化 # is_split_into_words=True: 既に単語分割済みのリストを入力 tokenized_inputs = tokenizer( examples[‘tokens’], truncation=True, # 最大長を超えたらカット is_split_into_words=True, # 単語リストとして入力 padding=’max_length’, # 最大長までパディング max_length=128 # 最大128トークン ) labels = [] # 各サンプルについてラベルをアライメント for i, label in enumerate(examples[‘ner_tags’]): # word_ids: 各トークンが元の何番目の単語に対応するか # 例: [None, 0, 1, 1, 2, 3, None, None, …] # [CLS] EU reject ##s German call [SEP] [PAD] word_ids = tokenized_inputs.word_ids(batch_index=i) previous_word_idx = None label_ids = [] for word_idx in word_ids: # 特殊トークン（[CLS], [SEP], [PAD]）の場合 # word_idxはNoneになる if word_idx is None: label_ids.append(-100) # 無視 # 新しい単語の最初のトークン elif word_idx != previous_word_idx: label_ids.append(label[word_idx]) # ラベルを付与 # サブワードの2番目以降 else: label_ids.append(-100) # 無視 previous_word_idx = word_idx labels.append(label_ids) tokenized_inputs[‘labels’] = labels return tokenized_inputs print(“ラベルアライメント関数を定義しました”)

# ======================================== # データセット全体のトークン化 # ======================================== # map: 各サンプルに関数を適用 # batched=True: バッチ処理で高速化 # remove_columns: 不要な列を削除 print(“トークン化を開始…”) tokenized_datasets = dataset.map( tokenize_and_align_labels, batched=True, remove_columns=dataset[‘train’].column_names ) print(“トークン化完了！”) print(“\n=== トークン化後のデータ構造 ===”) print(tokenized_datasets)

# ======================================== # モデルの読み込み # ======================================== # BertForTokenClassification: トークン分類用のBERT # num_labels: タグの数（9個） model = BertForTokenClassification.from_pretrained( model_name, num_labels=len(tag_names) ) # GPUに転送 model = model.to(device) print(f”モデル: {model_name}”) print(f”タグ数: {len(tag_names)}”) print(f”パラメータ数: {sum(p.numel() for p in model.parameters()):,}”)

# ======================================== # 評価指標の定義（Entity-level） # ======================================== def compute_metrics(eval_pred): “”” Entity-levelの評価指標を計算 Args: eval_pred: (予測結果, 正解ラベル)のタプル Returns: precision, recall, f1の辞書 “”” predictions, labels = eval_pred # logitsから予測クラスを取得 # axis=2: 各トークンの最大値のインデックス predictions = np.argmax(predictions, axis=2) # -100を除外してタグ名に変換 true_labels = [] true_predictions = [] for prediction, label in zip(predictions, labels): true_label = [] true_prediction = [] for pred, lab in zip(prediction, label): # -100（特殊トークン、サブワード）は除外 if lab != -100: true_label.append(id2tag[lab]) true_prediction.append(id2tag[pred]) true_labels.append(true_label) true_predictions.append(true_prediction) # seqevalでEntity-level評価 results = { ‘precision’: precision_score(true_labels, true_predictions), ‘recall’: recall_score(true_labels, true_predictions), ‘f1’: f1_score(true_labels, true_predictions) } return results print(“評価指標関数を定義しました”)

# ======================================== # 訓練設定 # ======================================== training_args = TrainingArguments( output_dir=’./ner_results’, # 出力ディレクトリ num_train_epochs=3, # エポック数 per_device_train_batch_size=16, # 訓練バッチサイズ per_device_eval_batch_size=32, # 評価バッチサイズ learning_rate=2e-5, # 学習率 weight_decay=0.01, # 重み減衰 warmup_steps=500, # ウォームアップ logging_steps=500, # ログ出力間隔 evaluation_strategy=’epoch’, # 評価タイミング save_strategy=’epoch’, # 保存タイミング load_best_model_at_end=True, # 最良モデルを保持 metric_for_best_model=’f1′, # 最良の基準 fp16=True # 混合精度訓練 ) print(“訓練設定を定義しました”)

# ======================================== # 訓練の実行 # ======================================== # Trainerの初期化 trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_datasets[‘train’], eval_dataset=tokenized_datasets[‘validation’], compute_metrics=compute_metrics ) # 訓練開始 print(“=” * 50) print(“訓練を開始します…”) print(“=” * 50) trainer.train() print(“\n訓練完了！”)

# ======================================== # テストデータでの評価 # ======================================== test_results = trainer.evaluate(tokenized_datasets[‘test’]) print(“=== テスト結果 ===”) for key, value in test_results.items(): if ‘eval_’ in key: metric_name = key.replace(‘eval_’, ”) print(f”{metric_name}: {value:.4f}”)

# ======================================== # 推論関数の作成 # ======================================== def predict_ner(text, model, tokenizer, id2tag, device): “”” テキストからエンティティを抽出する関数 Args: text: 入力テキスト model: 訓練済みモデル tokenizer: トークナイザー id2tag: タグIDからタグ名への辞書 device: デバイス Returns: entities: 抽出されたエンティティのリスト “”” # モデルを評価モードに model.eval() # トークン化 inputs = tokenizer( text, return_tensors=’pt’, truncation=True, max_length=128 ) inputs = {k: v.to(device) for k, v in inputs.items()} # 予測 with torch.no_grad(): outputs = model(**inputs) predictions = torch.argmax(outputs.logits, dim=2) # トークンとタグを取得 tokens = tokenizer.convert_ids_to_tokens(inputs[‘input_ids’][0]) tags = [id2tag[p.item()] for p in predictions[0]] # エンティティを抽出 entities = [] current_entity = None for i, (token, tag) in enumerate(zip(tokens, tags)): # 特殊トークンをスキップ if token in [‘[CLS]’, ‘[SEP]’, ‘[PAD]’]: continue # サブワードの処理（##で始まるトークン） if token.startswith(‘##’): if current_entity: current_entity[‘text’] += token[2:] # ##を除去して追加 continue # B-タグ: 新しいエンティティの開始 if tag.startswith(‘B-‘): if current_entity: entities.append(current_entity) current_entity = { ‘text’: token, ‘type’: tag[2:] # ‘B-‘を除去 } # I-タグ: エンティティの継続 elif tag.startswith(‘I-‘) and current_entity: current_entity[‘text’] += ‘ ‘ + token # O-タグ: エンティティの終了 else: if current_entity: entities.append(current_entity) current_entity = None # 最後のエンティティを追加 if current_entity: entities.append(current_entity) return entities print(“推論関数を定義しました”)

# ======================================== # 予測の実行 # ======================================== # テスト用のテキスト test_texts = [ “Apple Inc. CEO Tim Cook announced a new product in San Francisco.”, “Barack Obama visited Paris and met with Emmanuel Macron.”, “Google’s headquarters is in Mountain View, California.” ] print(“=== NER予測結果 ===\n”) for text in test_texts: print(f”テキスト: {text}”) entities = predict_ner(text, model, tokenizer, id2tag, device) print(“抽出されたエンティティ:”) for entity in entities: print(f” • {entity[‘text’]} ({entity[‘type’]})”) print(“-” * 60 + “\n”)

# ======================================== # 詳細な評価レポート # ======================================== from seqeval.metrics import classification_report # 予測結果を取得 predictions = trainer.predict(tokenized_datasets[‘test’]) pred_labels = np.argmax(predictions.predictions, axis=2) true_labels = predictions.label_ids # タグ名に変換 y_true = [] y_pred = [] for prediction, label in zip(pred_labels, true_labels): true_label = [] pred_label = [] for pred, lab in zip(prediction, label): if lab != -100: true_label.append(id2tag[lab]) pred_label.append(id2tag[pred]) y_true.append(true_label) y_pred.append(pred_label) # 詳細レポート print(“=== 詳細な評価レポート ===”) print(classification_report(y_true, y_pred))

# ======================================== # 日本語NERの簡単な例（Hugging Face Pipeline） # ======================================== from transformers import pipeline # 日本語NERパイプライン # stockmark/stockmark-13b などの日本語対応モデルを使用 # ここでは多言語モデルで代用 ner_jp = pipeline( ‘ner’, model=’xlm-roberta-large-finetuned-conll03-english’, aggregation_strategy=’simple’ ) # テスト（英語モデルなので日本語は限定的） text_en = “Toyota’s headquarters is in Aichi, Japan.” print(“=== 多言語モデルでのNER ===”) print(f”テキスト: {text_en}”) results = ner_jp(text_en) for r in results: print(f” {r[‘word’]} ({r[‘entity_group’]})”)

# ======================================== # Hugging Face Pipelineの使用 # ======================================== from transformers import pipeline # 事前学習済みNERパイプライン # aggregation_strategy=’simple’: サブワードを集約 ner_pipeline = pipeline( ‘ner’, model=’dbmdz/bert-large-cased-finetuned-conll03-english’, aggregation_strategy=’simple’ ) # テスト text = “Microsoft was founded by Bill Gates in Seattle.” print(f”テキスト: {text}\n”) print(“抽出されたエンティティ:”) results = ner_pipeline(text) for result in results: print(f” • {result[‘word’]} ({result[‘entity_group’]}) ” f”[confidence: {result[‘score’]:.4f}]”)