命名實體識別模型訓練實戰:Transformer 與傳統架構效能比較

#!/usr/bin/env bash

# 產生初始訓練配置檔案
# --lang 指定目標語言
# --pipeline 指定處理管線組件
# --optimize 設定優化目標(efficiency 或 accuracy)
# --gpu 啟用 GPU 加速支援
python -m spacy init config base_config.cfg \
    --lang zh \
    --pipeline ner \
    --optimize efficiency \
    --gpu \
    --force

# 填充配置檔案的詳細參數設定
# 將基礎配置擴展為完整的訓練配置
python -m spacy init fill-config base_config.cfg training_config.cfg

# 驗證配置檔案的有效性
python -m spacy debug config training_config.cfg

# 使用完整配置檔案執行模型訓練
# --output 指定模型輸出目錄
# --paths.train 指定訓練資料路徑
# --paths.dev 指定驗證資料路徑
# --gpu-id 指定使用的 GPU 裝置編號
python -m spacy train training_config.cfg \
    --output ./ner_models \
    --paths.train ./data/train.spacy \
    --paths.dev ./data/dev.spacy \
    --gpu-id 0

# 評估訓練完成的模型效能
python -m spacy evaluate ./ner_models/model-best ./data/test.spacy --gpu-id 0

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import spacy
from spacy.tokens import DocBin
from pathlib import Path
import random
from typing import List, Tuple, Dict

class NERModelTrainer:
    """
    命名實體識別模型訓練管理類別
    提供完整的訓練資料準備與模型訓練流程控制
    
    Attributes:
        model_name (str): 基礎模型名稱
        output_dir (Path): 模型輸出目錄路徑
    """
    
    def __init__(self, model_name: str = "zh_core_web_sm", 
                 output_dir: str = "./ner_models"):
        """
        初始化訓練器
        
        Parameters:
        -----------
        model_name : str
            spaCy 基礎模型名稱
        output_dir : str
            訓練完成模型的輸出目錄
        """
        self.model_name = model_name
        self.output_dir = Path(output_dir)
        self.output_dir.mkdir(parents=True, exist_ok=True)
        
        try:
            self.nlp = spacy.load(model_name)
        except OSError:
            print(f"模型 {model_name} 未安裝,正在下載...")
            spacy.cli.download(model_name)
            self.nlp = spacy.load(model_name)
    
    def prepare_training_data(self, 
                            examples: List[Tuple[str, Dict]],
                            output_path: str) -> None:
        """
        準備訓練資料並轉換為 spaCy 格式
        
        Parameters:
        -----------
        examples : List[Tuple[str, Dict]]
            訓練範例列表,格式為 (文本, {"entities": [(起始, 結束, 標籤)]})
        output_path : str
            輸出檔案路徑
        """
        doc_bin = DocBin()
        
        for text, annotations in examples:
            doc = self.nlp.make_doc(text)
            ents = []
            
            for start, end, label in annotations["entities"]:
                span = doc.char_span(start, end, label=label)
                if span is not None:
                    ents.append(span)
            
            doc.ents = ents
            doc_bin.add(doc)
        
        doc_bin.to_disk(output_path)
        print(f"訓練資料已儲存至: {output_path}")
    
    def train_model(self, 
                   config_path: str,
                   train_data_path: str,
                   dev_data_path: str,
                   n_iter: int = 30) -> None:
        """
        執行模型訓練流程
        
        Parameters:
        -----------
        config_path : str
            訓練配置檔案路徑
        train_data_path : str
            訓練資料路徑
        dev_data_path : str
            驗證資料路徑
        n_iter : int
            訓練迭代次數
        """
        print(f"開始訓練模型,迭代次數: {n_iter}")
        
        # 使用 spaCy CLI 進行訓練
        import subprocess
        
        cmd = [
            "python", "-m", "spacy", "train",
            config_path,
            "--output", str(self.output_dir),
            "--paths.train", train_data_path,
            "--paths.dev", dev_data_path,
            "--training.max_epochs", str(n_iter)
        ]
        
        subprocess.run(cmd, check=True)
        print(f"模型訓練完成,已儲存至: {self.output_dir}")
    
    def evaluate_model(self, 
                      model_path: str,
                      test_data_path: str) -> Dict:
        """
        評估訓練完成的模型效能
        
        Parameters:
        -----------
        model_path : str
            模型檔案路徑
        test_data_path : str
            測試資料路徑
        
        Returns:
        --------
        Dict
            包含各項評估指標的字典
        """
        import subprocess
        import json
        
        print(f"評估模型效能: {model_path}")
        
        cmd = [
            "python", "-m", "spacy", "evaluate",
            model_path,
            test_data_path,
            "--output", str(self.output_dir / "evaluation.json")
        ]
        
        subprocess.run(cmd, check=True)
        
        with open(self.output_dir / "evaluation.json", "r") as f:
            results = json.load(f)
        
        return results

# 使用範例
if __name__ == "__main__":
    
    # 準備訓練資料範例
    training_examples = [
        ("台北市政府位於信義區", {"entities": [(0, 5, "LOC"), (8, 11, "LOC")]}),
        ("王小明是台灣大學的教授", {"entities": [(0, 3, "PER"), (4, 8, "ORG")]}),
        ("蘋果公司發布新款 iPhone", {"entities": [(0, 4, "ORG"), (11, 17, "PRODUCT")]})
    ]
    
    # 初始化訓練器
    trainer = NERModelTrainer(
        model_name="zh_core_web_sm",
        output_dir="./custom_ner_model"
    )
    
    # 準備訓練資料
    trainer.prepare_training_data(
        examples=training_examples,
        output_path="./data/train.spacy"
    )
    
    print("命名實體識別模型訓練系統已就緒")