文字摘要技術多模型比較與實作分析

pipe = pipeline("summarization", model="t5-large")
pipe_out = pipe(sample_text)
summaries["t5"] = "\n".join(sent_tokenize(pipe_out[0]["summary_text"]))

內容解密：

1. pipeline("summarization", model="t5-large")：載入T5大型模型，用於文字摘要任務。
2. pipe_out = pipe(sample_text)：使用T5模型生成摘要。
3. summaries["t5"] = "\n".join(sent_tokenize(pipe_out[0]["summary_text"]))：對生成的摘要進行句子分割，並儲存結果。

BART與PEGASUS模型的文字摘要比較

BART和PEGASUS都是根據編碼器-解碼器架構的模型，分別採用了不同的預訓練策略。BART結合了BERT和GPT-2的預訓練方案，而PEGASUS則透過預測被遮蔽的句子來進行預訓練。

# BART模型
pipe = pipeline("summarization", model="facebook/bart-large-cnn")
pipe_out = pipe(sample_text)
summaries["bart"] = "\n".join(sent_tokenize(pipe_out[0]["summary_text"]))

# PEGASUS模型
pipe = pipeline("summarization", model="google/pegasus-cnn_dailymail")
pipe_out = pipe(sample_text)
summaries["pegasus"] = pipe_out[0]["summary_text"].replace(" .<n>", ".\n")

內容解密：

1. pipeline("summarization", model="facebook/bart-large-cnn") 和 pipeline("summarization", model="google/pegasus-cnn_dailymail")：分別載入BART和PEGASUS模型，用於文字摘要任務。
2. pipe_out = pipe(sample_text)：使用相應模型生成摘要。
3. summaries["bart"] 和 summaries["pegasus"]：儲存生成的摘要結果。

不同模型的摘要結果比較

透過比較GPT-2、T5、BART和PEGASUS四種模型的摘要結果，可以觀察到它們在文字摘要任務上的不同表現。這些模型的訓練資料和預訓練目標各不相同，因此在生成摘要時展現出不同的特點。

print("GROUND TRUTH")
print(dataset["train"][1]["highlights"])
print("")
for model_name in summaries:
    print(model_name.upper())
    print(summaries[model_name])
    print("")

內容解密：

1. print(dataset["train"][1]["highlights"])：列印真實的摘要結果作為對照。
2. for model_name in summaries:：遍歷summaries字典，列印每個模型的摘要結果。

自動文字摘要評估：BLEU 與 ROUGE 指標解析

在自然語言處理領域，自動文字摘要是一項極具挑戰性的任務。為了評估不同模型生成的摘要品質，研究人員開發了多種評估指標，其中 BLEU 和 ROUGE 是最常用的兩種指標。

BLEU 指標：根據精確度的評估方法

BLEU（Bilingual Evaluation Understudy）指標最初用於評估機器翻譯的品質，但後來也被廣泛應用於文字摘要等其他自然語言生成任務。BLEU 的核心思想是透過比較生成文字與參考文字之間的 n-gram 相似度來評估生成文字的品質。

BLEU 的計算方法

BLEU 的計算根據修改後的精確度（modified precision）。首先，統計生成文字中出現在參考文字中的 n-gram 數量，然後除以生成文字中的 n-gram 總數。為了避免過度重複的生成文字獲得高分，BLEU 對 n-gram 的計數進行了裁剪（clipping），即一個 n-gram 的計數不會超過它在參考文字中出現的次數。

對於單個句子，BLEU 的計算公式如下：

[ p_n = \frac{\sum_{n\text{-gram} \in \text{snt’}} \text{Count}{\text{clip}}(n\text{-gram})}{\sum{n\text{-gram} \in \text{snt}} \text{Count}(n\text{-gram})} ]

對於整個語料函式庫，BLEU 的計算需要對所有句子進行匯總：

[ p_n = \frac{\sum_{\text{snt} \in C} \sum_{n\text{-gram} \in \text{snt’}} \text{Count}{\text{clip}}(n\text{-gram})}{\sum{\text{snt’} \in C} \sum_{n\text{-gram} \in \text{snt}} \text{Count}(n\text{-gram})} ]

為了彌補 BLEU 偏向短句子的問題，引入了簡潔懲罰（brevity penalty）：

[ \text{BP} = \min\left(1, e^{1 - \frac{\ell_{\text{ref}}}{\ell_{\text{gen}}}}\right) ]

最終的 BLEU 分數是簡潔懲罰與 n-gram 精確度的幾何平均值。

ROUGE 指標：根據召回率的評估方法

ROUGE（Recall-Oriented Understudy for Gisting Evaluation）指標主要用於評估自動摘要系統的品質。與 BLEU 不同，ROUGE 更關注召回率，即參考摘要中的 n-gram 有多少出現在生成摘要中。

ROUGE 的計算方法

ROUGE-N 是 ROUGE 系列中的一個指標，用於計算參考摘要與生成摘要之間的 n-gram 召回率：

[ \text{ROUGE-}N = \frac{\sum_{\text{snt} \in {\text{reference summaries}}} \sum_{n\text{-gram} \in \text{snt}} \text{Count}{\text{match}}(n\text{-gram})}{\sum{\text{snt} \in {\text{reference summaries}}} \sum_{n\text{-gram} \in \text{snt}} \text{Count}(n\text{-gram})} ]

ROUGE-L 則是根據最長公共子序列（LCS）來計算召回率和精確度，並結合 F-measure 來評估生成摘要的品質。

內容解密：

本段落詳細介紹了 BLEU 和 ROUGE 指標的計算方法和特點。BLEU 根據修改後的精確度，透過比較生成文字和參考文字之間的 n-gram 相似度來評估生成文字的品質。ROUGE 則更關注召回率，計算參考摘要中的 n-gram 有多少出現在生成摘要中。兩種指標在自動文字摘要評估中各有其優勢和適用場景。

在未來，自然語言處理領域可能會出現更多樣化和精細化的評估指標，以更好地衡量自動文字摘要系統的效能。同時，如何結合多種指標進行綜合評估，也將是研究人員需要繼續探索的問題。

內容解密：

本段落探討了自動文字摘要評估指標。隨著自然語言處理技術的不斷進步，未來的評估指標可能會更加多樣化和精細化，以滿足不同的應用需求。同時，如何綜合利用多種指標進行評估，也是一個值得深入研究的課題。

評估生成文字的品質：BLEU 與 ROUGE 分數

在自然語言處理（NLP）領域，評估生成文字的品質是一項具有挑戰性的任務。為了量化生成文字與參考文字之間的相似度，研究人員開發了多種評估指標，其中最為人熟知的就是 BLEU 和 ROUGE 分數。

BLEU 分數

BLEU（Bilingual Evaluation Understudy）分數是一種廣泛用於評估機器翻譯和文字生成品質的指標。它透過比較生成文字和參考文字之間的 n-gram 重疊程度來計算分數。

BLEU 的計算

BLEU 分數的計算涉及以下幾個步驟：

1. n-gram 精確度計算：計算生成文字中 n-gram 在參考文字中出現的比例。
2. 修正精確度：為了避免生成文字重複使用相同的詞彙，需要對精確度進行修正。
3. 長度懲罰：如果生成文字的長度遠小於參考文字，則需要施加懲罰。

最終的 BLEU 分數是透過計算幾何平均值得到的，通常使用 BLEU-4，即考慮到 1-gram 至 4-gram 的情況。

from datasets import load_metric
bleu_metric = load_metric("sacrebleu")

# 新增預測結果和參考答案
bleu_metric.add(prediction="the cat is on mat", reference=["the cat is on the mat"])

# 計算 BLEU 分數
results = bleu_metric.compute(smooth_method="floor", smooth_value=0)
results["precisions"] = [np.round(p, 2) for p in results["precisions"]]

# 顯示結果
pd.DataFrame.from_dict(results, orient="index", columns=["Value"])

BLEU 的優缺點

BLEU 分數的優點在於它能夠評估生成文字的精確度，特別是在機器翻譯任務中。然而，它也存在一些缺點，例如：

• 未考慮同義詞替換的情況。
• 對 tokenization 方法敏感。

內容解密：

1. n-gram 精確度計算：這裡指的是計算生成文字中各個 n-gram（如單詞、雙片語等）在參考文字中出現的頻率，以此來評估生成文字的準確性。
2. 修正精確度：由於生成文字可能會重複某些詞彙，這一步驟是為了避免這種情況對評估結果的影響。
3. 長度懲罰：如果生成文字過短，則會被視為品質較低，因為它可能沒有完整地表達出參考文字中的資訊。

ROUGE 分數

ROUGE（Recall-Oriented Understudy for Gisting Evaluation）分數是一種專門為摘要生成等任務設計的評估指標。它關注的是生成文字中是否包含了參考文字中的重要資訊，因此更側重於評估召回率。

ROUGE 的計算

ROUGE 分數的計算與 BLEU 類別似，但它關注的是參考文字中的 n-gram 在生成文字中出現的比例。

ROUGE-N 的公式如下：

ROUGE-N = ∑(snt’ ∈ C) ∑(n-gram ∈ snt’) Count_match(n-gram) / ∑(snt’ ∈ C) ∑(n-gram ∈ snt’) Count(n-gram)

其中，Count_match(n-gram) 表示 n-gram 在生成文字中出現的次數，Count(n-gram) 表示 n-gram 在參考文字中出現的總次數。

內容解密：

1. ROUGE-N 公式：這個公式用於計算 ROUGE 分數，分子表示參考文字中的 n-gram 在生成文字中匹配的次數，分母表示參考文字中 n-gram 的總數。
2. 召回率導向：ROUGE 分數更關注於評估生成文字是否包含了參考文字中的重要資訊，因此它是一種召回率導向的評估指標。