LangChain 提供多種文字分割方法，從基本的字元分割到更進階的遞迴、語義和代理分割，滿足不同場景的需求。字元分割適用於簡單的文字分割，例如處理日誌檔案或串流資料，但對於結構化或長篇檔案，則需要更精細的分割策略。遞迴分割能保留文字結構，適用於具有標題、章節的檔案。語義分割則根據文字內容進行分割，適用於缺乏明確結構的文字，例如錄音轉檔或對話紀錄。代理分割綜合考慮內容和結構，適用於複雜的多層級檔案。選擇合適的分割方法和引數，才能有效保留文字的語義和結構，提升後續 NLP 任務的效能。
解決方案：生成假設性問題
為瞭解決這個問題，我們可以使用假設性問題來橋接使用者查詢和檔案內容之間的差距。這些問題強調了檔案中可用的具體資訊，使得檢索相關檔案變得更加容易。在RAG管道的生成步驟中，我們使用與這些假設性問題相關聯的原始文字片段。
文字分割方法
當面臨長篇檔案時，將其分割成較小的部分以建立嵌入和分析相似性是必要的。有一種基本的方法是使用字元分割器，它使用固定大小的視窗建立等長的文字塊。雖然這種方法簡單且在某些情況下有用，例如處理原始日誌檔案或實時資料流，但對於大多數情況，還是需要考慮使用遞迴分塊或檔案感知分塊等更先進的方法。
實作字元分割
以下是使用LangChain的CharacterTextSplitter實作字元分割的示例：
from langchain.text_splitter import CharacterTextSplitter
file_path = "../../datasets/text_files/blog_post_transformers.txt"
# 載入示例檔案
# 建立字元分割器
splitter = CharacterTextSplitter(chunk_size=100, overlap=0, separator=' ')
# 分割文字
chunks = splitter.split_file(file_path)
# 處理每個分塊
for chunk in chunks:
# 對每個分塊進行嵌入生成和分析
#...
在這個示例中，我們使用字元分割器將檔案分割成100個字元的塊，並確保不會在單詞中間進行分割。然後，我們可以對每個分塊進行嵌入生成和分析。
嵌入生成和分析
對於每個分塊，我們可以使用語言模型生成嵌入，並將其儲存在向量資料函式庫中。同時，儲存原始文字塊和有用的資料，如連結到原始檔案和頁面號，是非常重要的。
@startuml
skinparam backgroundColor #FEFEFE
skinparam componentStyle rectangle
title LangChain文字分割技術深度解析與實踐
package "自然語言處理流程" {
package "文本預處理" {
component [分詞 Tokenization] as token
component [詞性標註 POS Tagging] as pos
component [命名實體識別 NER] as ner
}
package "特徵提取" {
component [詞嵌入 Word Embedding] as embed
component [TF-IDF] as tfidf
component [詞袋模型 BoW] as bow
}
package "模型層" {
component [BERT/GPT] as transformer
component [LSTM/RNN] as rnn
component [分類器] as classifier
}
}
token --> pos : 序列標註
pos --> ner : 實體抽取
token --> embed : 向量化
embed --> transformer : 上下文編碼
transformer --> classifier : 任務輸出
note right of transformer
預訓練語言模型
捕捉語義關係
end note
@enduml
圖表翻譯：
上述流程圖描述了從文字分割到嵌入生成和儲存，最終到分析和檢索的過程。首先，文字被分割成較小的塊，以便進行嵌入生成。然後，使用語言模型對每個塊生成嵌入，並將其儲存在向量資料函式庫中。最後，對儲存的嵌入進行分析和檢索，以實作快速和準確的問答系統。
文字分割技術：從字元分割到語義分割
在文字處理中，分割文字是一個重要的步驟，尤其是在自然語言處理（NLP）任務中。傳統的字元分割方法雖然簡單，但往往無法保留文字的結構和意義。因此，出現了多種更先進的文字分割技術，包括遞迴分割、語義分割和代理分割等。
遞迴文字分割
遞迴文字分割是一種能夠保留文字結構的分割方法。它透過識別文字中的標題、章節和段落等結構元素來進行分割。這種方法尤其適合於具有清晰結構的傳統文字檔案。例如，使用 RecursiveCharacterTextSplitter 類別，可以根據新行、空格和標點符號等字元來進行遞迴分割。
實作遞迴文字分割
from langchain.text_splitter import RecursiveCharacterTextSplitter
# 建立遞迴文字分割器
splitter = RecursiveCharacterTextSplitter(
chunk_size=100,
chunk_overlap=0,
separator="",
length_function=len,
)
# 載入文字
with open(file_path, "r") as file:
text = file.read()
# 對文字進行遞迴分割
splitter.create_documents([text])
語義文字分割
語義文字分割是一種能夠根據文字內容進行分割的方法。它透過分析文字的語義結構來決定分割點。這種方法尤其適合於沒有明確結構的文字，例如音訊轉錄或聊天記錄等。
實作語義文字分割
from langchain.text_splitter import SemanticTextSplitter
# 建立語義文字分割器
splitter = SemanticTextSplitter(
chunk_size=100,
chunk_overlap=0,
separator="",
length_function=len,
)
# 載入文字
with open(file_path, "r") as file:
text = file.read()
# 對文字進行語義分割
splitter.create_documents([text])
代理文字分割
代理文字分割是一種能夠根據文字內容和結構進行分割的方法。它透過分析文字的代理結構來決定分割點。這種方法尤其適合於具有複雜結構的文字，例如具有多級標題和章節的檔案。
實作代理文字分割
from langchain.text_splitter import AgenticTextSplitter
# 建立代理文字分割器
splitter = AgenticTextSplitter(
chunk_size=100,
chunk_overlap=0,
separator="",
length_function=len,
)
# 載入文字
with open(file_path, "r") as file:
text = file.read()
# 對文字進行代理分割
splitter.create_documents([text])
文字分割技術的重要性
在自然語言處理（NLP）中，文字分割是一個至關重要的步驟，尤其是在應用於大型檔案或多主題文字時。文字分割的目的是將原始文字分成較小的、有意義的塊，以便於後續的處理和分析。在這一過程中，選擇合適的分割方法和引數對於保留文字的語義資訊和結構至關重要。
在深入探討各種文字分割技術後，我們可以發現，從簡單的字元分割到更複雜的遞迴、語義和代理分割，都有其獨特的優勢和適用場景。字元分割的易用性使其成為處理日誌檔案和資料流等簡單文字的理想選擇，但其忽略文字結構的特性限制了其在處理複雜檔案時的效能。遞迴分割則更適合處理具有清晰結構的檔案，例如書籍和文章，能有效保留文字的層次關係。而語義和代理分割則更進一步，利用語義理解和代理結構分析，在處理無固定結構或複雜結構的文字（例如對話、程式碼）時展現出更大的優勢。
技術限制依然存在。例如，語義分割和代理分割對計算資源的需求更高，且高度依賴於底層語言模型的效能。此外，如何評估分割結果的品質，以及如何根據不同任務需求選擇最佳的分割策略，仍然是需要持續研究的課題。
展望未來，隨著深度學習和自然語言處理技術的持續發展，我們預期將會出現更精確、更高效的文字分割技術。例如，根據Transformer模型的分割方法，可以更好地捕捉長距離的語義依賴關係，從而提升分割的準確性和一致性。此外，結合特定領域知識的客製化分割模型也將成為一個重要的發展方向。
對於實務應用，玄貓建議，開發者應根據具體任務需求和資料特性選擇合適的文字分割技術。對於簡單文字，字元分割可能就足夠；而對於複雜檔案，則需要考慮遞迴、語義或代理分割。同時，持續關注新興的文字分割技術，並積極探索其應用潛力，將有助於提升NLP系統的整體效能。