本文針對產品分類別和客戶分群，探討如何運用 TF-IDF 向量化技術結合 K-means 分群演算法，並輔以 PCA 降維技術提升模型效能。首先，文章詳細介紹了文字資料預處理流程，包含移除顏色詞彙、停用詞和短詞等步驟，以確保資料品質。接著，針對 TF-IDF 向量化過程中的引數調優，例如 max_df、min_df 和 ngram_range 等，進行了深入說明，以利於讀者根據實際情況調整引數。此外，文章還探討了 K-means 演算法的應用，並比較了其他分群演算法，如層次聚類別、DBSCAN 和高斯混合模型，在不同應用場景下的適用性。最後，文章展示瞭如何透過輪廓係數評估不同 min_df 引數和叢集數量對分群效果的影響，並提供視覺化方法輔助分析，以協助讀者找到最佳引陣列合。
無監督學習：分群與PCA技術深度解析
在進行產品分類別時，文字資料的預處理是至關重要的步驟。本文將探討如何透過移除顏色相關詞彙及短詞（少於三個字元），並將資料預處理與向量化封裝至函式preprocess_and_vectorize_data中，以提升產品分類別的品質。
顏色相關詞彙列表的建立與應用
首先，我們需要建立一個顏色相關詞彙的列表，以過濾掉文字資料中不相關的顏色描述。以下是一個常見的顏色詞彙列表範例：
color_words = [
'black', 'white', 'grey', 'gray', 'red', 'blue', 'green', 'yellow',
'orange', 'purple', 'pink', 'brown', 'beige', 'gold', 'silver',
'indigo', 'violet', 'turquoise', 'teal', 'aqua', 'navy', 'olive',
'maroon', 'coral', 'plum', 'salmon', 'magenta', 'cyan', 'khaki',
'ivory', 'chartreuse', 'crimson', 'fuchsia', 'lavender', 'lime',
'tan', 'sienna', 'orchid', 'periwinkle', 'peach', 'thistle'
]
內容解密：
此列表包含了常見的顏色名稱，用於在文字預處理階段過濾掉顏色相關的詞彙，以提高後續分析的準確性。
資料預處理與向量化函式的建立
接下來，我們將資料預處理和向量化的步驟封裝到preprocess_and_vectorize_data函式中，以提高程式碼的可讀性和重用性。
import pandas as pd
import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
from sklearn.feature_extraction.text import TfidfVectorizer
def preprocess_and_vectorize_data(data):
# 移除缺失的描述資料
data = data.dropna(subset=['Description'])
# 移除重複的描述資料
data = data.drop_duplicates(subset=['Description'])
# 將描述轉換為小寫
data['Description'] = data['Description'].str.lower()
# 分詞與移除標點符號
data['Description'] = data['Description'].apply(word_tokenize)
# 移除停用詞和顏色相關詞彙
stop_words = set(stopwords.words('english'))
data['Description'] = data['Description'].apply(lambda x: [word for word in x if word not in stop_words and len(word) > 2 and word not in color_words])
# 將分詞後的描述轉換回字串
data['Description'] = data['Description'].apply(' '.join)
# TF-IDF向量化
tfidf_vectorizer = TfidfVectorizer(max_features=1000)
tfidf_matrix = tfidf_vectorizer.fit_transform(data['Description'])
# 將TF-IDF矩陣轉換為DataFrame
tfidf_df = pd.DataFrame(tfidf_matrix.toarray(), columns=tfidf_vectorizer.get_feature_names_out())
return tfidf_df
# 載入資料集
data_url = "../Datasets/data.csv"
df = pd.read_csv(data_url, encoding='latin1')
# 預處理和向量化資料
tfidf_df = preprocess_and_vectorize_data(df)
內容解密：
- 移除缺失值與重複資料：確保分析資料的完整性和唯一性。
- 文字預處理：將文字轉換為小寫，並進行分詞處理。
- 過濾無關詞彙：移除停用詞、短詞（少於三個字元）及顏色相關詞彙，以減少噪音資料。
- TF-IDF向量化：將預處理後的文字資料轉換為TF-IDF矩陣，選取最重要的1000個特徵。
- 結果輸出：將TF-IDF矩陣轉換為DataFrame格式，便於後續分析。
TF-IDF向量化引數調優
在進行TF-IDF向量化時，除了max_features引數外，還有多個重要引數可供調優，以最佳化向量化的效果。
tfidf_vectorizer = TfidfVectorizer(
max_features=1000,
max_df=0.8,
min_df=0.05,
ngram_range=(1, 2),
stop_words='english',
use_idf=True,
smooth_idf=True,
sublinear_tf=True
)
內容解密：
max_df與min_df：控制詞彙的檔案頻率閾值，過濾掉過於常見或罕見的詞彙。ngram_range：設定n-gram的範圍，例如(1, 2)表示考慮單個詞和雙片語合。stop_words：指定停用詞列表，可以使用內建的語言列表，如’english’。use_idf：控制是否使用逆檔案頻率（IDF）重新加權詞頻。smooth_idf：避免除以零錯誤，透過新增平滑項到IDF計算中。sublinear_tf：應用次線性縮放至詞頻，防止頻繁詞彙主導計算。
結果視覺化與分析
透過上述步驟得到的TF-IDF矩陣，可以進一步計算每個特徵的TF-IDF總分，並繪製柱狀圖以觀察最重要的特徵。
# 計算每個特徵的TF-IDF總分
feature_sum = tfidf_df.sum()
# 取得前100個最重要的特徵
top_features = feature_sum.nlargest(100)
# 繪製柱狀圖
plt.figure(figsize=(10, 12))
top_features.plot(kind='barh')
plt.xlabel('TF-IDF Score Sum')
plt.ylabel('Words')
plt.title('Top 100 Most Frequent Features from TF-IDF Matrix')
plt.tight_layout()
plt.show()
內容解密：
- 計算TF-IDF總分：匯總每個特徵在所有檔案中的TF-IDF得分。
- 選取重要特徵：根據TF-IDF總分，選取前100個最重要的特徵進行分析。
- 結果視覺化：透過水平柱狀圖，直觀展示最重要的特徵及其對應的TF-IDF總分。
無監督學習：叢集分析與主成分分析（PCA）深度探討
在電子商務領域，客戶分群是一項至關重要的任務。透過對客戶行為、人口統計特徵等的分析，能夠有效地將客戶劃分為不同的群體，從而實作精準行銷和提升客戶滿意度。本篇文章將探討如何利用無監督學習技術中的叢集分析（Clustering）對客戶資料進行分群，並結合主成分分析（PCA）進行資料降維，以提升模型效能。
選擇適當的叢集演算法
在眾多的叢集演算法中，K-means因其簡單易用且能夠處理大規模資料集而被廣泛採用。在電子商務領域，K-means非常適合用於根據客戶的購買行為、人口統計特徵等進行分群。然而，根據不同的業務需求，其他叢集演算法如層次聚類別（Hierarchical Clustering）、DBSCAN（Density-based Clustering）、高斯混合模型（GMM）等也可能更為合適。
- 產品推薦： 層次聚類別能夠更好地理解產品之間的層次關係，適合用於產品推薦系統。
- 異常檢測： DBSCAN能夠有效地識別出資料中的異常點，適合用於檢測欺詐交易等異常行為。
- 個人化推薦： GMM能夠處理更複雜的客戶行為模式，適合用於個人化推薦系統。
資料預處理與向量化
在進行叢集分析之前，需要對資料進行預處理和向量化。TF-IDF（Term Frequency-Inverse Document Frequency）是一種常用的文字向量化方法，能夠有效地捕捉文字資料中的關鍵資訊。在本案例中，我們使用TF-IDF矩陣來表示客戶的描述資料。
def preprocess_and_vectorize_data(data, min_df):
# 移除缺失值和重複項
data = data.dropna(subset=['Description']).drop_duplicates(subset=['Description'])
# 文字預處理
data['Description'] = data['Description'].str.lower().apply(word_tokenize)
# 移除停用詞和顏色相關詞彙
stop_words = set(stopwords.words('english'))
data['Description'] = data['Description'].apply(lambda x: [word for word in x if word not in stop_words and len(word) > 2 and word not in color_words])
# 將處理後的文字轉換回字串
data['Description'] = data['Description'].apply(' '.join)
# TF-IDF向量化
tfidf_vectorizer = TfidfVectorizer(min_df=min_df)
tfidf_matrix = tfidf_vectorizer.fit_transform(data['Description'])
# 將TF-IDF矩陣轉換為DataFrame
tfidf_df = pd.DataFrame(tfidf_matrix.toarray(), columns=tfidf_vectorizer.get_feature_names_out())
return tfidf_df
#### 內容解密：
1. **移除缺失值和重複項：** 確保資料的乾淨和唯一性，避免因重複資料導致的偏差。
2. **文字預處理：** 將文字轉換為小寫並進行分詞處理，以便於後續的停用詞移除和向量化。
3. **移除停用詞和顏色相關詞彙：** 停用詞（如“the”、“and”等）在文字中出現頻率高但對分析幫助不大，移除它們能夠提高分析效率。顏色相關詞彙可能與產品描述相關，視具體需求決定是否移除。
4. **TF-IDF向量化：** 將文字資料轉換為數值向量，以便於機器學習模型處理。`min_df`引數控制了詞彙至少需要在多少個檔案中出現才被納入考量。
### 實驗設計與結果視覺化
為了評估不同`min_df`引數和叢集數量對叢集效果的影響，我們設計了一系列實驗。
```python
min_df_values = [5, 10, 20, 30]
num_clusters = [3, 4, 5, 6, 7]
silhouette_scores = []
for min_df in min_df_values:
tfidf_df = preprocess_and_vectorize_data(df, min_df)
for n_clusters in num_clusters:
kmeans = KMeans(n_clusters=n_clusters, random_state=42)
cluster_labels = kmeans.fit_predict(tfidf_df)
silhouette_scores.append(silhouette_score(tfidf_df, cluster_labels))
#### 內容解密：
1. **遍歷不同的`min_df`和叢集數量：** 系統地評估不同引陣列合下的叢集效果。
2. **計算輪廓係數（Silhouette Score）：** 輪廓係數是一種評估叢集效果的指標，值越接近1表示叢集效果越好。
3. **結果儲存：** 將不同引陣列合下的輪廓係數儲存起來，以便於後續的視覺化分析。
### 結果分析與討論
透過視覺化不同`min_df`和叢集數量下的輪廓係數，我們能夠直觀地比較不同引陣列合下的叢集效果。
```python
# 視覺化程式碼示例
plt.plot(num_clusters, silhouette_scores_for_min_df, label=f'min_df={min_df}')
plt.xlabel('Number of Clusters')
plt.ylabel('Silhouette Score')
plt.title('Silhouette Score vs. Number of Clusters for Different min_df')
plt.legend()
plt.show()
內容解密：
- 多線圖比較： 不同
min_df引數下的輪廓係數隨叢集數量的變化趨勢一目瞭然。 - 引數最佳化： 根據輪廓係數的變化趨勢，可以確定最佳的
min_df和叢集數量。
綜上所述，無監督學習技術在客戶分群中具有廣泛的應用前景。透過合理選擇叢集演算法、最佳化資料預處理流程以及結合PCA進行降維，我們能夠有效地提升客戶分群的準確性和業務價值。未來，可以進一步探索其他先進的無監督學習技術和深度學習方法，以應對日益複雜的業務需求和資料挑戰。