Pandas資料分組轉換與樞紐分析應用

Pandas 提供了強大的 groupby 方法，允許我們根據指定的欄位對資料進行分組，並結合 agg、filter、transform 和 apply 等方法執行聚合、過濾和轉換操作。這些方法可以幫助我們有效地處理和分析資料，例如計算每個群組的統計指標、篩選特定條件的群組，以及對群組內資料進行標準化等操作。除了單一欄位分組，Pandas 也支援使用多個欄位、列表、陣列、Series、索引，甚至自定義函式和字典進行更靈活的分組。透過這些進階技巧，我們可以根據更複雜的條件對資料進行分組，例如根據字串的大小寫、特定條件或多層索引進行分組。此外，Pandas 的 pivot_table 函式提供了樞紐分析表的功能，可以將資料按照多個欄位進行分組和彙總，快速生成多維度的摘要表格，進一步提升資料分析的效率。

使用 Pandas 進行資料分組和轉換

在資料分析中，資料分組和轉換是非常重要的步驟。Pandas 是一個強大的 Python 函式庫，它提供了多種方法來進行資料分組和轉換。

資料分組

Pandas 的 groupby 方法可以用來將資料按照某個欄位進行分組。例如，假設我們有以下資料：

我們可以使用 groupby 方法按照 key 欄位進行分組，並計算每個群組的平均值和標準差。

import pandas as pd

# 建立資料
data = {
    'key': [1, 2, 4, 5],
    'data1': [1, 2, 4, 5],
    'data2': [0, 3, 7, 9]
}
df = pd.DataFrame(data)

# 分組並計算平均值和標準差
grouped_df = df.groupby('key').agg(['mean', 'std'])
print(grouped_df)

資料過濾

Pandas 的 filter 方法可以用來過濾資料。例如，假設我們想要過濾掉標準差小於 4 的群組，可以使用以下方法：

def filter_func(x):
    return x['data1'].std() > 4

filtered_df = df.groupby('key').filter(filter_func)
print(filtered_df)

資料轉換

Pandas 的 transform 方法可以用來轉換資料。例如，假設我們想要將資料進行中心化，可以使用以下方法：

def center(x):
    return x - x.mean()

transformed_df = df.groupby('key').transform(center)
print(transformed_df)

這些方法可以幫助我們進行資料分析和轉換，從而得到更有意義的結果。

使用Apply方法進行資料群組運算

Apply方法是一種強大的工具，允許您將任意函式應用於群組結果。這個函式應該接受一個DataFrame作為輸入，並傳回一個Pandas物件（例如DataFrame、Series）或一個標量值；結合步驟的行為將根據傳回的輸出型別進行調整。

Apply方法的使用範例

以下是一個使用Apply方法的範例，該範例對第一列進行標準化，標準化的方式是將第一列的值除以第二列的總和。

import pandas as pd

# 定義一個標準化函式
def norm_by_data2(x):
    # x是群組值的DataFrame
    x['data1'] /= x['data2'].sum()
    return x

# 建立一個示例DataFrame
data = {
    'key': ['A', 'B', 'C', 'A', 'B', 'C'],
    'data1': [1, 2, 3, 4, 5, 6],
    'data2': [5, 0, 3, 5, 0, 3]
}
df = pd.DataFrame(data)

# 對DataFrame進行群組運算並應用標準化函式
result = df.groupby('key').apply(norm_by_data2)

print(result)

Apply方法的工作原理

當您使用Apply方法時，Pandas會將您的DataFrame分成多個群組，根據您指定的欄位（在本例中為’key’）。然後，Apply方法會將您定義的函式應用於每個群組。

在上面的範例中，norm_by_data2函式接受一個DataFrame作為輸入，該DataFrame包含了群組內的所有資料。該函式標準化第一列的值，然後傳回標準化後的DataFrame。

Apply方法會將每個群組的結果結合起來，形成一個新的DataFrame。這個新的DataFrame包含了所有群組的標準化結果。

結果解釋

結果顯示了每個群組的標準化結果。第一列（‘data1’）的值已經被標準化，第二列（‘data2’）保持不變。

圖表翻譯：

上述Plantuml圖表展示了Apply方法的工作流程。首先，資料需要被準備好。接下來，資料會被分成不同的群組。然後，Apply方法會被應用於每個群組。最後，所有群組的結果會被結合起來，形成最終的結果。

使用群組運算進行資料分析

在進行資料分析時，群組運算是一種非常重要的技術。它允許我們根據特定的條件將資料分組，並對每個群組進行運算。下面，我們將探討如何使用群組運算進行資料分析。

指定群組鍵

在簡單的範例中，我們通常根據單一欄位名稱進行分組。但是，實際上我們可以使用多種方式來指定群組鍵。例如，我們可以使用一個列表、陣列、系列或索引來提供群組鍵。

import pandas as pd

# 建立一個範例資料框
data = {'data1': [1, 2, 3, 4, 5, 6],
        'data2': [7, 8, 9, 10, 11, 12],
        'key': [0, 1, 0, 1, 2, 0]}
df = pd.DataFrame(data)

# 使用列表作為群組鍵
L = [0, 1, 0, 1, 2, 0]
grouped_df = df.groupby(L).sum()
print(grouped_df)

群組運算的應用

群組運算可以用於各種不同的應用中。例如，我們可以使用它來計算每個群組的總和、平均值、標準差等。

# 計算每個群組的總和
grouped_df_sum = df.groupby('key').sum()
print(grouped_df_sum)

# 計算每個群組的平均值
grouped_df_mean = df.groupby('key').mean()
print(grouped_df_mean)

圖表翻譯：

在這個圖表中，我們可以看到資料框如何被分組，並對每個群組進行不同的運算。最終，結果會被輸出。

使用字典對資料進行分組

在進行資料分析時，常常需要根據特定的條件對資料進行分組。除了使用列作為分組依據外，還可以使用字典對索引值進行對映。

基本概念

字典是一種資料結構，能夠將索引值對映到特定的群組鍵。這種方法可以讓我們更靈活地控制分組的過程。

實際應用

假設我們有一個 DataFrame df2，其索引為 key。我們可以定義一個字典 mapping，將索引值對映到群組鍵。

import pandas as pd

# 定義 DataFrame
df2 = pd.DataFrame({
    'key': ['A', 'B', 'C', 'A', 'B', 'C'],
    'data1': [0, 1, 2, 3, 4, 5],
    'data2': [5, 0, 3, 3, 7, 7]
})

# 定義對映字典
mapping = {'A': 'vowel', 'B': 'consonant', 'C': 'consonant'}

# 將索引設為 'key'
df2 = df2.set_index('key')

# 使用字典對資料進行分組
grouped_df = df2.groupby(mapping).sum()

print(grouped_df)

結果分析

執行上述程式碼後，將得到以下結果：

          data1  data2
consonant      12     19
vowel           3      8

這個結果表明，根據 mapping 字典對索引值進行對映後，資料被分組為 consonant 和 vowel 兩個群組。然後，對每個群組的 data1 和 data2 進行求和運算，得到最終的結果。

內容解密：

在這個例子中，我們使用 groupby 方法對資料進行分組。groupby 方法接受一個函式或字典作為引數，用於定義分組的依據。在這裡，我們使用 mapping 字典將索引值對映到群組鍵。然後，對每個群組的資料進行求和運算，得到最終的結果。

圖表翻譯：

這個圖表描述了資料分組和求和的過程。首先，資料被分組為不同的群組。然後，對每個群組的資料進行求和運算，得到最終的結果。

使用Python函式進行分組

在進行資料分析時，能夠根據特定條件或函式對資料進行分組是非常有用的。Python的groupby方法允許你使用任何Python函式來分組資料。這個函式會輸入索引值並輸出分組。

基本使用

例如，你可以使用str.lower函式來根據字串的 lowercase 版本進行分組：

import pandas as pd

# 建立一個簡單的DataFrame
data = {'key': ['a', 'b', 'c', 'a', 'b', 'c'],
        'data1': [1, 2, 3, 4, 5, 6],
        'data2': [7, 8, 9, 10, 11, 12]}
df = pd.DataFrame(data)

# 使用str.lower進行分組並計算平均值
grouped = df.groupby(str.lower).mean()
print(grouped)

這會根據key欄位的 lowercase 版本對資料進行分組，並計算每個分組的data1和data2欄位的平均值。

結合多個分組條件

你也可以結合多個分組條件來建立一個多索引（multi-index）分組。例如，除了使用str.lower外，你還可以使用一個自定義的對映函式：

# 定義一個自定義的對映函式
def mapping(x):
    if x in 'aeiou':
        return 'vowel'
    else:
        return 'consonant'

# 使用str.lower和自定義對映函式進行分組
grouped = df.groupby([str.lower, mapping]).mean()
print(grouped)

這會根據key欄位的 lowercase 版本和自定義對映函式的結果對資料進行分組，並計算每個分組的data1和data2欄位的平均值。

實際應用

在實際應用中，你可以使用這些技術來分析更複雜的資料。例如，假設你有一個包含了太陽系外行星發現年份和發現方法的資料集，你可以使用以下程式碼來計算每十年內使用不同方法發現的行星數量：

import pandas as pd

# 假設你有一個包含了太陽系外行星發現年份和發現方法的資料集
planets = pd.DataFrame({
    'year': [1990, 1995, 2000, 2005, 2010, 2015],
    'method': ['method1', 'method2', 'method1', 'method2', 'method1', 'method2'],
    'number': [1, 2, 3, 4, 5, 6]
})

# 計算每十年內使用不同方法發現的行星數量
decade = 10 * (planets['year'] // 10)
decade = decade.astype(str) + 's'
decade.name = 'decade'

result = planets.groupby(['method', decade])['number'].sum().unstack().fillna(0)
print(result)

這會根據發現年份的十年份和發現方法對資料進行分組，並計算每個分組中發現的行星數量。

瞭解資料分析的多維度世界

在探索資料的世界中，我們常常遇到需要對資料進行分組、彙總和分析的需求。其中，ivot 表格（Pivot Tables）是一種強大的工具，可以幫助我們將簡單的欄位資料轉換成多維度的摘要表格。

什麼是ivot 表格？

ivot 表格是一種特殊的資料表格，它可以將資料按照多個欄位進行分組和彙總。它的工作原理是將資料按照指定的欄位進行分組，然後對每個分組進行彙總計算，最後生成一個多維度的表格。

與groupby的區別

與groupby不同，ivot 表格可以同時對多個欄位進行分組和彙總。這使得ivot 表格更加強大和靈活，可以用於處理更加複雜的資料分析任務。

實際應用

下面是一個使用ivot 表格進行資料分析的例子。假設我們有一個Titanic乘客資料集，包含了乘客的生存狀態、艙等、性別、年齡等欄位。我們可以使用ivot 表格將這些欄位進行分組和彙總，生成一個多維度的表格，以便更好地瞭解乘客的特徵。

import pandas as pd
import seaborn as sns

# 載入Titanic乘客資料集
titanic = sns.load_dataset('titanic')

# 使用ivot表格進行分組和彙總
pivot_table = pd.pivot_table(titanic, values='fare', index='pclass', columns='sex', aggfunc='mean')

print(pivot_table)

結果解釋

生成的ivot 表格顯示了不同艙等和性別的乘客的平均票價。這個結果可以幫助我們瞭解不同艙等和性別的乘客的票價差異。

圖表翻譯：

@startuml
skinparam backgroundColor #FEFEFE
skinparam componentStyle rectangle

title Pandas資料分組轉換與樞紐分析應用

package "Pandas 資料處理" {
    package "資料結構" {
        component [Series
一維陣列] as series
        component [DataFrame
二維表格] as df
        component [Index
索引] as index
    }

    package "資料操作" {
        component [選取 Selection] as select
        component [篩選 Filtering] as filter
        component [分組 GroupBy] as group
        component [合併 Merge/Join] as merge
    }

    package "資料轉換" {
        component [重塑 Reshape] as reshape
        component [透視表 Pivot] as pivot
        component [聚合 Aggregation] as agg
    }
}

series --> df : 組成
index --> df : 索引
df --> select : loc/iloc
df --> filter : 布林索引
df --> group : 分組運算
group --> agg : 聚合函數
df --> merge : 合併資料
df --> reshape : melt/stack
reshape --> pivot : 重新組織

note right of df
  核心資料結構
  類似 Excel 表格
end note

@enduml

這個流程圖顯示了使用ivot 表格進行資料分析的步驟。首先，載入資料集，然後選擇需要進行分組和彙總的欄位，接著使用ivot 表格進行分組和彙總，最後生成ivot 表格並解釋結果。

ivot 表格是一種強大的資料分析工具，它可以幫助我們更好地瞭解複雜的資料結構。未來，ivot 表格可能會被更多地應用於大資料分析和機器學習等領域，以幫助我們更好地理解和分析複雜的資料。

從商業價值與使用者經驗的雙重角度來看，Pandas 的資料分組與轉換功能，顯著降低了資料處理的門檻，讓更多非程式背景的商業分析師也能夠有效運用資料洞察市場趨勢。深入剖析 Pandas 的 groupby、filter、transform 和 apply 等核心方法，可以發現這些功能有效地解決了資料清洗、特徵工程等關鍵環節的效率瓶頸。技術限制方面，Pandas 主要針對單機運算設計，處理超大型資料集時，效能仍有待提升；此外，部分進階操作的語法略顯複雜，初學者仍需一定的學習曲線。然而，考量到 Pandas 與 Python 生態的緊密整合，以及活躍的社群支援，這些限制並不妨礙其成為資料分析領域的主流工具。玄貓認為，隨著資料科學的普及，Pandas 將持續扮演關鍵角色，並朝向更簡潔易用、更高效能的方向演進，例如更完善的平行運算支援和更直觀的視覺化整合。對於企業而言，善用 Pandas 進行資料驅動的決策，將是提升競爭力的關鍵。