PyTorch糖尿病預測模型開發與驗證

# 使用 PySpark 進行資料探索的範例程式碼
from pyspark.sql import SparkSession

# 初始化 SparkSession
spark = SparkSession.builder.appName("DiabetesClassification").getOrCreate()

# 載入資料集
df = spark.read.csv("s3://your-bucket/pima-indians-diabetes.csv", header=True, inferSchema=True)

# 顯示資料集的前幾行
df.show()

# 統計每列缺失值的數量
df.select([count(when(isnull(c), c)).alias(c) for c in df.columns]).show()

#### 內容解密：
1. 初始化 `SparkSession` 是使用 Spark 進行資料處理的第一步。
2. 使用 `read.csv` 方法從 S3 儲存桶中載入 CSV 檔案。
3. `show` 方法用於顯示 DataFrame 的前幾行，方便檢查資料。
4. 統計缺失值的程式碼使用了 `count` 和 `when` 函式結合 `isnull` 檢查每列的缺失值數量。

import torch
import torch.nn as nn
from torch.utils.data import Dataset, DataLoader

# 定義 PyTorch 模型
class DiabetesClassifier(nn.Module):
    def __init__(self):
        super(DiabetesClassifier, self).__init__()
        self.fc1 = nn.Linear(8, 128)  # 輸入層到隱藏層
        self.fc2 = nn.Linear(128, 2)  # 隱藏層到輸出層

    def forward(self, x):
        x = torch.relu(self.fc1(x))  # 使用 ReLU 啟用函式
        x = self.fc2(x)
        return x

#### 內容解密：
1. `DiabetesClassifier` 類別繼承自 `nn.Module`，是 PyTorch 中定義模型的標準做法。
2. `__init__` 方法中定義了模型的層，包括兩個全連線層（`fc1` 和 `fc2`）。
3. `forward` 方法定義了資料在模型中的前向傳播路徑，使用了 ReLU 啟用函式。

from sklearn.model_selection import KFold

# 初始化 KFold 物件
kf = KFold(n_splits=5, shuffle=True, random_state=42)

# K-Fold 交叉驗證迴圈
for train_index, val_index in kf.split(df):
    train_df = df.iloc[train_index]
    val_df = df.iloc[val_index]
    # 在此處新增訓練和驗證模型的程式碼

#### 內容解密：
1. `KFold` 物件被初始化，指定了折數（`n_splits`）和其他引數。
2. 在 K-Fold 迴圈中，資料被分成訓練集和驗證集，用於模型的訓練和評估。

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, sum as pyspark_sum
import boto3

class PimaDatasetExplorer:
    """
    用於使用 PySpark 探索和分析 Pima 印第安人糖尿病資料集的類別。
    """
    def __init__(self, file_path):
        """
        初始化 PimaDatasetExplorer 物件。
        
        Args:
            file_path (str)：資料集檔案的路徑。
        """
        self.file_path = file_path
        self.data = None

def load_data(self):
    """
    從指定的檔案路徑載入資料集到 PySpark DataFrame。
    """
    try:
        self.data = spark.read.csv(
            self.file_path,
            header=True,
            inferSchema=True
        )
        self.data.cache()
    except Exception as e:
        print("載入資料時發生錯誤：", str(e))
        self.data = None

def preprocess_data(self):
    """
    對資料集執行預處理步驟。
    """
    self.load_data()

def handle_missing_values(self):
    """
    計算資料集中每個欄位的缺失值數量並顯示計數結果。
    """
    if self.data is not None:
        missing_counts = self.data.select([
            pyspark_sum(col(c).isNull().cast("int")).alias(c)
            for c in self.data.columns
        ])
        print("缺失值計數：")
        missing_counts.show()
    else:
        print("資料未載入。")

def count_zeros(self):
    """
    統計資料集中每個欄位的零值數量並顯示計數結果。
    """
    if self.data is not None:
        zero_counts = self.data.select([
            pyspark_sum((col(c) == 0).cast("int")).alias(c)
            for c in self.data.columns
        ])
        print("零值計數：")
        zero_counts.show()
    else:
        print("資料未載入。")

def data_summary(self):
    """
    顯示資料集的摘要，排除特定欄位並過濾零值行。
    """
    if self.data is not None:
        print("資料摘要（排除 'Outcome', 'SkinThickness', 'Insulin'）：")
        columns_to_exclude = ['Outcome', 'SkinThickness', 'Insulin']
        summary_cols = [c for c in self.data.columns if c not in columns_to_exclude]
        filtered_data = self.data.filter((col("Glucose") != 0) & (col("BloodPressure") != 0) & (col("BMI") != 0))
        filtered_data.select(summary_cols).describe().show()
    else:
        print("資料未載入。")

def count_outcome(self):
    """
    統計資料集中 Outcome 欄位各個值的出現次數。
    """
    if self.data is not None:
        print("Outcome Counts:")
        outcome_counts = self.data.filter(
            (col("Glucose") != 0)
            & (col("BloodPressure") != 0)
            & (col("BMI") != 0)
        ).groupBy("Outcome").count()
        outcome_counts.show()
    else:
        print("Data not loaded.")

def explore_feature_distributions(self):
    """
    繪製資料集中每個特徵的直方圖以分析其分佈。
    """
    if self.data is not None:
        print("Feature Distributions:")
        for column in self.data.columns:
            if column not in ['SkinThickness', 'Insulin']:
                print(f"Feature: {column}")
                if column in ["Glucose", "BloodPressure", "BMI"]:
                    filtered_data = self.data.filter(
                        (col(column) != 0)
                        & (col("Glucose") != 0)
                        & (col("BloodPressure") != 0)
                        & (col("BMI") != 0)
                    )
                else:
                    filtered_data = self.data
                plot_data = filtered_data.select(column).toPandas()
                plot_data.plot(kind='hist', title=column)
    else:
        print("Data not loaded.")

def calculate_feature_target_correlation(self):
    """
    計算每個特徵與目標變數（Outcome）之間的相關性。
    """
    if self.data is not None:
        print("Feature-Target Correlation (excluding 'SkinThickness', 'Insulin'):")
        for column in self.data.columns:
            if column not in ['Outcome', 'SkinThickness', 'Insulin']:
                correlation = self.data.filter(
                    (col(column) != 0)
                    & (col("Glucose") != 0)
                    & (col("BloodPressure") != 0)
                    & (col("BMI") != 0)
                ).stat.corr(column, 'Outcome')
                print(f"{column}: {correlation}")
    else:
        print("Data not loaded.")