電腦視覺機器學習實務應用

import tensorflow as tf
from tensorflow.keras.preprocessing.image import load_img, img_to_array

# 載入影像並轉換為陣列
img = load_img('path/to/image.jpg')
img_array = img_to_array(img)

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Flatten

model = Sequential([
    Flatten(input_shape=(224, 224, 3)),
    Dense(128, activation='relu'),
    Dense(5, activation='softmax')
])

#### 內容解密：
1. **模型架構**：使用`Sequential`模型定義一個線性堆積疊的神經網路。
2. **輸入層**：`Flatten`層將輸入的影像展平成一維向量，輸入形狀為`(224, 224, 3)`，表示影像大小為224x224且具有3個顏色通道。
3. **隱藏層**：第一個`Dense`層包含128個神經元，使用ReLU啟用函式進行非線性轉換，有助於模型學習複雜特徵。
4. **輸出層**：最後一個`Dense`層輸出5個類別的機率分佈，使用Softmax啟用函式確保輸出總和為1，適用於多類別分類別任務。

from tensorflow.keras.layers import Conv2D, MaxPooling2D

model.add(Conv2D(32, (3, 3), activation='relu', input_shape=(224, 224, 3)))
model.add(MaxPooling2D((2, 2)))

#### 內容解密：
1. **卷積層（Conv2D）**：
   - 使用32個大小為3x3的濾波器提取影像特徵。
   - `activation='relu'`表示使用ReLU啟用函式進行非線性轉換，有助於捕捉複雜特徵。

2. **池化層（MaxPooling2D）**：
   - 使用2x2的最大池化來降低特徵圖的維度，將輸入尺寸減半。
   - 這樣可以減少計算量並保留主要特徵，有助於防止過擬合。

from tensorflow.keras.applications import VGG19

base_model = VGG19(weights='imagenet', include_top=False, input_shape=(224, 224, 3))

#### 內容解密：
1. **載入預訓練模型**：使用`VGG19`模型，並載入在ImageNet資料集上預訓練的權重。
2. **`include_top=False`**：不包含原始模型的頂層（全連線層），以便自定義輸出層來適應特定任務。
3. **`input_shape=(224, 224, 3)`**：指定輸入影像的大小和通道數，確保與預訓練模型的輸入要求一致。

from tensorflow.keras.models import load_model

yolo_model = load_model('yolo_model.h5')

#### 內容解密：
1. **載入YOLO模型**：使用`load_model`函式載入預訓練的YOLO模型，用於物件檢測任務。
2. **`'yolo_model.h5'`**：指定已訓練好的YOLO模型檔案路徑，該檔案包含了模型的架構和權重。

from mrcnn.config import Config
from mrcnn.model import MaskRCNN

class MyConfig(Config):
    NAME = "my_config"
    IMAGES_PER_GPU = 2
    NUM_CLASSES = 1 + 80  # 背景 + 80個類別

model = MaskRCNN(mode='training', config=MyConfig(), model_dir='./logs')

#### 內容解密：
1. **`MyConfig`類別定義**：自定義組態類別繼承自`Config`，用於設定Mask R-CNN模型的訓練引數。
   - `NAME`：組態名稱，用於識別不同的實驗或訓練任務。
   - `IMAGES_PER_GPU`：每個GPU處理的影像數量，設定為2表示每個GPU同時處理兩張影像，可根據硬體資源調整。
   - `NUM_CLASSES`：總類別數，包括背景類別和80個目標類別，共81類別。

2. **初始化Mask R-CNN模型**：
   - `mode='training'`：指定模型為訓練模式，用於訓練新的權重。
   - `config=MyConfig()`：將自定義的組態類別例項傳入，用於設定模型的訓練引數，如批次大小、類別數等。
   - `model_dir='./logs'`：指定模型檢查點和日誌的儲存目錄，便於後續檢視訓練過程和還原訓練狀態。

from tensorflow.keras.layers import Resizing, RandomFlip, RandomRotation

preprocessing_layers = [
    Resizing(224, 224),
    RandomFlip('horizontal'),
    RandomRotation(0.2)
]

#### 內容解密：
1. **`Resizing(224, 224)`**：將輸入影像統一縮放到224x224畫素，以滿足模型的輸入尺寸要求，提高計算效率並保持輸入一致性。
   
2. **`RandomFlip('horizontal')`**：隨機對影像進行水平翻轉，增強模型的泛化能力，使其能夠適應不同方向的物體，減少過擬合風險。

3. **`RandomRotation(0.2)`**：將影像在-0.2到0.2弧度範圍內隨機旋轉，模擬不同角度下的物體，提升模型對旋轉變化的魯棒性，增強其在真實場景中的表現能力。

import tensorflow as tf

# 將資料集寫入TFRecord檔案
def write_to_tfrecord(images, labels, tfrecord_file):
    writer = tf.io.TFRecordWriter(tfrecord_file)
    for img, label in zip(images, labels):
        # 將影像和標籤序列化並寫入TFRecord
        example = tf.train.Example(features=tf.train.Features(feature={
            'image': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img.tobytes()])),
            'label': tf.train.Feature(int64_list=tf.train.Int64List(value=[label]))
        }))
        writer.write(example.SerializeToString())
    writer.close()

#### 內容解密：
1. **`write_to_tfrecord`函式**：定義了一個將影像和對應標籤寫入TFRecord檔案的函式，以實作高效的資料儲存和讀取。
   
2. **`tf.io.TFRecordWriter`**：建立一個TFRecord寫入器，用於將序列化後的資料寫入指定的TFRecord檔案，提高後續讀取效率。

3. **`tf.train.Example`**：構建一個`Example`協定緩衝區，將影像資料和標籤序列化。每個`Example`包含一個或多個`Feature`，用於儲存具體的資料值。

4. **`tf.train.Features`**：定義了`Example`中的特徵集合，其中包含兩個特徵：
   - `'image'`：將影像資料以位元組列表（`BytesList`）的形式儲存，先將NumPy陣列轉換為位元組串再儲存，以保留原始二進位制資料。
   - `'label'`：將標籤以64位整數列表（`Int64List`）的形式儲存，直接儲存整數值以表示類別或其他整數型標籤。

5. **`writer.write(example.SerializeToString())`**：將序列化後的`Example`寫入TFRecord檔案，以緊湊的二進位制格式儲存，便於高效讀取和解析。

import tensorflow as tf

# 在訓練過程中記錄日誌
tensorboard_callback = tf.keras.callbacks.TensorBoard(log_dir='./logs')
model.fit(x_train, y_train, epochs=10, callbacks=[tensorboard_callback])

#### 內容解密：
1. **`tf.keras.callbacks.TensorBoard`**：建立一個TensorBoard回撥函式，用於在模型訓練過程中記錄日誌資訊，以便後續視覺化分析訓練過程。

2. **`log_dir='./logs'`**：指定日誌檔案的儲存目錄為 `./logs`，TensorBoard會將訓練過程中的指標（如損失、準確率等）儲存到該目錄下的檔案中，便於後續載入視覺化。

3. **`model.fit`**：呼叫模型的 `fit` 方法開始訓練，並傳入以下引數：
   - `x_train` 和 `y_train`：分別是訓練資料和對應的標籤，用於模型的訓練過程。
   - `epochs=10`：設定訓練的輪數為10輪，即模型會遍歷整個訓練集10次，完成10個完整的前向傳播和反向傳播過程。

4. **`callbacks=[tensorboard_callback]`**：將剛建立的TensorBoard回撥函式傳入 `callbacks` 列表中，使其在訓練過程中被呼叫，記錄相關的日誌資訊（如損失值、準確率等），以便後續分析和最佳化模型。

# 範例程式碼：匯入必要的函式庫
import tensorflow as tf
from tensorflow import keras

# 範例程式碼：建立一個簡單的神經網路模型
model = keras.Sequential([
    keras.layers.Dense(64, activation='relu', input_shape=(784,)),
    keras.layers.Dense(10, activation='softmax')
])