MongoDB分片技術詳解與實作

MongoDB 分片技術能有效解決單機資料函式庫無法負荷大量資料與高併發存取的困境。透過水平擴充套件，將資料分散儲存於多台機器，提升整體運算能力和儲存容量。分片叢集由多個 MongoDB 例項組成，資料依據分片鍵分散至不同的 Shard，Config Database 則儲存叢集的中繼資料，引導讀寫操作。選擇合適的分片鍵至關重要，能確保資料均勻分佈，提升查詢效率。本文將逐步說明在 Windows 環境下設定 MongoDB 分片叢集的步驟，包含建立多個複製集，設定 Config Server 與啟動 mongos，並提供程式碼範例與詳細操作說明。

MongoDB 分片技術詳解與實作步驟

分片技術簡介

分片（Sharding）是 MongoDB 中一種將大規模資料分散儲存於多台機器或伺服器的技術。當應用程式面臨龐大的資料量，單一機器或伺服器無法負荷時，分片技術能夠有效解決此問題。透過將資料分散至多台機器或伺服器，MongoDB 提升了整體的運算能力和儲存容量。

分片技術的優勢

• 提升運算能力：藉由多台機器或伺服器的協同工作，大幅增強整體運算效能。
• 降低成本：相較於垂直擴充套件（提升單一機器的硬體規格），水平擴充套件（增加多台機器）更具成本效益。
• 支援水平擴充套件：MongoDB 的分片技術實作了水平擴充套件，使系統能夠更靈活地應對日益增長的資料需求。

分片叢集架構

分片叢集是由多個 MongoDB 例項組成，用於服務龐大的資料集。透過將大資料集分割成多個較小的資料子集（Shard），分片叢集能夠高效地處理和存取資料。

讀寫操作與 Config Database 的重要性

在分片環境中，當客戶端發出查詢請求時，若請求中包含分片鍵（Shard Key），MongoDB 能夠直接將請求路由至對應的分片，大幅提升查詢效率。Config Database 儲存了分片叢集的中繼資料，對於請求的路由至關重要。

寫入操作同樣依賴 Config Database 中的中繼資料，將資料寫入至正確的分片中。寫入操作僅在分片叢集的主節點（Primary Node）上執行。

分片鍵的選擇

分片鍵是決定資料如何在分片間分佈的關鍵因素。選擇適當的分片鍵對於確保資料均勻分佈和提升查詢效率至關重要。

圖示：分片鍵在 MongoDB 中的作用

此圖示展示了分片鍵如何影響資料的分佈和查詢的路由。

在 Windows 環境下設定 MongoDB 分片的步驟

步驟 1：停止現有的 MongoDB 服務

1. 開啟 Windows 服務管理器，找到 MongoDB 服務。
2. 右鍵點選 MongoDB 服務，選擇「停止」。

步驟 2：建立第一個複製集（第一個分片）

# 建立資料目錄
mkdir \data\rs1

# 啟動 MongoDB 例項
mongod --replSet rs0 --port 27017 --dbpath \data\rs1

內容解密：

• mkdir \data\rs1：建立用於儲存 MongoDB 資料的目錄。
• mongod --replSet rs0 --port 27017 --dbpath \data\rs1：啟動一個 MongoDB 例項，並指定其屬於複製集 rs0，監聽埠號為 27017，資料儲存路徑為 \data\rs1。

後續步驟與注意事項

後續步驟包括建立其他複製集、設定 Config Server 和啟動 mongos 等。具體操作可參考 MongoDB 官方檔案。

在進行分片設定時，務必確保每個步驟的正確性，以避免資料不一致或其他問題。

圖示：Windows 環境下的 MongoDB 分片架構

此圖示展示了在 Windows 環境下，如何建立包含多個複製集和 Config Server 的 MongoDB 分片叢集。

建立 MongoDB 叢集環境中的第一個複製集

在 MongoDB 叢集環境中建立第一個複製集，需要進行以下步驟：

步驟 1：建立必要的資料夾

首先，需要建立用於儲存 MongoDB 例項資料和日誌檔案的資料夾。可以使用以下命令自動建立這些資料夾：

mkdir "c:\MongoDB-Sharding\data\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS1" "c:\MongoDB-Sharding\data\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS2" "c:\MongoDB-Sharding\data\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS3"
mkdir "c:\MongoDB-Sharding\log\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS1" "c:\MongoDB-Sharding\log\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS2" "c:\MongoDB-Sharding\log\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS3"

內容解密：

• mkdir 命令用於建立新的資料夾。
• 路徑 "c:\MongoDB-Sharding\data\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS1" 等代表了 MongoDB 資料檔案的儲存路徑。
• 路徑 "c:\MongoDB-Sharding\log\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS1" 等代表了 MongoDB 日誌檔案的儲存路徑。
• BPBOnlineShard1 和 BPBOnlineReplicaSet1 分別代表了第一個 shard 和第一個複製集的名稱。
• BPBOnlineDBS1、BPBOnlineDBS2 和 BPBOnlineDBS3 代表了複製集中三個 MongoDB 例項的資料夾名稱。

步驟 2：建立 MongoDB 資料檔案的資料夾

開啟 Windows 命令提示字元（以管理員模式），輸入以下命令：

mkdir "c:\MongoDB-Sharding\data\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS1" "c:\MongoDB-Sharding\data\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS2" "c:\MongoDB-Sharding\data\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS3"

內容解密：

• 這一步驟與步驟 1 中的建立資料檔案的資料夾命令相同。
• 這裡再次強調了建立資料夾的必要性。

步驟 3：驗證資料夾是否建立成功

在 C: 磁碟機下檢查是否成功建立所需的資料夾。

步驟 4：建立 MongoDB 日誌檔案的資料夾

開啟 Windows 命令提示字元（以管理員模式），輸入以下命令：

mkdir "c:\MongoDB-Sharding\log\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS1" "c:\MongoDB-Sharding\log\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS2" "c:\MongoDB-Sharding\log\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS3"

內容解密：

• 這一步驟與步驟 1 中的建立日誌檔案的資料夾命令相同。
• 這裡再次強調了建立日誌資料夾的必要性。

步驟 5：驗證日誌資料夾是否建立成功

在 C: 磁碟機下檢查是否成功建立所需的日誌資料夾。

步驟 6：啟動第一個 MongoDB 伺服器

使用 mongod 命令，並給予必要的引數，以啟動第一個 MongoDB 伺服器。命令如下：

mongod --replSet BPBOnlineReplicaSet1 --dbpath "c:\MongoDB-Sharding\data\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS1" --logpath "c:\MongoDB-Sharding\log\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS1\mongod.log" --port 37017 --shardsvr --install --serviceName "BPBOnlineSharding MongoDB 37017" --serviceDisplayName "BPBOnlineSharding MongoDB 37017" --serviceDescription "MongoDB on Port 37017 BPBOnlineShard1-BPBOnlineReplicaSet1-BPBOnlineDBS1"

內容解密：

• --replSet BPBOnlineReplicaSet1 指定了複製集的名稱。
• --dbpath 指定了 MongoDB 資料檔案的儲存路徑。
• --logpath 指定了 MongoDB 日誌檔案的儲存路徑。
• --port 37017 指定了 MongoDB 例項的連線埠號。
• --shardsvr 表示這是一個 shard 環境下的 MongoDB 例項。
• --install 表示將 MongoDB 安裝為 Windows 服務。
• --serviceName、--serviceDisplayName 和 --serviceDescription 分別指定了 Windows 服務的名稱、顯示名稱和描述。

MongoDB複製集的Windows服務安裝與設定

在建立MongoDB複製集時，需要為每個成員節點設定Windows服務，以便自動啟動和管理MongoDB例項。本文將介紹如何使用mongod命令和相關引數來安裝和設定Windows服務。

步驟1：準備工作

在開始之前，請確保您已經安裝了MongoDB，並且熟悉基本的MongoDB操作。

步驟2：安裝第一個MongoDB Windows服務

1. 開啟管理員模式的命令提示字元，並導航到MongoDB的bin目錄。
2. 使用以下命令安裝第一個MongoDB Windows服務：

mongod --replSet BPBOnlineReplicaSet1 --dbpath "c:\MongoDB-Sharding\data\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS1" --logpath "c:\MongoDB-Sharding\log\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS1\mongod.log" --port 37017 --shardsvr --install --serviceName "BPBOnlineSharding MongoDB 37017" --serviceDisplayName "BPBOnlineSharding MongoDB 37017" --serviceDescription "MongoDB on Port 37017 BPBOnlineShard1-BPBOnlineReplicaSet1-BPBOnlineDBS1"

內容解密：

• --replSet：指定複製集名稱。
• --dbpath：指定資料函式庫目錄路徑。
• --logpath：指定日誌檔案路徑。
• --port：指定MongoDB例項的連線埠號。
• --shardsvr：指定該例項為分片環境中的一個分片伺服器。
• --install：安裝MongoDB為Windows服務。
• --serviceName、--serviceDisplayName、--serviceDescription：分別指定Windows服務的名稱、顯示名稱和描述。

3. 使用以下命令啟動該Windows服務：

net start "BPBOnlineSharding MongoDB 37017"

步驟3：安裝第二個和第三個MongoDB Windows服務

重複步驟2，為第二個和第三個MongoDB例項安裝Windows服務，分別使用不同的連線埠（37018和37019）和不同的資料函式庫目錄及日誌檔案路徑。

# 第二個例項
mongod --replSet BPBOnlineReplicaSet1 --dbpath "c:\MongoDB-Sharding\data\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS2" --logpath "c:\MongoDB-Sharding\log\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS2\mongod.log" --port 37018 --shardsvr --install --serviceName "BPBOnlineSharding MongoDB 37018" --serviceDisplayName "BPBOnlineSharding MongoDB 37018" --serviceDescription "MongoDB on Port 37018 BPBOnlineShard1-BPBOnlineReplicaSet1-BPBOnlineDBS2"
net start "BPBOnlineSharding MongoDB 37018"

# 第三個例項
mongod --replSet BPBOnlineReplicaSet1 --dbpath "c:\MongoDB-Sharding\data\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS3" --logpath "c:\MongoDB-Sharding\log\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS3\mongod.log" --port 37019 --shardsvr --install --serviceName "BPBOnlineSharding MongoDB 37019" --serviceDisplayName "BPBOnlineSharding MongoDB 37019" --serviceDescription "MongoDB on Port 37019 BPBOnlineShard1-BPBOnlineReplicaSet1-BPBOnlineDBS3"
net start "BPBOnlineSharding MongoDB 37019"

內容解密：

每個例項的安裝命令都與第一個例項類別似，但使用了不同的連線埠、資料函式庫目錄和日誌檔案路徑，以確保每個例項都是獨立的。

在Windows環境下建立MongoDB複製集與分片叢集

建立第一個複製集（第一個分片）

在MongoDB的分片環境中，每個分片都由一個複製集組成。複製集是一組維護相同資料集的mongod例項。下面將介紹如何建立第一個複製集。

步驟1：建立資料夾與設定Windows服務

首先，需要為每個mongod例項建立資料和日誌資料夾。然後，透過命令列建立Windows服務。

mongod --replSet BPBOnlineReplicaSet1 --dbpath "c:\MongoDB-Sharding\data\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS1" --logpath "c:\MongoDB-Sharding\log\BPBOnlineShard1\BPBOnlineReplicaSet1\BPBOnlineDBS1\mongod.log" --port 37017 --shardsvr --install --serviceName "BPBOnlineSharding MongoDB 37017" --serviceDisplayName "BPBOnlineSharding MongoDB 37017" --serviceDescription "MongoDB on Port 37017 BPBOnlineShard1-BPBOnlineReplicaSet1-BPBOnlineDBS1"

內容解密：

• --replSet BPBOnlineReplicaSet1：指定複製集的名稱。
• --dbpath：指定資料儲存的路徑。
• --logpath：指定日誌檔案的路徑。
• --port 37017：指定服務的連線埠號碼。
• --shardsvr：指示這是一個分片伺服器。
• --install：安裝為Windows服務。
• --serviceName、--serviceDisplayName、--serviceDescription：定義Windows服務的名稱、顯示名稱和描述。

步驟2：啟動Windows服務並初始化複製集

啟動剛才建立的Windows服務，並透過MongoDB Shell初始化複製集。

net start "BPBOnlineSharding MongoDB 37017"
mongo --port 37017

在MongoDB Shell中，定義複製集的組態並初始化。

BPBOnlineReplicaSet1Config = {
  _id: "BPBOnlineReplicaSet1",
  members: [
    {_id: 0, host: "localhost:37017"},
    {_id: 1, host: "localhost:37018"},
    {_id: 2, host: "localhost:37019"}
  ]
};
rs.initiate(BPBOnlineReplicaSet1Config)

內容解密：

• _id：複製集的名稱，必須與--replSet引數一致。
• members：複製整合員的列表，包括其ID和主機地址。
• rs.initiate()：初始化複製集。

建立第二個複製集（第二個分片）

重複上述步驟，建立第二和第三個分片。每個分片都是一個獨立的複製集。

重點考量

• 每個分片的複製集名稱應該不同，以避免衝突。
• 連線埠號碼也應該不同，以確保每個mongod例項的唯一性。