Submariner實作Kubernetes跨叢集網路連線

在多雲混合雲架構下，Submariner 提供了安全可靠的跨 Kubernetes 叢集網路方案。透過佈署 Submariner，不同雲平台上的叢集能如同單一叢集般運作，簡化服務互連的複雜性。本文將逐步說明 Submariner 的佈署流程，包含 AWS 與 GCP 環境的組態檢查，以及使用 subctl 工具進行佈署和驗證。此外，我們也會探討如何建立無頭服務與 ServiceExport 資源，以實作跨叢集服務探索和負載平衡，並提供監控和故障排除的實用技巧。

跨叢集網路連線：使用Submariner實作多雲環境下的Kubernetes叢集互連

在多雲和混合雲環境中，跨叢集網路連線是一項至關重要的技術。它使得不同Kubernetes叢集中的服務和資源能夠互相通訊，特別是在大規模佈署跨多個地區或資料中心的應用程式時。Submariner是實作跨叢集網路連線的工具之一，它提供了一個安全且無縫的方式來連線Kubernetes叢集，並擴充套件了服務發現、網路和負載平衡功能。

準備Submariner佈署環境

在佈署Submariner之前，需要確保AWS和GCP上的Kubernetes叢集正確組態了必要的網路設定，包括子網、安全群組和路由組態。

AWS組態檢查

• VPC對等連線或VPN連線
• 安全群組組態允許IPsec流量

GCP組態檢查

• VPC網路對等連線或VPN連線
• 防火牆規則組態允許IPsec流量

匯出KUBECONFIG檔案

正確設定KUBECONFIG環境變數對於與多個Kubernetes叢集進行通訊至關重要。可以將多個KUBECONFIG檔案合併為一個檔案，也可以為每個叢集使用單獨的檔案。

export KUBECONFIG_AWS=path/to/aws-kubeconfig.yaml
export KUBECONFIG_GCP=path/to/gcp-kubeconfig.yaml

佈署Submariner

使用subctl工具佈署Submariner到多個叢集。首先，需要替換命令中的「CLUSTER_NAME」和「BROKER」為實際的值。

在AWS叢集上佈署

export KUBECONFIG=$KUBECONFIG_AWS
subctl join --kubeconfig $KUBECONFIG_AWS --clusterid aws-cluster --natt=false --cable-driver aws-ec2 path/to/broker-kubeconfig.yaml

在GCP叢集上佈署

export KUBECONFIG=$KUBECONFIG_GCP
subctl join --kubeconfig $KUBECONFIG_GCP --clusterid gcp-cluster --natt=false --cable-driver libreswan path/to/broker-kubeconfig.yaml

內容解密：

• subctl join命令用於將叢集加入Submariner網路。
• --natt=false引數停用NAT穿越，因為在使用VPC對等連線或VPN連線時不需要。
• --cable-driver引數指定用於建立叢集間連線的驅動程式。

驗證Submariner佈署

使用subctl工具檢查Submariner元件和資源的狀態。

subctl show all --kubeconfig path/to/broker-kubeconfig.yaml

內容解密：

• 此命令顯示所有叢集、端點和閘道器的資訊。
• 用於驗證Submariner是否正確佈署和組態。

測試連通性

在每個叢集上佈署測試應用程式，並將其暴露為Kubernetes服務。然後，使用匯出的服務的DNS名稱或IP地址測試叢集之間的連通性。

範例：在AWS叢集上佈署NGINX服務，在GCP叢集上佈署Busybox Pod。

# 在AWS叢集上
kubectl run nginx --image=nginx --port=80 --expose

# 在GCP叢集上
kubectl run busybox --image=busybox --rm -it --restart=Never -- sh

# 從Busybox Pod中測試連通性
wget -qO- http://<nginx-service-dns>:80

內容解密：

• 使用kubectl run命令在叢集中啟動Pod。
• 使用wget命令測試與NGINX服務的連通性。

建立無頭服務（Headless Service）

在目標叢集中建立無頭服務，以啟用跨叢集通訊。無頭服務是一種沒有叢集IP的服務型別，允許直接暴露應用程式的Pod。

apiVersion: v1
kind: Service
metadata:
  name: nginx-headless
spec:
  selector:
    app: nginx
  ports:
  - name: http
    port: 80
    targetPort: 80
  clusterIP: None

內容解密：

• clusterIP: None表示這是一個無頭服務。
• 無頭服務允許透過Kubernetes DNS直接存取Pod。

透過上述步驟，可以成功地在多雲環境中使用Submariner連線Kubernetes叢集，並實作跨叢集網路連線。這種設定使得應用程式能夠跨多個雲提供商無縫地佈署和管理，充分利用Submariner的功能，如跨叢集服務發現、負載平衡和網路策略支援。

使用Submariner實作跨叢集網路與服務探索

簡介

Submariner是一種開源工具，能夠在多個Kubernetes叢集之間建立安全的網路連線，並實作跨叢集的服務探索。本文將介紹如何使用Submariner實作跨叢集網路與服務探索。

建立Headless服務

首先，我們需要在目標叢集中建立一個Nginx佈署，並建立一個Headless服務以便與其他叢集進行通訊。

Nginx佈署組態

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
        ports:
        - containerPort: 80

Headless服務組態

apiVersion: v1
kind: Service
metadata:
  name: nginx-headless
spec:
  type: ClusterIP
  clusterIP: None
  ports:
  - name: http
    port: 80
  selector:
    app: nginx

套用YAML組態檔

kubectl apply -f nginx-headless-service.yaml

建立SubmarinerExport資源

為了使Headless服務能夠被其他叢集輕易發現，我們需要在目標叢集中建立一個SubmarinerExport資源。

SubmarinerExport資源組態

apiVersion: lighthouse.submariner.io/v2alpha1
kind: ServiceExport
metadata:
  name: nginx-headless
  namespace: default

套用YAML組態檔

kubectl apply -f nginx-headless-export.yaml

從另一個叢集存取服務

在匯出Headless服務後，我們可以從另一個連線的叢集中使用其DNS名稱進行存取。DNS名稱的格式為<service-name>.<namespace>.svc.clusterset.local。

從Busybox Pod存取Nginx服務

# 在來源叢集中執行
kubectl run busybox --image=busybox --rm -it --restart=Never -- sh
# 在Busybox Pod中執行
wget -qO- http://nginx-headless.default.svc.clusterset.local:80

服務探索

建立Kubernetes服務

apiVersion: v1
kind: Service
metadata:
  name: nginx-service
spec:
  selector:
    app: nginx
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80

套用YAML組態檔

kubectl apply -f nginx-service.yaml

建立ServiceExport資源

apiVersion: lighthouse.submariner.io/v2alpha1
kind: ServiceExport
metadata:
  name: nginx-service
  namespace: default

套用YAML組態檔

kubectl apply -f nginx-service-export.yaml

從另一個叢集探索服務

從Busybox Pod存取Nginx服務

# 在來源叢集中執行
kubectl run busybox --image=busybox --rm -it --restart=Never -- sh
# 在Busybox Pod中執行
wget -qO- http://nginx-service.default.svc.clusterset.local:80

跨叢集負載平衡的實作與監控

在 Kubernetes 環境中，負載平衡是確保網路流量均勻分配至多個應使用案例項（Pods）的關鍵技術，以提升可用性、容錯能力和資源利用率。Kubernetes 內建的 Service 功能提供了穩定的入口點來存取底層的應用 Pods。然而，在多叢集 Kubernetes 環境中，確保流量不僅在單一叢集內平衡，還能跨越多個連線的叢集，是非常重要的。這正是 Submariner 的用武之地。

Submariner：跨叢集連線與服務發現的利器

Submariner 是一款開源的網路解決方案，能夠實作 Kubernetes 中的跨叢集連線和服務發現。它提供了一種無縫的方式來連線多個 Kubernetes 叢集，並允許在這些叢集之間進行流量負載平衡。

結合 Kubernetes 與 Submariner 的優勢

透過結合 Kubernetes 內建的負載平衡功能與 Submariner，您可以以透明和一致的方式將流量分配到多個叢集。這意味著應用程式可以佈署在多個叢集中，並仍然可以使用單一穩定的端點進行存取，從而改善整體使用者經驗。此外，利用 Submariner 的負載平衡功能，您還可以確保應用程式具有高用性和容錯能力，即使在叢集內部故障或網路中斷的情況下也能保持穩定執行。

實作跨叢集負載平衡的步驟

1. 在多個叢集中佈署應用程式

首先，在多個連線的叢集中佈署相同的應用程式（例如 Nginx）。在每個叢集中，建立該應用程式的 Deployment 和 Service。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
        ports:
        - containerPort: 80

apiVersion: v1
kind: Service
metadata:
  name: nginx-service
spec:
  selector:
    app: nginx
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80

使用以下命令在每個叢集中套用這些 YAML 組態檔：

kubectl apply -f nginx-deployment.yaml
kubectl apply -f nginx-service.yaml

2. 匯出服務

在每個叢集中，為 Nginx Service 建立一個 ServiceExport 資源，使其能夠被其他連線的叢集發現：

apiVersion: lighthouse.submariner.io/v2alpha1
kind: ServiceExport
metadata:
  name: nginx-service
  namespace: default

使用以下命令在每個叢集中套用這個 YAML 組態檔：

kubectl apply -f nginx-service-export.yaml

3. 從另一個叢集存取服務

匯出服務後，您可以使用 DNS 名稱 <service-name>.<namespace>.svc.clusterset.local 從任何連線的叢集中存取它們。在下面的範例中，DNS 名稱是 nginx-service.default.svc.clusterset.local。

由於多個叢集匯出了相同的服務，Submariner 將在不同叢集中的這些服務之間進行流量負載平衡。您可以透過在源叢集中佈署 Busybox Pod，並重複使用 wget 或 curl 存取 Nginx 服務來測試此功能。

# 在源叢集中執行
kubectl run busybox --image=busybox --rm -it --restart=Never -- sh

# 在 Busybox Pod 中執行
for i in {1..10}; do wget -qO- http://nginx-service.default.svc.clusterset.local:80; done

如果負載平衡工作正常，您應該會看到來自不同 Nginx 例項的回應，分佈在不同的叢集中。

監控與故障排除

監控和故障排除是管理 Kubernetes 叢集的重要方面，尤其是在多叢集環境中。Submariner 提供了一系列工具和資源來幫助您監控連線叢集的健康狀況並診斷可能出現的問題。

監控 Submariner 元件

Submariner 在您的 Kubernetes 叢集中佈署了多個元件，如 Gateway Engine、Route Agent 和 Lighthouse Agent。您可以使用 Kubernetes 原生工具（如 kubectl）來監控這些元件的健康狀況和狀態。

# 檢視 Submariner 元件的狀態
kubectl -n submariner-operator get pods

# 檢視特定元件的日誌以識別問題
kubectl -n submariner-operator logs <pod-name>

使用 subctl 命令列工具

Submariner 提供了一個名為 subctl 的命令列工具，該工具提供了各種命令來管理和監控您的連線叢集。您可以使用 subctl 來檢查 Submariner 元件和連線的整體狀態。

首先，從 Submariner GitHub 倉函式庫下載 subctl 二進位制檔案：

curl -Ls https://get.submariner.io | bash
export PATH=$PATH:~/.local/bin

然後，使用 subctl show 命令來檢查各種 Submariner 元件的狀態：

subctl show all # 檢視所有元件的狀態
subctl show connections # 檢視 Submariner 連線的狀態
subctl show endpoints # 檢視 Submariner 端點的狀態
subctl show gateways # 檢視 Submariner 閘道器的狀態
subctl show networks # 檢視叢集網路的狀態
subctl show serviceexports # 檢視匯出服務的狀態

使用 Submariner 指標

Submariner 輸出了 Prometheus 指標，可以用於監控連線叢集的效能和健康狀況。您可以設定一個監控堆積疊，使用 Prometheus 和 Grafana 等工具來收集、儲存、視覺化和警示這些指標。

要啟用指標，需要使用 --metrics 旗標佈署 Submariner Operator：

subctl deploy-broker --kubeconfig broker-kubeconfig.yaml --metrics

然後，組態您的 Prometheus 例項以從 Submariner Gateway Engine 和 Route Agent 中擷取指標：

scrape_configs:
- job_name: 'submariner'

透過上述步驟，您可以成功實作跨叢集負載平衡，並使用 Submariner 的監控和故障排除功能來確保您的多叢集環境保持高效和穩定執行。

多叢集管理與聯邦

多叢集Kubernetes概述

多叢集多雲Kubernetes指的是將Kubernetes叢集分佈在多個雲端服務提供商或資料中心，建立一個統一的平台來管理工作負載和資源。在這種設定中，每個Kubernetes叢集在其各自的環境中獨立執行，但它們是相互連線並作為一個邏輯實體進行管理的。這種架構使組織能夠構建和佈署跨多個雲端服務提供商或地區的應用程式，確保高用性、容錯能力和最佳資源利用率。

多叢集多雲Kubernetes的優勢

使用多叢集多雲Kubernetes架構進行應用程式佈署和管理具有許多優勢。一些關鍵的好處包括：

高用性

透過將應用程式和資源分佈在多個叢集和雲端服務提供商之間，您可以降低由於單一雲端服務提供商或地區的故障或中斷導致的停機風險。

災難還原

在發生災難性故障的情況下，多叢集多雲設定確保您可以輕鬆地容錯移轉到另一個叢集或雲端服務提供商，最大限度地減少對您的應用程式的影響。

資料本地性

在多個叢集中佈署應用程式，使其更接近您的終端使用者，有助於減少延遲並改善使用者經驗。

可擴充套件性

多叢集多雲Kubernetes允許您利用多個雲端服務提供商的計算和儲存資源，幫助您水平和垂直擴充套件應用程式。

靈活性

這種架構提供了極大的靈活性，使您能夠根據業務需求選擇最佳的雲端服務提供商和地區。

Submariner的監控與故障排除

Submariner是一款為Kubernetes叢集提供網路連線的解決方案，尤其是在多雲環境中。為了確保Submariner的多叢集環境保持最佳狀態，監控和故障排除是至關重要的。

使用subctl進行監控和故障排除

subctl是一個強大的命令列工具，用於監控和故障排除Submariner。您可以使用subctl validate命令檢查連線的叢集的各種方面，例如Kubernetes版本、CNI組態和Submariner元件。

subctl validate all

同時，subctl test命令可以用於執行叢集之間的端對端連線測試。

subctl test connections

監控Submariner的健康狀態

檢查Submariner元件的狀態是監控其健康狀態的第一步。您可以使用以下命令檢查相關Pod的狀態。

kubectl get pods -n submariner-operator

設定監控堆積疊

使用Prometheus和Grafana等工具設定監控堆積疊，可以收集和視覺化Submariner的指標，從而更好地瞭解其效能和健康狀態。

static_configs:
  - targets: ['<gateway-engine-ip>:8080', '<route-agent-ip>:8080']

內容解密：

此YAML組態片段定義了Prometheus的靜態組態，用於抓取特定目標的指標。在此例中，目標是<gateway-engine-ip>:8080和<route-agent-ip>:8080，這兩個端點可能是Submariner的Gateway Engine和Route Agent元件，用於暴露指標供Prometheus抓取。這些指標對於監控Submariner的效能和診斷問題至關重要。