首頁新聞* 研究人員已識別出一種名爲TokenBreak的新方法,該方法通過改變文本輸入中的單個字符,繞過大型語言模型(LLM)的安全性和管理。
研究團隊在他們的報告中解釋說,“TokenBreak攻擊針對文本分類模型的代幣化策略,以誘導假陰性,使最終目標容易受到保護模型旨在防止的攻擊。” 代幣化在語言模型中至關重要,因爲它將文本轉化爲可以被算法映射和理解的單元。被操縱的文本可以通過LLM過濾器,觸發與輸入未被更改時相同的響應。
HiddenLayer發現TokenBreak適用於使用BPE (字節對編碼)或WordPiece分詞的模型,但不影響基於Unigram的系統。研究人員表示,*“了解底層保護模型的家族及其分詞策略對於理解您對該攻擊的敏感性至關重要。”*他們建議使用Unigram分詞器,教導過濾模型識別分詞技巧,並查看日志以尋找操控跡象。
這一發現是在HiddenLayer之前的研究基礎上得出的,該研究詳細說明了如何使用Model Context Protocol (MCP)工具,通過在工具的函數中插入特定參數來泄露敏感信息。
在一項相關的發展中,Straiker AI 研究團隊表明,“年鑑攻擊”——使用反義詞對不良內容進行編碼——可以欺騙來自 Anthropic、DeepSeek、Google、Meta、Microsoft、Mistral AI 和 OpenAI 等公司的聊天機器人產生不良響應。安全研究人員解釋說,這些技巧會通過過濾器,因爲它們類似於普通消息,並利用模型如何重視上下文和模式完成,而不是意圖分析。
13.1萬 熱度
4.2萬 熱度
2.5萬 熱度
17.1萬 熱度
3192 熱度
代幣突破攻擊通過單個字符繞過LLM安全保護
首頁新聞* 研究人員已識別出一種名爲TokenBreak的新方法,該方法通過改變文本輸入中的單個字符,繞過大型語言模型(LLM)的安全性和管理。
研究團隊在他們的報告中解釋說,“TokenBreak攻擊針對文本分類模型的代幣化策略,以誘導假陰性,使最終目標容易受到保護模型旨在防止的攻擊。” 代幣化在語言模型中至關重要,因爲它將文本轉化爲可以被算法映射和理解的單元。被操縱的文本可以通過LLM過濾器,觸發與輸入未被更改時相同的響應。
HiddenLayer發現TokenBreak適用於使用BPE (字節對編碼)或WordPiece分詞的模型,但不影響基於Unigram的系統。研究人員表示,*“了解底層保護模型的家族及其分詞策略對於理解您對該攻擊的敏感性至關重要。”*他們建議使用Unigram分詞器,教導過濾模型識別分詞技巧,並查看日志以尋找操控跡象。
這一發現是在HiddenLayer之前的研究基礎上得出的,該研究詳細說明了如何使用Model Context Protocol (MCP)工具,通過在工具的函數中插入特定參數來泄露敏感信息。
在一項相關的發展中,Straiker AI 研究團隊表明,“年鑑攻擊”——使用反義詞對不良內容進行編碼——可以欺騙來自 Anthropic、DeepSeek、Google、Meta、Microsoft、Mistral AI 和 OpenAI 等公司的聊天機器人產生不良響應。安全研究人員解釋說,這些技巧會通過過濾器,因爲它們類似於普通消息,並利用模型如何重視上下文和模式完成,而不是意圖分析。
以前的文章: