克雷西 發自 凹非寺量子位 | 公眾號 QbitAI
只要在提示詞中把時間設定成過去，就能輕松突破大模型的安全防線。
而且對GPT-4o尤其有效，原本只有1%的攻擊成功率直接飆到88%，幾乎是「有求必應」。
有網友看了後直言，這簡直是有史以來最簡單的大模型越獄方式。
來自洛桑聯邦理工學院的一篇最新論文，揭開了這個大模型安全措施的新漏洞。
而且攻擊方式簡單到離譜，不用像「奶奶漏洞」那樣專門構建特殊情境，更不必說專業對抗性攻擊裏那些意義不明的特殊符號了。
只要把請求中的時間改成過去，就能讓GPT-4o把燃燒彈和毒品的配方和盤托出。
而且量子位實測發現，把提示詞改成中文，對GPT-4o也一樣有效。
有網友表示，實在是想不到突破大模型漏洞的方式竟然如此簡單……
當然這樣的結果也說明，現有的大模型安全措施還是太脆弱了。
GPT-4o最易「破防」
實驗過程中，作者從JBB-Behaviors大模型越獄數據集中選擇了100個有害行為，涉及了OpenAI策略中的10個危害類別。
然後作者用GPT-3.5 Turbo，把把這些有害請求對應的時間覆寫成過去。
接著就是用這些修改後的請求去測試大模型，然後分別用GPT-4、Llama-3和基於規則的啟發式判斷器這三種不同方式來判斷越獄是否成功。
被測試的模型則包括Llama-3、GPT-3.5 Turbo、谷歌的Gemma-2、微軟的Phi-3、GPT-4o和R2D2（一種對抗性訓練方法）這六種。
結果顯示，GPT-4o的越獄成功率提升最為明顯，在使用GPT-4和Llama-3進行判斷時，原始成功率均只有1%，使用這種攻擊的成功率則上升到了88%和65%，啟發式判斷器給出的成功率也從13%升到了73%。
其他模型的攻擊成功率也提高不少，尤其是在使用GPT-4判斷時，除了Llama-3，其余模型的成功率增長值都超過了70個百分點，其他的判斷方法給出的數值相對較小，不過都呈現出了增長趨勢。
對於Llama-3的攻擊效果則相對稍弱一些，但成功率也是增加了。
另外隨著攻擊次數的增加，成功率也是越來越高，特別是GPT-4o，在第一次攻擊時就有超過一半的成功率。
不過當攻擊次數達到10次後，對各模型的攻擊成功率增長都開始放緩，然後逐漸趨於平穩。
值得一提的是，Llama-3在經歷了20次攻擊之後，成功率依然不到30%，相比其他模型體現出了很強的魯棒性。
同時從圖中也不能看出，不同判斷方法給出的具體成功率值雖有一定差距，但整體趨勢比較一致。
另外，針對10類不同的危害行為，作者也發現了其間存在攻擊成功率的差別。
不看Llama-3這個「清流」的話，惡意軟件/黑客、經濟危害等類別的攻擊成功率相對較高，錯誤資訊、色情內容等則較難進行攻擊。
當請求包含一些與特定事件或實體直接相關的關鍵詞時，攻擊成功率會更低；而請求偏向於通識內容時更容易成功。
基於這些發現，作者又產生了一個新的疑問——既然改成過去有用，那麽覆寫成將來是不是也有用呢？
進一步實驗表明，確實也有一定用處，不過相比於過去來說，將來時間的效果就沒有那麽明顯了。
以GPT-4o為例，換成過去後接近90個百分點的增長，再換成將來就只有60了。
對於這樣的結果，網友們除了有些驚訝之外，還有人指出為什麽不測試Claude。
作者回應稱，不是不想測，而是免費API用完了，下一個版本會加上。
不過有網友自己動手試了試，發現這種攻擊並沒有奏效，即使後面追問說是出於學術目的，模型依然是拒絕回答。
△來源：Twitter/Muratcan Koylan
這篇論文的作者也承認，Claude相比於其他模型會更難攻擊，但他認為用復雜些的提示詞也能實作。
因為Claude在拒絕回答時非常喜歡用「I apologize」開頭，所以作者要求模型不要用「I」來開頭。
不過量子位測試發現，這個方法也未能奏效，無論是Claude 3 Opus還是3.5 Sonnet，都依然拒絕回答這個問題。
△左：3 Opus，右：3.5 Sonnet
還有人表示，自己對Claude 3 Haiku進行了一下測試（樣本量未說明），結果成功率為0。
總的來說，作者表示，雖然這樣的越獄方式比不上對抗性提示等復雜方法，但明顯更簡單有效，可作為探測語言模型泛化能力的工具。
使用拒絕數據微調或可防禦
作者表示，這些發現揭示了SFT、RLHF和對抗訓練等當前廣泛使用的語言模型對齊技術，仍然存在一定的局限性。
按照論文的觀點，這可能意味著模型從訓練數據中學到的拒絕能力，過於依賴於特定的語法和詞匯模式，而沒有真正理解請求的內在語意和意圖。
這些發現對於當前的語言模型對齊技術提出了新的挑戰和思考方向——僅僅依靠在訓練數據中加入更多的拒絕例子，可能無法從根本上解決模型的安全問題。
作者又進行了進一步實驗，使用拒絕過去時間攻擊的範例對GPT-3.5進行了微調。
結果發現，只要拒絕範例在微調數據中的占比達到5%，攻擊的成功率增長就變成了0。
下表中，A%/B%表示微調數據集中有A%的拒絕範例和B%的正常對話，正常對話數據來自OpenHermes-2.5。
這樣的結果也說明，如果能夠對潛在的攻擊進行準確預判，並使用拒絕範例讓模型對齊，就能有效對攻擊做出防禦，也就意味著在評估語言模型的安全性和對齊質素時，需要設計更全面、更細致的方案。
論文地址：https://arxiv.org/abs/2407.11969參考連結：[1]https://x.com/maksym_andr/status/1813608842699079750[2]https://x.com/MatthewBerman/status/1813719273338290328
