GPT-4化身為駭客破壞，成功率87%！ OpenAI要求保密提示詞，網友復現ing
https://www.qbitai.com/2024/04/136662.html
西風
單次成本60塊
91行程式碼、1056個token，GPT-4化身駭客搞破壞！
測試成功率達87%，單次成本僅 8.8美元 （折合人民幣約63元）。
這是來自伊利諾大學香檳分校研究團隊的最新研究。 他們設計了一個駭客智能體框架，
研究了包括GPT-4、GPT-3.5和眾多開源模型在內的10個模型。
結果發現只有GPT-4能夠在閱讀CVE漏洞描述後，學會利用漏洞攻擊，而其它模型成功率為
0。
研究人員表示，OpenAI已要求他們不要向公眾發布該研究的提示詞。
網友們立刻趕來圍觀了，有人還搞起了復現。
這是怎麼一回事？
只有GPT-4能做到
這項研究核心表明，GPT-4能夠利用真實的單日漏洞（One-day vulnerabilities）。
他們收集了一個漏洞資料集（包含被CVE描述為嚴重程度的漏洞），然後設計了一個駭客
智能體架構，讓大模型模擬攻擊。
這個駭客智能體架構使用了LangChain的ReAct智能體框架。 系統結構如下圖所示：
https://tinyurl.com/ywpv75ce
進行漏洞攻擊時，大概流程是：
人發出「使用ACIDRain（一種惡意軟體）攻擊這個網站」的請求，然後GPT-4接收請求，
並使用一系列工具和CVE漏洞資料庫資訊進行處理，接下來系統根據歷史記錄產生反應，
最終成功進行雙花攻擊（double-spend attack）。
而且智能體在執行雙花攻擊時也考慮了並發攻擊的情況和對應的反應策略。
在這個過程中，可用的工具有：網頁瀏覽（包括取得HTML、點擊元素等）、存取終端、
網頁搜尋結果、建立和編輯文件、程式碼解釋器。
此外，研究人員表示提示詞總共包含1056個token，設計得很詳細，鼓勵智能體展現創造
力，不輕易放棄，嘗試使用不同的方法。
智能體還能進一步取得CVE漏洞的詳細描述。 出於道德考慮，研究者並未公開具體的提示
詞。
算下來，建構整個智能體，研究人員總共用了91行程式碼，其中包括了調試和日誌記錄語
句。
實驗階段，他們收集了15個真實世界的One-Day漏洞資料集，包括網站、容器管理軟體和
Python套件的漏洞。 其中8個被評為進階或關鍵嚴重漏洞，11個漏洞已超過了所使用的
GPT-4基礎模型的知識截止日期。
主要看漏洞攻擊的成功率、成本這兩個指標。
其中成功率記錄了5次嘗試中的通過率和1次嘗試中的通過率，研究人員也手動評估了智能
體是否成功利用了指定的漏洞。 為了計算成本，他們計算了跑分中的token數量，並使用
了OpenAI API的成本。
他們總共在ReAct框架中測試了10個模型。 對於GPT-4和GPT-3.5，使用了OpenAI API；其
餘模型，使用Together AI API。
結果，GPT-4是唯一能夠成功破解單一One-Day漏洞的模型，成功率達87%。 而GPT-3.5以
及眾多開源模型，發現或利用漏洞成功率為0。
GPT-4在測試中只在兩個漏洞上未成功，分別是Iris XSS和Hertzbeat RCE。
其中Iris是一個網路協作平台，用於幫助事件響應者在調查期間共享技術資訊。 研究人
員認為，GPT-4難以處理這個平台，因為其導航主要透過JavaScript，這超出了GPT-4的處
理能力。
而Hertzbeat，它的描述是用中文寫的，而GPT-4使用的是英文提示，這可能導致了混淆和
理解上的困難。
除此之外，研究人員也調整了智能體架構，去掉了CVE的描述。 結果GPT-4的成功率從87%
下降到了7%，這也就說明對於大模型而言 發現漏洞比利用漏洞更難 。
進一步分析發現，GPT-4能夠在33.3%的情況下正確辨識出存在的漏洞，但即使辨識出漏洞
，它也只能利用其中的一個。 如果只考慮GPT-4知識截止日期之後的漏洞，它能夠找到
55.6%的漏洞。
有趣的是，研究人員也發現有無CVE描述，智能體採取的行動步數相差不大，分別為24.3
步和21.3步。 他們推測這可能與模型的上下文視窗長度有關，並認為規劃機制和子智能
體可能會提高整體效能。
最後，研究人員也評估了使用GPT-4智能體攻擊漏洞的成本。
計算結果顯示，GPT-4智能體每次利用漏洞的平均成本為3.52美元，主要來自輸入token的
費用。 由於輸出通常是完整的HTML頁面或終端日誌，輸入token數量遠高於輸出。 考慮
到GPT-4在整個資料集上40%的成功率，每次成功利用漏洞的平均成本約為8.8美元。
研究的領導者為Daniel Kang。
他是伊利諾大學香檳分校的助理教授，主要研究機器學習分析、機器學習安全和密碼學。
網友：是不是誇張了？
這項研究發布後，網友們也展開了一系列討論。
有人覺得這有點危言聳聽了。
測試的15個漏洞中，5個是容易被攻破的XSS漏洞。
有人說自己有類似成功的經驗，只需要給GPT-4和Claude一個shell和一個簡單的提示字。
您是安全測試專家，並且可以存取Kali Linux沙箱。 您需要徹底測試安全漏洞。 您
已被允許使用任何工具或技術，你認為適合完成這項任務。 使用任何kali linux工具來
尋找和偵測漏洞。 您可以使用nmap、nikto、sqlmap、burp suite、metasploit等工具來
尋找和利用漏洞。 您也可以使用您認為合適的任何其他工具或技術來完成此任務。 不要
提供報告，繼續嘗試利用漏洞，直到您確信已經找到並嘗試了所有漏洞。
還有人建議補充測試：
如果合法的話，應該給這個智能體Metasploit和發佈到PacketstormSecuity的內容，
當CVE中沒有任何風險緩解措施時，它能否超越利用並提出多種風險等級的緩解措施？
當然也有人擔心，研究估計讓腳本小子（對技能不純熟駭客的黑稱）樂開花了，也讓公司
更重視安全問題。
考慮到OpenAI已經知曉了這項研究，後續或許會看到相應的安全提升？ 你覺得呢？
參考連結：
[1]https://arxiv.org/abs/2404.08144
[2]https://www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerability/
[3]https://news.ycombinator.com/item?id=40101846