編輯：編輯部
【新智元導讀】黑客已經用大模型把自己全面武裝起來了！ChatGPT曾多次被黑客利用編寫惡意程式碼、攻擊網絡，以獲取個人資訊。在這個大模型並不安全的時代，國內一家同時深耕安全和AI的公司出手了。
沒有人會懷疑，2024年是大模型落地套用元年，各行各業都在被大模型加速改造。
但是沒想到，最先用大模型提升生產力的，居然是網絡黑客！
不久前，外媒報道，OpenAI和微軟發現，黑客已經在不斷地使用ChatGPT等大模型來完善和改進他們現有的網絡攻擊。
當然，OpenAI在檢測出這些黑客賬號之後就把他們都停了，但是在OpenAI關停相關賬戶之前，他們已經利用GPT-4進行了海量的攻擊行為。
而且OpenAI也承認，他們沒有辦法完全提前阻止黑客將ChatGPT用於網絡攻擊活動。
另一方面，有黑客甚至已經在網上開始公開兜售使用GPT大模型和黑客數據專門訓練出來的WormGPT和FraudGPT了！
200刀一個月，任何人都可以用這個FraudGPT來生成釣魚郵件，破解工具程式碼，大幅提升黑客的攻擊效率。
包年的話還有折扣，只要1700刀。
按照這個黑帽版ChatGPT的宣傳，普通人用自然語言就能輸出各種釣魚郵件和釣魚短訊，誘騙受害者將自己銀行帳戶交給攻擊者。
不僅如此，FraudGPT還可以用來編寫惡意程式碼，建立無法檢測的惡意軟件，尋找不需要驗證持卡人身份的銀行辨識號碼，尋找網站和系統的漏洞、薄弱點。
甚至只要你願意花時間，它還能教你如何從零開始做一名合格的黑客。
顯然，安全行業面對黑客在AI加持之下的全面升維攻擊，如果還使用傳統的方法來應對，就像是用冷兵器去對抗「核武器」。
如果安全行業不能利用大模型武裝自己，在未來必將會被潮水一般的攻擊行為所淹沒。
360用安全大模型給出的答案，讓全行業看到了未來「AI安全攻防戰」的精彩之處。
在一家大型制造企業中：數十條生產線日均產生EB級數據量。
業務架構復雜，數據體系龐大，這類大型企業一旦中招勒索攻擊，幾乎無解。
有一天，安全分析人員突然收到了一封來自360本地安全大腦的AI高危告警。
360安全大模型智能化解讀後發現，在兩台名為v-wangshen/PC和luohao/PC的電腦上，短時間內發生了大量可疑的文件重新命名操作。
涉及財務報表.XLS.lockbit和員工名單.XLS.lockbit等敏感檔。
LOCKBIT號稱世界上加密最快的勒索軟件。
據360雲端安全大腦情報顯示，該病毒20分鐘即可完成100GB數據的加密。
這就意味著，如果不快速處置，2個小時後，將可能有一條生產線面臨癱瘓。
千鈞一發之際，360安全大模型賦能下的本地安全大腦立即推薦了一套AI智能化勒索告警處置預案。
自動提取：釣魚郵件特征，可疑IP，威脅樣本和漏洞資訊，列入黑名單，封禁、查殺、隔離。
處置預案執行的同時，本次攻擊背後的疑雲也被360本地安全大腦一一解開。
360安全大模型智能化抽取全網探針資訊發現，360 NDR AI探針曾上報：
兩台受害主機均收到過由某郵箱發來的薪金單郵件。
結合360 EDR AI探針雲端情報，360安全大模型智能化溯源，完整還原出了攻擊鏈。
攻擊者使用了CVE-2022-30190遠端程式碼執行漏洞，誘導使用者開啟文件釋放惡意程式碼。
Powershell.exe行程執行嵌入lockbit加密指令碼。
最後透過智能化調查處置，發現目前僅有「win 10 P2021219」「win 10 PC」兩個辦公域資產受到影響。
無一條業務線中斷。
在這個典型案例中，企業安全人員在大模型的加持下，迅速處理LOCKBIT勒索攻擊，為企業挽回了不可估量的損失。
而背後360安全大模型，是國內首個將大模型套用於網絡安全實戰的成果，實作了對網絡安全的全鏈路升級改造。
最近，360將去年釋出的360安全大模型叠代到了3.0版本，為整個安全行業如何全面擁抱大模型技術打了個樣。
360安全大模型3.0，開辟垂類大模型訓練全新戰法
數據致勝
在大模型落地套用過程中，各行各業的專有數據是產生價值的關鍵，這幾乎已經成為了共識。
360安全大模型3.0的數據優勢，主要體現在兩個方面：
1. 360擁有海量的安全語料精度更高，質素更高，訓出來的大模型水平也會更高。
高質素的安全語料需要廣泛的數據來源和長期的積累。這是360近20年來積累的核心資產。
2. 360有很多專業數據，比如擁有海量的EDR、NDR事件數據。
而且這些數據並不那麽容易訓練，需要清洗語料，特別是要調整結構、修改推理環節等比較底層的技術才能真正體現出這些專業數據的價值。
所以簡單來說，安全行業的數據采集和訓練都是有很高門檻的。
而360在安全行業多年的深耕，無疑是最有可能把數據問題解決好的企業，從而奠定了360安全大模型的能力基礎。
小切口，大縱深
有了數據帶來的基礎優勢，如何把AI能力分解在安全行業業務場景之中，能否在安全行業用好大模型的另一個關鍵問題。
360提出的「 小切口，大縱深 」，希望從安全行業難點的小場景做切入，做深做透，深度融合安全能力。
小切口 的意思是將一個復雜的任務場景分解成很多小場景，其中有一部份是過去的方法能解決的。
而大模型，應該去聚焦解決那些傳統方法無法解決的難題部份。
把一個個小場景都逐一解決了，合在一起就能達成更大更復雜的任務目標。
比如對於「自動化安全營運」這個大目標，拆成數十個小任務，有些任務可能以前的工具能完成，有些任務引入大模型之後就能自動化完成。
最終每個點都打通之後，就能實作整個安全營運過程或者某些場景下自動營運。
例如像開頭案例中那樣，安全大模型對惡意郵件進行自動檢測，自動分析行為日誌等多項自動化流程，讓安全人員及時處理攻擊，並且自動分析攻擊鏈條，完成安全漏洞和弱點的排查。
大縱深 ，就是在小切口基礎上做深做透，深度融合大模型和安全的能力。
大縱深 也包括了兩個含義：
一是模型本身專業領域的深入，安全領域了解要非常透徹，獲取這個領域真正的專家知識。
比如MITRE的ATT&CK。360有遠遠超過它的技戰術，能把將近20年積累起來的最頂尖的領域知識運用到行業大模型中。
二是必須將獲得的知識和數據進行深度融合，不是搜羅一些私有數據後簡單地微調一下，或者放到現在的數據庫裏做RAG，就能實作深度融合。
因為這樣的做法本質上只是多了私有知識的通用大模型，走的還是通用大模型簡單套用的路，體現不出對於客戶更深的專業價值。
類腦分區協同CoE
真正將大模型的能力在安全領域落地，360安全大模型3.0核心變化最主要體現在「類腦分區協同（CoE）」的獨特構架上。
360安全大模型3.0打造的類腦能力體系，能夠調動各功能中樞協同工作，共同支撐安全大模型實作專家級安全能力。
這本質上是參考大腦的功能，因為人類大腦的功能是分區的，而且這些多功能區是協同工作的。
360借鑒大腦的功能分區結構，搭建了類腦分區協同的CoE框架，作為360安全大模型的核心框架。
而這麽設計結構框架，一方面是要解決模型訓練過程中實際遇到的問題。
因為在訓練模型時可以經常感受到，任務之間是有沖突的。
比如訓練本腦HQL這樣的結構化語句，可能就和漏洞相關的訓練有所沖突，一邊學好了另一邊的能力會下降。
所以用不同的中樞將模型進行區隔，將有效降低這種沖突產生的可能，保證各個能力點都全力發揮。
而另一方面，CoE名字雖然借鑒「混合專家模型」：MoE，但是在實際的運轉過程中又有自己獨特的特點。
與MoE在工作時會同時啟用幾個專家模型不同，CoE重點在於它的推理程式會在按階段啟用不同的專家，也就是按當時工作進展來啟用不同的專家。
比如惡意郵件的研判，推理程式會首先推到研判專家的分區，研判專家會得出一個結果，推理程式再把它交由語言專家分區，最後再交給最終給使用者的研判分析結果。
具體來說，類腦結構由以下5個中樞構成：
1. 語言中樞，實作了像語言轉譯、文本摘要、意圖辨識等能力。
語言中樞可以理解和套用Quake語言，HQL語言。
意圖理解、報告生成、指令生成，這些場景都是在語言中樞中完成。
比如Quake語言中樞可以幫助安全大模型理解Quake查詢規則、資產資訊、提取資訊摘要等等，還可以把使用者的自然語言按照要求轉化成結構化的查詢語句。
2. 規劃中樞就是實作程式生成、方案規劃、目標拆解能力。
這些高級能力可以在很多復雜的任務中體現出來，比如：
告警降噪、告警響應，威脅獵殺和攻擊溯源等場景當中。
規劃中樞會參與規劃獵殺過程中任務的每個步驟，引導安全大模型和框架其他部份完成具體的操作。
3. 判別中樞實作了數據抽取、邏輯推理、是非判斷，特定的研判檢測。
它的能力主要是套用在惡意檔的判別，惡意郵件的判別，EDR的告警判別，攻擊流量判別以及程式碼漏洞判別等任務場景中。
4. 道德中樞是實作內容安全的核心，保證了輸出內容的無害性。
5. 記憶中樞，可以提供相應的記憶資訊。
比如套用在知識問答場景，它可以和外部智能體當中RAG的方式配合使用。
以智能體框架為基礎的工具增強——TAG
而在安全大模型的大腦核心框架之外，還有一個用智能體搭建的能力增強系統。
類比於認知科學中認為人的思維過程分為下意識的「快思考」和集中註意力的「慢思考」過程。
大模型就像人類的「快思考」一樣，通常會直接根據以前學習到的知識，快速得出一個結果，很容易產生「幻覺」。
對此，360以安全大模型為「大腦」，構建了一個智能體框架。
智能體框架具備了任務編排、指令排程、記憶儲存能力，可以呼叫安全知識、工具，充分發揮RAG、TAG的能力。
這就相當於模仿了人類「慢思考」的過程，對安全大模型的結果進行糾錯和能力增強，實作更強大的專家能力。
工具增強（TAG）是以安全智能體為基礎，透過調動各種安全工具為安全模型提供了解外部世界的能力。
類似於檢索增強RAG，所謂的工具增強，就是工具對模型的幫助其實遠遠超過檢索這個層面。
特別是安全行業當中各種安全工具和產品，和大模型是能相輔相成的，不僅是能接受大模型的一些幫助，反過來它的數據能提升模型的效果。
TAG不單單是為大模型提供了外掛知識庫，而是為大模型提供了手和腳，能夠完成任務，還能像手和腳的觸感一樣在完成任務的過程中獲取更多的數據，增強大腦的能力。
借用智能體框架再把大模型工作過程拉長，充分利用RAG、TAG的各種能力，可以給它提供糾錯機制。
比如，在使用者提問之前，安全大模型就可以先用工具，先用檢索為它提供和任務相關的知識，在它回答問題之後，系統也可以用知識圖譜對結果進行校驗。
場景實戰
來看看圍繞安全行業高難度、高價值的APT場景，360安全大模型是如何工作的。
360安全大模型智能化獵殺海蓮花APT攻擊
第一步，威脅獵殺/威脅狩獵。
人類專家會從一個假設或猜測開始，觸發一個主動網絡防禦的獵殺過程。
安全大模型也會模仿這個過程，利用智能體，透過外部的安全產品，發現APT的告警或事件。
比如這裏就是修改系統，多項配置的事件。在這個點，安全大模型就會觸發它的獵殺任務。
第二步，任務生成。
智能體框架會生成獵殺任務，排程編排給安全大模型，在關鍵步驟透過TAG工具增強來增強大模型的能力。
第三步，規劃編排。
安全大模型預演中樞是負責語言理解和意圖理解。
理解之後，會由規劃中樞來規劃實作的方案，拆解行動的目標。
這個步驟也會利用智能體中偏好設定的專家編排劇本來進行指導。
360安全大模型本身有大量的偏好設定劇本可以提供很好的指導。
而且隨著模型能力的不斷提升，規劃出來的實作方案效果會越來越好。
第四步，逆向追蹤溯源。
在安全大模型規劃了任務之後，判別中樞非常重要，它會抽取EDR、NDR日誌。
這些日誌資訊會透過智能體排程輔助工具進行追蹤溯源，找到攻擊的源頭。
第五步，正向梳理還原攻擊鏈。
從源頭梳理還原整個攻擊鏈，過程對關聯事件進行研判分析、固定證據、輸出中間結果。
然後透過智能體安全攻防結果做消除「幻覺」的一些工作。
第六步，APT畫像。
安全大模型透過攻擊鏈以及過程中固定證據這些行為訓練，判定攻擊類別，判定APT組織，最後形成APT畫像。
第七步，輸出結果的內容檢測。
記憶中樞支撐了每一步的資訊記憶。
大模型安全問題，如何解
安全，是大模型時代最大的挑戰。
眾所周知，大模型本身就是數碼化系統，只要有數碼化系統就存在安全問題，而且更加嚴重。
不過就這一層面來說，傳統的網絡與數據安全問題，可以部份地使用傳統的安全方法解決。
但是，解決這一問題的根源在於大模型本身——大模型自身並不安全。
大模型背後的邏輯是概率token的預測，並非真正的理解，因此，LLM往往會產生「幻覺」輸出不合規、暴力有毒的內容。
對於這些安全問題，需要創新手段去解決。
一種可能的方法是，對大模型進行深入了解，這也是OpenAI、Anthropic等大模型公司都在攻克的難點。
比如，去年OpenAI超級對齊團隊釋出了一篇關於用「GPT-2監督GPT-4」的論文，來解決人類面對比自己更聰明的AI時所面臨的風險。
其次就需要「安全的大模型」出場。
因為對於那些不做LLM的企業來說，無法在大模型內部深入耦合原生安全機制，很難從根本上解決原生的大模型安全問題。
還有一種可能是，LLM整個鏈條不可控，因為大模型需要「多步排程」完成任務。
比如，讓大模型把大象關進冰箱需要多少步？
第一步把冰箱開啟；第二把大象塞進去；第三把門關上，整個流程串起來構成一個完整的工作鏈條。
有沒有想過，如果其中某一步被控制，LLM輸出的結果就會失控，就會造成不可逆的影響。
當然，除了大模型自身問題，還有來自外部的原因——即大模型容易被攻破，惡意使用。
目前，許多學術界的研究就證明了GPT-4、PaLM等大模型所存在的嚴重缺陷。
比如，南洋理工提出的「越獄」新方法MasterKey讓GPT-4、Bard等大模型集體失控，越獄成功率從平均7.3%直接暴漲至21.5%。
還有谷歌DeepMind提出的新方法只要不到20美元，可以從ChatGPT或PaLM-2等黑盒語言模型中竊取模型資訊。
甚至包括，去年11月，ChatGPT大規模宕機事件，被爆出原因可能與DDoS攻擊有關。
再往長遠看，終極AGI到來那天，大模型控制人類愈加危險。這也是為什麽圖靈巨頭Hinton等人一直呼籲加強大模型安全的問題，防止終極末日的來臨。
面對這些安全問題，360也給出了自己的思考。
大模型的安全問題若想得以解決，就需要攻克四大安全主題上的核心問題——可靠性、可信、向善、可控。
要知道，LLM安全體系架構是「雙輪驅動」的，第一個輪子是傳統的網絡數據安全，第二個輪子是以內容為核心的原生安全。
因此，解決大模型可靠性，需要雙輪。而非業界側重的僅僅保護網絡與數據安全，構建安全的營運環境。
360認為，大模型內容的輸入輸出，就是大模型安全的核心。
正是基於這種以「內容」為主的防禦思路，360提出了「安全原生」的基本原則，透過「以模制模」的策略，即以小模型技術保障大模型的安全。
與此同時，360也提出了大模型的體系框架——AISF，大模型內部嵌入對內容的管控，對行為的管控，對知識的增強這三套措施。
這便是，360大模型具體安全解決方案——「雙輪框架模型」。
基於自身提出的策略，360在大模型安全領域做出了諸多的落地成果。
安全大模型行業領頭人，360憑什麽？
前段時間，賽迪顧問釋出的【中國安全大模型技術與套用研究報告（2023）】中，「360安全大模型」憑借突出的技術能力和業務布局，位居圖表首位，綜合實力領先行業。
360背後憑借什麽，能夠成為行業安全大模型領頭人？
一來，360也是國內最早邁入大模型領域的互聯網企業之一，自主研發的千億參數「360智腦大模型」，成為行業模型的基礎底座。
再者，自創立至今，360在AI安全套用和安全數據方面，已經擁有近20年經驗積累，為訓練安全大模型提供了豐富的「養料」。
具體來說，360是在國內最早實作AI在網絡安全領域套用化的公司，從誕生起便內建「安全」基因。
2010年，360自主研發了世界首個采用AI技術的反病毒引擎360 QVM，具備「自學習自前進演化」的能力。它在國際評測機構AV-TEST全球殺軟評測中奪冠，也創造了亞洲殺軟的歷史紀錄。
隨後相繼在14、17年釋出了下一代QVM，以及QAPT人工智能高級威脅檢測引擎，不斷加深技術積累完成叠代，
與此同時，作為領先的科技公司，360也是國內為數不多的長期深耕AI的廠商，在AI領域不斷持續投入。
2015年，AI研究院成立。2018年，360團隊開啟了多模態CV領域的研究，並取得了許多技術成果。
值得一提的是，在人工智能世界杯當中，360還戰勝了圖靈獎團隊，拔得頭籌。
去年，千億級參數規模的「360智腦」大模型釋出，具備了生成創作、多輪對話、邏輯推理等十大核心能力。
到目前為止，已經叠代了4個版本，在行業中得到了實際套用。
可見，360自身在多模態、跨模態技術套用以及NLP大模型核心技術中，有了強大的技術積累。
此外，作為全球首個大模型安全風險評估首創者，360也承接了「安全大腦」——國家級人工智能開放平台專案，能夠為安全大模型的賦能。
去年8月，360「安全大模型1.0」首次誕生之後，側重的是智控系統，一經釋出就有了300+個API接入。
隨後升級的2.0版本，將不同場景細分之後，透過智能體完成一些自動化的工作。
與此同時，「小切口、大縱深」的理念已經形成。
不過，2.0階段大模型，在客戶的實際套用中，仍舊面臨一些挑戰。
因此，360團隊繼續深耕安全大模型本身的能力，從模型結構、推理等逐漸深入，也就是我們現在看到的3.0版本。
此外，360安全雲在安全大模型加持下，形成公有雲和私有化兩大場景。
在公有雲場景下，打造安全雲服務，充分利用AI提升營運效率；在私有化場景下，深度最佳化安全大腦+安全大模型+探針的能力落地。
最重要的是，安全大模型實實在在地帶來了極大的生產力提升：
360首席科學家兼360數碼安全集團CTO潘劍鋒表示，360安全大模型還會進一步叠代升級，而下一步規劃主要分為兩個部份，一是擴充場景，二是不斷深耕模型。
進一步願景是，360安全大模型可以直接套用到垂直模型之上，擴充更多的場景。
其次，模型能力高低與「基座模型」有著直接的關系，360也將不斷深耕安全大模型，同時向通用模型的一些通用能力發力。
360安全大模型3.0的釋出，正式開啟了智能化安全營運的時代！
