當前位置: 華文世界 > 科技

AI數據安全、風險管理領域存在「巨大」的合作夥伴機會

2024-10-06科技

來源:至頂網

微軟數據安全、私密和合規總經理Herain Oberoi稱,圍繞AI和安全開展的工作「對於合作夥伴來說是一個巨大的機會」——尤其是在幫助客戶了解AI風險、構建解決這些風險的套用、以及圍繞新攻擊面構建儀表板和報告等領域。

Oberoi在接受采訪時強調了這些方法,認為這些方法可以幫助首席資訊保安官(CISO)和類似的領導角色與公司董事會和CEO進行溝通,從而快速推動AI創新。

對於那些客戶不太願意采用AI產品的解決方案提供商,Oberoi的建議是關註在客戶競爭之後進入AI實驗階段並進一步落後的風險。

「我們承認這(AI)具有極大的破壞性,」Oberoi說。「而降低風險的一個簡單方法就是,你不需要在生產中推廣。但如果你不嘗試,你就沒有學習。如果你坐在場邊看著別人做實驗,你的學習機會只會更少。透過觀察別人,你能學到的東西是有限的。真正的學習來自於實踐。」

總部位於紐約的解決方案提供商Troinet公司行政總裁Wayne Roye在最近的一次采訪中表示,最近他和客戶探討了安全和AI策略是專註於數據治理。

對於Roye來說,數據治理更具主動性,解決了「AI可能接觸和看到我(客戶)可能不知道的資訊。」

Oberoi談到了微軟幾個值得信賴的AI計劃所涉及的領域,對於這家位於華盛頓州雷德蒙德的科技巨頭擁有40萬成員的生態系解決方案提供商來說,這些領域尤為重要。

微軟最近幾天宣布推出了AI產品組合的各種安全更新,包括針對Copilot+ PC Recall功能的新安全架構、Azure AI Content Safety中用於即時修復幻覺問題的校正功能。

值得註意的是,去年Oberoi重返微軟,擔任了目前的職務。此前,他在競爭對手Okta公司擔任行銷和戰略高級副總裁約一年時間,在雲端運算競爭對手AWS擔任數據庫、分析和區塊鏈行銷總經理約四年時間。

根據Oberoi在微軟旗下社交媒體網絡LinkedIn的賬戶顯示,之前他在微軟任職約12年,2017年離職時擔任的是微軟大數據和機器學習產品組合(包括Azure機器學習)產品行銷高級總監。

以下是Oberoi關於給AI數據安全合作夥伴帶來機會的更多觀點。

您給微軟安全解決方案提供商在AI安全方面的建議是什麽?

我們和我們的合作夥伴共同都有巨大的機會為這個領域的客戶提供幫助。這是一個相對較新的領域,每周都在發生變化。……我會說,在某種程度上,我們感到有責任盡可能地提供框架和最佳實踐。

在某些情況下,我們還需要提供工具和功能來幫助合作夥伴和客戶。……目前,大家都在部署或至少在評估AI。因此,AI在組織中發揮作用的方式是,董事會會問CEO,「你的AI策略是什麽?你將如何顛覆或者重塑?」

然後CEO會關註高管層。在我的領域,在高管層中,我們會與首席安全官進行交談。

在某些情況下,他們還要為更廣泛的風險負責。因此,他們試圖理解……我該如何界定風險?他們不想被視為說「不」的人,他們想成為推動者。

因此,我們一直在嘗試透過這項「值得信賴的AI」計劃,開始幫助CISO以及風險領導者理解,我們如何看待風險?

關於可信賴的AI計劃,合作夥伴應該了解哪些資訊?

這個計劃實際上包含兩個部份,包含了我們作為一家公司在構建AI系統時做出的承諾,這是我們的AI系統是安全的、私密的原因。

這些承諾包括了我們在「Secure Future Initiative」中所討論的內容,例如我們的私密原則,我們說,您的數據是您的數據,我們永遠不會使用您的數據來訓練我們的基礎模型——諸如此類。

然後還有負責任的AI原則,其中包括安全、防止有害內容、偏見等。

因此,我們做出的承諾和我們為客戶提供的功能,在這個背景下思考問題,以便他們可以對他們構建的套用做同樣的事情——這很有幫助。

聽起來這項計劃對合作夥伴來說是一個機會?

在(該計劃的)所有領域,我們的合作夥伴都有機會,幫助客戶了解風險,然後開發套用幫助客戶以非常非常具體的方式處理這些風險,這些方面都是有機會的。

接下來談談安全性……當我們考慮組織必須考慮的一些安全風險時——顯然,數據安全、治理、合規性等問題經常出現——AI套用本質上是非常以數據為中心的。

我喜歡幫助客戶構建框架,是因為如果你考慮安全方面,現有的攻擊麪包括你的套用、你的數據、你的端點、你的網絡、你的雲。

因此,你有產品和功能可以提供針對這些不同攻擊面的安全性。隨著AI系統的出現,就有了新的攻擊面是你須考慮到的。

比如AI模型本身、實際的提示和響應,內容中是否包含敏感資訊,都必須考慮……像LangChain這樣的編排框架。

因此,如果是安全態勢管理方面,你的LangChain版本中是否包含任何漏洞?我怎麽知道呢?

然後是數據本身。你用來訓練模型的數據、用來微調模型的數據、用來為模型打下基礎以防止幻覺的數據,所有這些數據都是你必須保護的。

因此,你看到新型的攻擊是提示和響應中的提示隱碼攻擊、越獄嘗試或數據中毒……這些例子都是我們正在考慮的風險類別。

合作夥伴應該如何看待AI監管環境?

很多新法規即將出台,例如在EMEA(歐洲、中東和非洲)實施的歐盟AI法案。

在美國,有更多的NIST(美國國家標準與技術研究所,隸屬於美國商務部)AI風險管理框架。……然後,正如我之前所說,這些法規正在發生變化。

因此,客戶會說,幫我跟上法規的變化。我怎麽知道我今天構建的系統將來是否符合法規?……我們(微軟)承認,這就是關於如何考慮風險的問題。

這就是關於如何將其分類,以便你可以掌握它。然後說,我們想要采取方法解決這個問題……我們試圖在這方面進行規範。

你必須考慮——有一個準備階段,然後是圍繞風險的發現階段,然後是保護和治理階段。我想說準備和發現是連續的,但保護和治理是相輔相成的。

有所準備,意味著,你是否已經完成了全面的身份和身份治理方面的工作和控制。像Entra(以前稱為Microsoft Azure Active Directory或Azure AD)這樣的產品就是我們用來解決這個問題的功能之一。

或者我們經常看到的一個問題,你是否已經考慮過數據分類和標記?後設資料管理呢?血統,所有這些。...這就是微軟數據遺失預防工具Purview所實作的功能。

合作夥伴在發現、保護和治理階段發揮怎樣的作用?

發現意味著,我是否可以看到組織中使用的AI套用?我是否可以看到透過組織中這些AI套用的提示和響應共享的敏感數據?然後誰可以存取什麽?

因此,即使只是了解共享了多少數據並具有這種可見性。……這對合作夥伴來說是一個巨大的機會,因為合作夥伴找到我們說,我們一直在為客戶構建儀表板,以便他們能夠發現和了解哪些敏感數據處於危險之中,或者哪些套用正在使用中。

一旦我們向他們展示這種儀表板,他們就會看到風險,就無法忽視風險,必須采取行動。因此,一旦你必須采取行動,就可以開始分解問題並真正取得進展。

合作夥伴在這裏發揮著關鍵作用,因為你可以透過多種不同方式構建特定領域或特定行業的自訂報告或自訂儀表板,幫助組織內的領導者了解:我所關註的風險面有多大?

然後是保護和治理階段。保護包括以下內容:現在你正在制定數據遺失預防、策略和控制等政策,正在為數據安全態勢管理設定控制,以了解我的配置中是否存在漏洞。

你正在采取威脅防護等措施,但會把威脅防護擴充套件到AI工作負載,以防範諸如提示註入、越獄等問題。

最後,在治理方面,例如,我們在Purview中提供了我們稱為合規管理器的功能,你可以在其中根據特定法規進行自我評估,檢視自己在特定法規方便的合規性如何。

然後它會給你提供一些建議,以及你需要采取的後續步驟,以改善你的合規性分數。因此,引入歐盟AI法案、NIST AI風險管理框架等法規,都是我們一直在做的事情,為了確保產品中的監管支持包括了AI領域正在發生的所有最新的和最大的變化。

能告訴我一些關於儀表板的更多資訊嗎?

儀表板實際上是……我們對安全態勢管理和數據安全態勢管理看法的一種延伸。

因此,數據安全態勢管理不僅限於AI。……但你可以深入研究,好的,告訴我生成式AI套用的具體提示和響應。

告訴我,裏面有害內容嗎?或者裏面有敏感數據嗎?像Defender for Cloud(微軟的雲安全態勢管理(CSPM)、雲工作負載保護(CWP)和開發營運(DevOps)安全工具)這樣的工具讓客戶能夠看到我的任何套用的風險。

它不一定是AI應用程式。但是現在你可以具體深入研究,例如對於生成式AI套用,我可能還有其他風險因素,我認為這些因素可能會改變這些套用的風險評分。...我們可以將現有產品擴充套件到AI工作負載,因為這樣做很容易。

但是,回到我之前的觀點,在某些情況下,你會遇到新的攻擊面,針對這些新的威脅載體,我們正在構建全新的功能。...在過去的一年裏,我們推出了大量功能,首先就是針對Microsoft 365的Copilot。

從合作夥伴的角度來看,很多與Purview相關的M365 Copilot,現在擴充套件到了自訂AI套用上比如Azure、Azure AI、Azure OpenAI。

這兩個領域都是我們擴充套件現有控制項、構建更多控制項的方面,然後可見性部份實際上是給了他們一個起點。

如果客戶表示采用AI還為時過早,他們希望先看到變化速度穩定下來,那麽對於解決方案提供商,您有什麽建議嗎?

在微軟,我們有強大的成長心態企業文化,這意味著,如果你不進行試驗和失敗,就無法從中學習。...我們承認這(AI)具有極大的顛覆性。

降低風險的一種簡單方法是,你不需要在生產中推廣。但是,如果你不進行試驗,就無法從中學習。如果你坐在場邊看著別人試驗,你學習機會就越來越少。透過觀察別人,你只能學到這麽多。真正的學習來自實踐。

坦率地說,我不知道我是否遇到過沒有進行某種試驗的客戶。其中一部份原因是,當你進行試驗時,你會了解它,你也會更好地控制風險。

這更像是一個功能——你想以多快的速度行動起來?在你所在的行業中,即使這個行業在歷史上可能不是一個技術領先的行業。

我曾與一家礦業公司的CISO進行了溝通……他面臨的挑戰之一是,我們開發的技術應該在那些重型機械中使用50年,所以這些技術的發展速度不會那麽快。

但即使在這種情況下,他們也在研究AI,他們會問,我如何超越我今天所做的事情?我肯定會鼓勵他們進行試驗,主要是從這樣的角度來看,如果你不做,你就不會學到東西。失敗是這個過程的其中一部份。

鑒於技術和監管環境變化如此之快,您會猶豫是否要使用「面向未來」一詞來形容AI嗎?

我實際上並不使用面向未來這個詞,其中一部份原因是我們不知道未來會是什麽樣子。……你可以對整個事情持樂觀態度,也可以持悲觀態度。

顯然,在微軟,我們是非常樂觀的。而且……我們認為這可以真正地推動以前沒有變革的領域發生變革,甚至可以增加國家的本地生產總值。

但為了實作這一點,我們的心態應該更多的是學習、試驗和創造,而不是恐懼和冒險。降低風險這個部份極其重要,這是我們在芯片和安全方面的工作重點。但真的……我們如何在這種可能改變遊戲規則的推動力方面成為推動者?其中一種方法就是開始使用它並從中學習。