本文摘自【雲棲戰略參考】，這本刊物由阿裏雲與鈦媒體聯合策劃。目的是為了把各個行業先行者的技術探索、業務實踐呈現出來，與思考同樣問題的「數位先行者」共同探討、碰撞，希望這些內容能讓你有所啟發。
金融業是數位化、智慧化的先行者，也是大模型技術落地的絕佳領域。
相關研究數據顯示，目前國內參數在 10 億規模以上的金融大模型約有 18 個，從廠商到金融服務平台，都在積極探索將不同業務與大模型結合，進行智慧化改造。
但激動人心的局面之下，現實仍面臨技術範式的突破如何真正轉化為場景價值的共性難題，而金融行業因為天然具備結構化數據充沛和套用場景豐富等特點，同時對輸出的內容要求精準、安全、可控、高效等特性，使得金融大模型的探索一直走得更前沿。
盈米基金作為一家投顧規模超 300 億元資產規模的獨立基金銷售機構，已將大模型套用在智慧投顧客服場景，與業務系統深入融合，從技術路徑選擇到落地套用，探索走出了一條智慧化創新之路。
探索，智慧投顧
盈米基金可以說是中國基金投顧市場的探路者。2016 年 7 月盈米上線了一個面向個人使用者的理財服務平台 -- 且慢，其定位不是主推某一支產品，而是提供一攬子解決方案，基於客戶自身的資產情況、財務規劃、人生階段等資訊提供長期的投資顧問服務。對於投顧機構而言，從賣產品到賣服務，不僅改變了收費方式、盈利來源，更是改變了使用者長久以來的理財習慣。
但提供千人千面優質的投顧服務並不容易。
首先，投資理財是一個高度個人化的問題，如何做好使用者和投資方案和產品的匹配是一個很復雜的問題。此外，基金、保險本身是一個業務復雜度很高的領域，盡管發展多年，但仍有大量的業務規則和數據仍不夠標準化，數位化難度高。比如基金銷售機構需要大量的人來根據基金公司公告來配置基金的資訊和交易規則。另外，金融行業對金融產品的價格、收益等等資訊的延遲容忍度是很低的。
過去，為了解決復雜度較高的客戶服務問題，除了不斷最佳化 APP 的互動和功能以外，就是做好客服系統。但客服機器人一般只能提供一些格式化的導航資訊，大多數情況下會成為「轉人工」的彈板，只能用大量的真人客服和顧問來解決客戶服務問題。
而 AI 大模型的能力讓且慢看到了新的可能性，其內部快速組建了大模型團隊、標註團隊，並開展內部 AI 大賽，希望從一線征集場景需求、探索 AI 套用的可能，且慢 AI 小顧的想法雛形就由此誕生。
興奮之余，且慢又遇到了新的挑戰——由於無法使用國外大模型，同時期國內大模型又尚未成熟，且慢 AI 小顧的探索之路幾乎停滯。
確定一款真正可用的大模型，且慢非常謹慎，透過一套包含約 300 個案例的測試集對市面上的大模型進行測試。比如問「A 基金的規模是多少」，測試大模型的工具呼叫、參數提取，以及對工具返回的資訊進行再次分析能力 ; 再繼續問「對比 A 基金與 B 基金的規模誰更大」，測試大模型對上下文的理解能力，以及提取 B 基金規模之後，進行數據清洗、對比的能力 ; 繼續追問「兩只基金規模加起來是多少」，測試大模型的數學推理能力 ......
看似簡單、自然的邏輯，但落在發展初期的大模型上，從技術側實作起來還是很難的。盡管短期內沒有找到理想的大模型，但公司高層堅信國內大模型能快速成長起來——2023 年 11 月 Qwen-72B 開源大模型，且慢第一時間進行測試，發現效果意外好，也由此開啟了之後基於通義千問大模型的一步步嘗試。
融合，且慢 AI 小顧誕生
且慢對大模型能力的要求很高，從響應品質、響應速度，再到技術叠代速度缺一不可。盈米基金且慢高級技術總監梁仲智表示，現在的確有很多千億參數的大模型，且慢也都進行了內部測試，但很多模型對基本的 Agent 協定都無法正常執行，綜合品質和效率的平衡考量，Qwen-72B 的推理能力表現最好，而且幾個月後且慢又升級使用了 Qwen1.5-72B。
據了解，且慢在早期透過開源架構工具打造了二十多個不同任務種類的 Agent，且慢 AI 小顧與使用者互動的過程就是大模型自身能力與 Agent 體系配合的過程。
首先，且慢 AI 小顧要解決好使用者的問題，必須能正確理解使用者的意圖，這需要大模型有很強的語意理解能力。通義千問大模型在訓練語料上有高品質的標註和清洗，能夠很好理解各種語言環境下的使用者意圖。
其次，且慢 AI 小顧為回答問題需要進行多輪的大模型呼叫，大模型需要從辨識請求到完成任務進行一系列自行決策，包括呼叫外部函式或服務 (Function Calling) 的功能。例如，回答一個復雜的收益查詢問題，且慢 AI 小顧綜合使用者問題以及結合系統能力進行動態規劃，最終給出答案後，可以自主決定呼叫 UI 元件來「佐證」 自己的回復，以此來解決可信度的問題。而 Qwen1.5 在智慧呼叫工具的能力上表現優秀，在公開測試的能力象限中顯示優於 Llama 等大模型。
此外，使用者與且慢 AI 小顧的問答並不是一問一答，而是多問多答，這就要求大模型在復雜的多輪對話場景下能夠保證意圖辨識的準確性和連貫性，對模型的上下文視窗提出了很高的要求。通義千問大模型也一直關註長上下文理解的能力，最新開源的 Qwen2 增大了上下文長度支持，Qwen2-72B-Instruct 能夠處理 128k 上 下文長度內的資訊抽取任務。
最後，且慢對 AI 小顧的有一定的時延要求。基於通義千問 -Max 的且慢 AI 小顧效能得到進一步提升，但不足之處是時延略長，綜合考慮之下，且慢在一段時期內采用了通義千問 -Max、通義千問 -Plus 的雙參數模式來應對客戶的不同需求，透過不同參數模型的結合，在低成本的前提下實作對大模型的精準呼叫。
比如，問「今天股市走勢如何 ?」這類簡單問題時，可使用參數較小的模型迅速反饋。當問到「過去三個月的投資收益如何，對持倉有何建議 ?」，可透過同時呼叫 Max 及 Plus 版本，得到全面、準確的答案。目前，且慢 AI 小顧已使用包含了 1000 多個問答集的知識庫支持不同 Agent，覆蓋投資知識、產品資訊、功能操作引導等多種問題。
且慢 AI 小顧上線以來取得了很明顯的效果，目前已為 2 萬多個使用者，解決超過 15 萬個投資問題，問題解決率從之前的不到 50% 提升到 90%，使用者在遇到基礎問題後轉向人工服務的比例顯著下降。這不僅減輕了人工投顧的服務壓力，使投顧可以更專註於提供高階的投顧服務，且大大提高了問題反饋的及時性和處理的有效性。
大模型在金融領域的廣泛套用，為金融機構帶來顯著價值增益的同時，挑戰也隨之而來，安全風險就是其中之一，比如合規、安全、倫理等多個關鍵維度，對金融企業的穩健營運與長期發展構成潛在考驗。
在大模型本身而言，通義千問大模型構建了一個有效、可靠的數據管理及私密防護框架，確保大模型安全評估體系的全面性，並且在公共雲上還會用一些外圍的內容安全產品。此外，通義千問模型每一次更新叠代的模型訓練中都會引入一些安全、攻防語料，讓大模型學會辨識什麽是不安全不合規的內容，然後拒絕回答。
而從外部層面，需要在大模型之上再施加一層工程化的手段來加固安全。比如應對提示詞攻擊時，盡管使用者 A 成功讓大模型認定他為使用者 B，但在資訊查詢的指令反饋鏈路中可以對指令來源的登入帳戶進行核驗，從而驗證其真實有效身份，避免造成其他使用者資訊泄露。
隨著大模型能力和安全能力逐漸完善，大模型在金融領域的套用也會涉及越來越多、越來越核心的場景。阿裏雲百煉大模型服務平台提供專屬的 VPC( 專有網路 )、 使用者數據全鏈路加密、數據不落盤等多重保護，滿足金融企業對核心業務數據的安全防護需求。
未來，拓寬融合邊界
且慢 AI 小顧已經可以「獨當一面」，不過隨著大模型叠代，且慢 AI 小顧會更智慧——剛剛開源的 Qwen2- 72B，整體效能相比 Qwe1.5-110B 又取得了大幅提升，目前且慢已切換至 Qwen2 並上線執行了。
與此同時，伴隨當前大模型版本快速叠代、技術快速發展，從長期來看，「適配」將成為一個新挑戰——除了對新的大模型版本需要做一些提示詞方面的適配工作，還需要考慮開源框架下的 Agent 體系與大模型能力的適配問題。比如，外界對 LangChain 高度抽象化的能力褒貶不一，在不斷叠代的技術適配過程中，會給技術人員造成很高的理解門檻。
對且慢而言，在大模型實踐的初始階段，沒有成熟的工具必須依靠自身來搭建，下一階段的開發則會考慮外部工具平台，例如阿裏雲百煉平台，希望能透過一些方便、快捷、效果好的一體化搭建工具，誕生更多 AI 小顧這類套用。
比如，且慢要切換使用同一版本的不同參數模型，或者從 Qwen1.5 升級到 Qwen2，在不同版本之間的切換，在百煉平台上只需要更改 API 參數，一行程式碼就能完成模型切換，非常方便。但如果是用外部開源框架工具就復雜得多。
此外，阿裏雲百煉更是一站式平台，除了通義系列商業化和開源的大模型之外，還有諸如 Llama、ChatGLM、百川等市面上主流的大模型和垂直領域優秀大模型，從選模型、調模型、搭套用到對外服務，一站式搞定。開發者可透過「拖拉拽」的簡易操作幾分鐘開發一款大模型套用，幾小時「煉」出一個專屬模型，玩模型就像搭積木，把精力專註於套用創新。同時，百煉內建豐富的 Prompt 樣版，支持基於 LLM Meta- prompting 的智慧最佳化，使用者可用幾句話簡單陳述需求，無需費心偵錯 Prompt 工程。
目前，盈米在其他業務上也在積極嘗試。比如，針對內部使用者做了投顧副駕，輔助客服和顧問更好地回復使用者的問題以及進行一些日常工作。未來隨著 AI Agent 的發展，客服和顧問的角色有望慢慢變成一個「質檢員」 的角色，檢查 AI Agent 的工作結果是否可以直接采納。
效率提升方面，盈米做了一個 GPTest 工具，可以讓測試部門直接用自然語言生成自動化測試 Case；以及利用 AI，根據 Figma 設計圖，直接生成高可用的前端 React 程式碼。
在且慢的投顧業務中，大模型與本地金融業務深度融合，可以幫忙有效解決投資者教育問題，以及使用者投資方案的規劃、匹配問題，以及投後的服務都會有所提升。在 「且慢」之外，盈米基金計劃將 AI 技術套用於穩行、蜂鳥、啟明業務中。其中，穩行是 toC 的保險業務，蜂鳥是 toB 為專業資管機構提供數位化解決方案業務，啟明是 S2b2c 透過提供前台展業系統、投顧服務系統，為理財團隊 / 金融機構提供一站式服務業務。
從金融行業整體來看，銀行、證券、保險等行業均在嘗試將大模型與核心業務進行融合。比如，保險行業接入通義大模型，在客服、理賠、行銷等場景實作效率飛躍，每日呼叫超萬次，顯著提升客戶滿意度 ; 銀行行業接入通義大模型替代傳統人工座席呼叫，提升了企業營運效率 ; 證券行業接入阿裏雲的通義大模型智慧投研、文件分析、金融資訊搜尋引擎和智慧資訊服務，覆蓋財報、研報、公告等多個方面，為使用者提供全面而深入的金融資訊服務......
大模型的能力套用的廣度與深度將不斷擴充套件，如何打造更有價值的金融大模型套用，對阿裏雲和盈米而言，道阻且長，並肩前行。
