這一創新玩法由網易24工作室聯合網易伏羲AI實驗室共同研發，作為全球首款遊戲Copilot隊友，該功能依托於最前沿的AI大模型推理技術，成功塑造了與真人玩家體驗相媲美的AI隊友。AI隊友不僅能夠自主執行跑圖、搜尋物資、參與戰鬥、跑圈等戰術動作，更能在戰鬥中提供輔助和救援，透過自然語音與玩家進行雙向無縫溝通。
【永劫無間】手遊上線當日，網易伏羲AI技術負責人睿風應邀在「2024驍龍遊戲技術賞」上發表演講，首次公開分享【永劫無間】手遊中語音AI隊友的技術探索和套用成果。該活動為高通公司循例在ChinaJoy前夕舉辦的年度盛會，今年，高通公司攜手網易伏羲等產業合作夥伴，共同探討移動技術創新如何賦能前沿數碼娛樂體驗。
因演講當日恰逢【永劫無間】手遊公測上線，睿風無法到達現場，所以透過連線方式進行分享。以下是他的演講實錄：
大家好，我是來自網易伏羲的睿風，很高興能夠參加「驍龍遊戲技術賞」。
（網易伏羲AI技術負責人睿風現場連線分享畫面）
網易伏羲成立於2017年9月份，是國內第一個面向遊戲行業進行AI研究的人工智能實驗室，我們以「建立人工智能與遊戲交叉領域的世界一流實驗室」為宗旨，運用人工智能尖端技術為玩家營造新世代的遊戲體驗，同時也借助遊戲平台的海量數據和仿真環境，推動人工智能技術的發展。
自2017年成立至今，網易伏羲已經在多款遊戲中落地大量的AI玩法。例如我們在【逆水寒】端遊中首創AI照片捏臉玩法和智能養育系統，在【永劫無間】端遊中，我們上線了基於強化學習技術的噩夢人機玩法，利用AI反外掛技術定位和處罰違規玩家確保公平遊戲環境。去年我們在現象級遊戲【逆水寒】手遊中落地了大量創新的AI套用，包括智能NPC、文字捏臉、大宋頭條、UGC劇組模式等等，打造了全球首款AI遊戲，也獲得了玩家們的高度認可和歡迎。
今年，我們在今天正式上線的【永劫無間】手遊中，率先釋出了全球首創的語音AI隊友玩法。在這個玩法中，玩家可以邀請智能AI隊友進行一場完整的遊戲體驗。玩家可以透過語音互動的方式，直接跟AI進行交流。這個AI隊友首先能聽懂指揮，搜裝送裝、團戰配合樣樣精通；其次能即時觀察戰況，匯報關鍵資訊並答疑解惑；此外AI隊友還具備強大的戰鬥能力，博弈強、配合好；最後該AI隊友還能自由交流，給予玩家較高的情緒價值。
為了能實作這個能聽、能說還能做的AI隊友，網易伏羲基於多年的技術積累，結合語音辨識、語意理解、文本生成、語音合成、強化學習、模仿學習等多項AI技術，解決了大量的技術難題。為了實作跟真人隊友幾乎無異的語音互動體驗，我們給這個玩法設定了幾個技術指標。
首先相比於喚醒詞或手動按鈕觸發的互動方式，全開麥的即時語音互動對我們提出了更多的技術挑戰，其中最核心的就是噪音檢測和非互動內容辨識的能力，為了盡可能降低誤觸率，我們使用網易伏羲的有靈眾包平台，在開發期就采用自動數據閉環方式，透過持續采集各種機型和專案成員們的真實體驗數據，不斷最佳化模型效果。
其次，為了讓AI能夠精確辨識玩家指令並做出最合理的行為決策，我們不僅引入了自然語言理解技術來提升指令辨識能力，而且采用了基於指令的強化學習技術，讓模型能夠根據指令和即時的戰場狀態，做出最合理的行為決策，實作了盡可能遵循玩家指令的基礎上，又保持較高強度的遊戲能力。
最後，為了達到極低的互動體驗速度，我們做了大量的工程最佳化工作。當前線上的即時響應時長最短可以實作300ms內的語音和行為響應，最長響應時長也能控制1s左右，從而實作了讓交流不延遲，讓配合更及時。
正如前面提到的，這個語音AI隊友玩法對於時延非常敏感，為了給使用者帶來更極致的互動體驗，伏羲跟高通進行了深入合作，將部份AI推理從雲端GPU遷移到第三代驍龍8流動平台的NPU上。
為什麽我們要去做端側推理？首先就是低時延，相比於基於雲的推理，端側推理可以節省網絡傳輸帶來的時間延遲，特別是對於一些網絡條件不太好的地區的玩家，這部份的時延降低帶來的收益是非常可觀的，從而給這部份玩家帶來更好的遊戲體驗。其次從公司層面來說，AI推理從雲端遷移到端側，可以充分利用玩家的終端算力，降低服務執行成本。我們知道目前雲端的GPU服務都是比較貴的，為了控制成本，很多AI服務都會對套用做一些使用限制或讓玩家采用付費使用的方式，而端側推理可以讓這部份玩家自由地體驗AI玩法。
當前在【永劫無間】手遊的AI隊友玩法中，網易伏羲跟高通已經遷移了部份AI能力到端側，目前正在做更多深入合作。我們期望未來可以將更多AI能力，包括大語言模型（LLM），語音合成（TTS）等技術適配到手機終端，給玩家們帶來更好的遊戲體驗。
