封面新聞記者 歐陽宏宇
AI大模型技術已全面落地一年多，人工智慧在感知人類情感方面發展到什麽程度了？
近日，在2024年國際人工智慧聯合會議大會上，第二屆多模態情感辨識挑戰賽（MER24）落幕，在參賽隊伍最多且難度最高、競爭最激烈的SEMI（半監督學習）中，Soul Al、BZL arc06以及北郵和北理工（BUPT-BIT）三個研究團隊的多模態AI大模型分獲前三名。
據介紹，該賽事主要透過文本、音視訊等多模態數據來進行AI情感辨識測試比拼，旨在推動相關技術在真實人機互動場景中的落地套用。比賽設定了SEMI（半監督學習）、NOISE（雜訊魯棒性）、OV（開放式詞匯情緒辨識）三個賽道，共吸引了來自知名高校、科技企業等近百支參賽隊伍。
一直以來，多模態情感辨識在人工智慧領域都是一個活躍的研究課題，主要目標是整合多種模態來辨識人類的情緒狀態。讓AI「理解」人、實作有情感的人機互動已經成為學界、科技領域關註的焦點。
以SEMI賽道為例，參賽隊伍需要利用少量有標簽和大量無標簽數據視訊數據來訓練自己的模型，並對模型在無標簽數據集上的表現和泛化能力進行評估。該賽道獲勝的關鍵在於透過改進半監督學習技術來提高模型情感辨識效能，比如預測情緒類別的準確率。
作為AI界追逐的新熱點，人工智慧多模態情感辨識主要體現在能讀懂情緒並傳達情感。優勝團隊相關技術負責人透露，該技術基於目前平台自研大模型部份模組，包括提出微調模型EmoVCLIP，用於適應視訊的情感辨識；使用Self-training策略，透過迴圈對無標簽數據打偽標簽與訓練模型之間相互叠代從而提升模型的泛化效能；針對模型不同模態之間融合存在的競爭效應，在多模態情感辨識領域使用Modality Dropout，提高模型情感辨識準確率等。
「特別是在社交領域，多模態情感辨識技術更是重要的一環。」賽事評委組相關負責人表示，社交的本質是情感的流動，只有能夠實作情感的辨識，才能讓AI更好的理解人性、情緒和情感，實作理想的人機互動。「AIGC在社交場景落地的探索中，有望進一步利用多模態情感辨識技術能力，讓AI輔助社交、提升關系建立的品質和效率的同時，構建人機互動新場景，讓使用者可以與AI進行更加有溫度、沈浸、趣味的互動交流。」
