阿裏巴巴研究院最近推出了新技術創新——UniPortrait。這一創新技術提供了一個統一的框架，能夠高效地處理單人和多人影像的個人化需求。核心優勢在於能夠在保持人物身份特征不變的同時，實作高度個人化的影像客製。框架整合了單一身份和多身份客製、高人臉保真度、廣泛的人臉編輯能力、靈活的輸入描述方式以及多樣化布局生成等多重功能，為使用者提供了一站式的影像處理解決方案。
技術架構ID嵌入模組
UniPortrait的核心組成部份之一是ID嵌入模組。該模組采用了獨特的解耦策略，能夠從輸入影像中抽取每個人物的多功能可編輯人臉特征，並將其嵌入到一個預訓練的擴散模型的上下文空間中。這樣做的好處在於能夠保留每個人物的身份資訊，同時又能夠靈活地對其進行編輯和調整。
ID路由模組
另一個關鍵元件是ID路由模組。該模組負責根據輸入指令和要求，將之前提取並嵌入的人臉特征自適應地組合和分布到合成影像的各個區域。無論是針對單個身份還是多個身份的客製，ID路由模組都能夠精準地實作目標效果，確保最終輸出的影像既符合使用者的需求，又能夠保持各個人物的身份特征。
訓練方案
為了實作上述功能，研究團隊還設計了一個兩階段的訓練方案。首先，透過大量的數據集對模型進行預訓練，以確保其具備基本的人臉辨識和編輯能力。隨後，在特定的任務上進行微調，使得模型能夠更好地理解使用者的個人化需求，並準確地執行客製任務。透過這種方式，UniPortrait不僅在單身份和多身份的客製方面表現出了卓越的效能，還在多種量化指標上超過了現有的方法。
UniPortrait的推出標誌著影像個人化技術邁出了重要的一步。它不僅為影像處理提供了新的思路和技術支持，也為人工智慧技術的套用開辟了更廣闊的領域。未來，UniPortrait有望在影像處理、虛擬現實、線上社交等多個領域得到廣泛套用，為使用者提供更加豐富和個人化的體驗。此外，隨著技術的不斷進步和完善，UniPortrait還可能成為推動相關行業創新和發展的重要力量。
