IT之家 2 月 8 日訊息，相比較微軟的風生水起，蘋果公司在 AI 領域的布局顯得低調很多，但這並不意味著蘋果在該領域就沒有絲毫建樹。 蘋果公司近日釋出了名為「MGIE」的新型開源人工智能模型，它可以根據自然語言指令編輯影像。
MGIE 的全稱是 MLLM-Guided Image Editing，利用多模態大型語言模型（MLLM）解釋使用者指令並執行像素級操作。MGIE 可以理解使用者下達的自然語言命令，進行 Photoshop 風格的修改、全域照片最佳化和局部編輯等操作。
蘋果公司和加州大學聖塔芭芭拉分校研究人員合作，在 2024 年國際學習表征會議（ICLR）上發表 MGIE 相關研究成果，而 ICLR 是人工智能研究的頂級會議之一。
介紹 MGIE 之前，IT之家先來介紹下 MLLM。MLLM 是一種強大的人工智能模型，可以同時處理文本和影像，從而增強基於指令的影像編輯能力。MLLMs 在跨模態理解和視覺感知響應生成方面表現出卓越的能力，但尚未廣泛套用於影像編輯任務。
MGIE 透過兩種方式將 MLLMs 整合到影像編輯過程中：首先，它使用 MLLMs 從使用者輸入中推匯出富有表現力的指令。這些指令簡潔明了，為編輯過程提供了明確的指導。
例如，當輸入「 讓天空更藍 」時，MGIE 可以生成「 將天空區域的飽和度提高 20% 」的指令。
其次，它使用 MLLM 生成視覺想象力，即所需編輯的潛在表征。這一表征捕捉了編輯的本質，可用於指導像素級操作。MGIE 采用了一種新穎的端到端訓練方案，可聯合最佳化指令推導、視覺想象和影像編輯模組。
MGIE 可以處理各種編輯情況，從簡單的顏色調整到復雜的物件操作。該模型還可以根據使用者的偏好執行全域和局部編輯。MGIE 的部份特性和功能包括：
基於指令的運算式編輯： MGIE 可以生成簡潔明了的說明，有效指導編輯過程。這不僅能提高編輯質素，還能增強使用者的整體體驗。
Photoshop 風格修改： MGIE 可以執行常見的 Photoshop 風格編輯，如裁剪、調整大小、旋轉、翻轉和添加濾鏡。該模型還可以套用更高級的編輯，如更改背景、添加或刪除物件以及混合影像。
全域照片最佳化 ：MGIE 可以最佳化照片的整體質素，如亮度、對比度、清晰度和色彩平衡。該模型還能套用素描、繪畫和漫畫等藝術效果。
局部編輯： MGIE 可以編輯影像中的特定區域或物件，如臉部、眼睛、頭發、衣服和配飾。模型還可以修改這些區域或物件的內容，如形狀、大小、顏色、紋理和風格。
MGIE 是 GitHub 上的一個開源專案，使用者可以點選這裏找到程式碼、數據和預訓練模型。該專案還提供了一個演示筆記本，展示如何使用 MGIE 完成各種編輯任務。
