蘋果研究人員開發了一種名為 ReALM（參考分辨率作為語言建模）的人工智慧系統，旨在從根本上增強語音助手理解和響應命令的方式。
在一篇研究論文（來自VentureBeat）中，蘋果概述了一個關於大型語言模型如何處理參考分辨率的新系統，其中涉及破譯對螢幕上實體的模糊參考，以及理解對話和背景上下文。因此，ReALM 可以帶來更直觀、更自然的裝置互動。
指稱解析是自然語言理解的重要組成部份，使使用者能夠在對話中使用代詞和其他間接指稱而不會混淆。對於數位助理來說，這種能力歷來是一個重大挑戰，受限於解釋各種語言提示和視覺資訊的需要。Apple 的 ReALM 系統試圖透過將復雜的參照解析過程轉換為純語言建模問題來解決這個問題。在此過程中，它可以理解對螢幕上顯示的視覺元素的參照，並將這種理解整合到對話流中。
ReALM 使用文本表示重建螢幕的視覺布局。這涉及解析螢幕上的實體及其位置以生成捕獲螢幕內容和結構的文本格式。蘋果研究人員發現，這種策略與針對參考解析任務的語言模型的特定微調相結合，顯著優於傳統方法，包括 OpenAI 的 GPT-4 的功能。
ReALM 可以讓使用者根據螢幕上當前顯示的內容更有效地與數位助理互動，而無需精確、詳細的說明。這有可能使語音助手在各種環境中更加有用，例如幫助駕駛員在駕駛時導航資訊娛樂系統，或透過提供更簡單、更準確的間接互動方式來幫助殘疾使用者。
蘋果現已發表多篇人工智慧研究論文。上個月，該公司公布了一種訓練大型語言模型的新方法，可以無縫整合文本和視覺資訊。人們普遍預計蘋果將在 6 月份的 WWDC 上推出一系列人工智慧功能。
