近年來，隨著協作機器人的廣泛套用，人機互動（HRI）領域，尤其是機器人與人類之間的物體交接研究，已日益凸顯其重要性和普遍性。
特別是近兩年，在人形機器人領域的熱潮推動下，這一議題愈發受到社會各界的廣泛關註。
然而，截至目前， 多數相關研究仍局限於諸如單臂交接小型物體 、固定位置交換等簡單場景，且常面臨無法有效感知並適應人類行為的問題。
圖1 人-靈巧手機器人物體交接
當涉及在復雜環境中轉移大尺寸物體時， 由於互動距離近、物體體積龐大、存在梯子等障礙物、機器人操縱器限制以及視覺遮擋等多重挑戰， 相關研究較為匱乏。
以雙手物體切換為例，在此類套用中，機器人需在復雜多變的環境中即時確定切換位置的現實場景，這與人類操作的流暢與自如相比，存在很大差距。
那麽，機器人與人類之間的物體交接要實作如人與人之間那般自然流暢，主要難點究竟有哪些？
▍提出新策略，實作人與機器人大尺寸物體自然交接
機器人與人類實作物體交接的 主要難點在於，機器人缺乏如人類般復雜的感覺系統與意識，無法準確感知人類同事的身體狀態與個人偏好。
目前，關於機器人與人類間的物體交接研究，主要聚焦於兩大核心領域： 一是切換前階段，包括通訊、抓握規劃、感知、交接定位、運動規劃與控制等多個環節；二是物理切換階段，著重於故障處理與握持力的精細調節。
在切換前階段，即預交接階段，動態調整線上交接位置仍是一大挑戰。盡管已有研究嘗試解決這一問題，但大多局限於單臂交接，難以有效應對大物體造成的視覺遮擋。而物理交接階段則更側重於故障處理與抓握力的精準調控。
除了上述兩個階段的研究，研究人員的目光近年來逐漸從理想的實驗室環境轉向更為自然的交接場景，如「躺在車下」或梯子作業等現實情境中的物體交接。同時，也有研究利用高斯過程回歸與獎勵學習來最佳化動態交接過程。然而， 對於雙手交接等更為復雜的挑戰，相關研究相對有限。
圖2 相關發表資訊
近日，來自英國倫敦帝國理工學院電氣與電子工程系、個人機器人實驗室的研究團隊， 為了將技術提升至人與人之間交接的流暢度水平，對自然、復雜環境中的雙手交接場景進行了深入探索。
為了解決復雜環境中的遮擋問題，研究團隊為雙手機器人 開發了一種可以繞過遮擋的機載魯棒多傳感器感知系統， 用於提高機器人的感知能力。該系統引入了測量置信度估計技術，用於增強加權平均數據融合演算法，使其能夠適應大物體切換與復雜環境所帶來的遮擋挑戰。
圖3 在復雜環境中進行機器人到人類雙手切換的擬議技術，透過提出的多傳感器融合方法解決人類偏好和遮擋問題。
同時，團隊還 提出了一種抗遮擋的多傳感器融合技術和線上切換位置更新框架。 多傳感器融合技術透過在不同位置布置視覺感知傳感器，形成不同視野的互補；而線上切換位置更新框架則允許操作員在操作過程中靈活調整交接位置，以更舒適地接管物體，並適應操作員的需求。
為驗證所提融合方法的有效性，研究團隊 設計了機器人與人類的雙手物體交接套用實驗。 實驗中，人類操作員站在梯子上，機器人將手持的箱子平穩轉移到人類身上，同時確保根據人類偏好自適應地交付物體。這一實驗場景充分展示了所提方法在挑戰性環境中的實用性與有效性。
圖4 雙手物體切換時，不同人類偏好圖示
此外，研究團隊還建立了一個笛卡爾空間控制器，采用四元數方法與領導者-跟隨者控制結構，實作了機器人的柔順運動。為了評估遮擋彈性框架、大型物體交付、線上交接定位與自適應人類偏好框架的重要性，研究團隊 設計了四個不同的實驗，涵蓋了不同的人類偏好以及過程開始後的重大交接位置變化。
實驗過程中，研究團隊將所提的多傳感器融合技術與單一傳感器方法（頂部與底部傳感器）及簡單平均傳感器數據的方法進行了對比。結果顯示， 多傳感器融合方法實作了86.7%以上的交接成功率，明顯優於依賴單一傳感器方法或簡單平均傳感器數據的傳統技術。
該研究成果的相關論文已以 「Naturalistic Robot-to-Human Bimanual Handover in Complex Environments Through Multi-Sensor Fusion」 為題發表在 【 IEEE Transactions on Automation Science and Engineering 】 上。
接下來，一起來和機器人大講堂深入探索這一研究成果！
▍五大關鍵模組，實作可靠機器人控制與人性化交接
為了實作人與機器人在自然、復雜環境中的雙手交接，研究團隊深入剖析並將整個過程精細劃分為幾個關鍵模組進行逐一攻克。 這些模組包括：用於精準提取人體姿態的感知模組、傳感器框架與機器人框架之間的精確校準、以及抗遮擋的多傳感器數據融合技術。
在攻克這些技術難點的基礎上，研究團隊 進一步提出了高效的機器人控制策略以及涉及人類偏好的機器人到人類物體交接策略， 就機器人的運動規劃和執行進行了最佳化，並充分考慮了人類操作員的偏好和舒適度，從而實作了更加自然、流暢的機器人到人類的物體交接。
圖5 所提出方法的流程圖包括感知模組、校準、數據融合演算法、根據切換策略的線上規劃器和機器人控制圖的子模組。
具體來說：
A. 感知模組
在感知模組方面，研究團隊采用了具有強大環境適應力和在部份遮擋情況下依然能夠準確辨識人體姿勢能力的微軟Azure Kinect傳感器。利用Azure Kinect軟體開發套件（SDK）和人體跟蹤SDK，系統能夠即時追蹤包含32個主要關節的人體骨架。確保在0.5至3.86公尺的工作範圍內，以高達30幀/秒的速率提供精確的人體姿態數據。
B. 校準
為了確保來自不同傳感器的數據能夠無縫融合並用於機器人控制，研究團隊首先進行了傳感器間校準，使用Horn方法計算校準矩陣，將兩個Kinect傳感器的測量值統一到同一參考框架。隨後，透過深度視覺資訊和Nelder-Mead方法完成手眼校準，確保機器人能夠在其參考框架內準確接收並處理來自傳感器的數據。
圖6 當人站在梯子上時，機器人與人之間進行大尺寸箱子雙手交接的自然物體交接實驗裝置，並用定義的座標系進行註釋。
C. 數據融合
針對復雜環境中可能出現的遮擋問題，研究團隊提出了一種雜訊估計方法。該方法透過跟蹤存在性和數據抖動兩個指標評估測量置信度，並據此為傳感器數據分配權重。此外，研究團隊還開發了一種數據融合技術，能夠在某個傳感器被遮擋時，自動切換至另一個傳感器，確保數據的連續性和交接過程的穩定性。
D. 機器人控制
為了實作雙手同步且精確的操作，研究團隊采用了PD+重力笛卡爾空間控制器及基於單位四元數的方向控制器。前者結合位置和方向誤差計算，後者透過無奇異性的四參數列示最佳化機器人方向控制，確保交接過程中的穩定性和準確性。
E. 交接策略
為了提升使用者體驗，研究團隊還設計了一種自適應交接策略。該策略能夠根據人類夥伴的手部姿態（向上或向下）和偏好姿態動態調整交接位置和方向。該策略還利用抗遮擋感知模組即時更新交接位置，確保即使在復雜環境下也能成功完成交接。此外，通透過即時更新交接位置以應對復雜環境中的變化，以及采用領導者-跟隨者策略來同步雙臂運動，研究團隊避免了物體損壞，確保了交接過程的順暢和高效。
圖7 所研究的切換場景的架構
透過綜合運用先進的感知技術、精確的校準方法、智慧的數據融合策略、可靠的機器人控制演算法及人性化的交接策略，研究團隊成功實作了人與機器人在自然、復雜環境中的雙手交接，為未來的機器人互動套用奠定了堅實基礎。
▍四大實驗場景，證明提出策略雙手物體交接有效性
為了模擬自然環境下人與機器人之間的物體交接，研究團隊進行了一項雙手交接實驗，其中人類操作員站在梯子上，從機器人手中接過一個大箱子並將其放置在架子上。
由於搬運該物體需要雙手操作，因此人類夥伴在攀爬梯子時必須抓住梯子的支撐物以確保安全。同時，由於工作空間限制，機器人無法直接將物體放置在架子上。因此，研究團隊采用了將箱子送到人類手中的方式。
圖8 雙手朝下的四組實驗
實驗中使用了一個尺寸為45×35×25厘米的箱子作為交接物件，實驗平台包括一台配備Ridgeback移動底座和兩個雙指夾持器的Baxter機器人。
研究團隊設計了一組包含①向下交接：接收者雙手向下，物體從下方交接②向上交接：接收者雙手向上，物體從上方交接③位置更新向下：開始與向下交接相同，但在過程中接收者改變了交接位置④位置更新向上：開始與向上交接相同，但在過程中接收者改變了交接位置，四種不同人類偏好和交接位置顯著變化的實驗場景，每種場景重復30次，總共進行了480次實驗。
實驗結果顯示：
A.校準
傳感器間和手眼校準的均方根誤差（RMSE）在（x, y, z）方向上分別為（0.0105, 0.0095, 0.0152）米，歐幾裏得距離為0.0241公尺。圖9展示了校準後傳感器估計的左手掌位置軌跡，手眼校準的RMSE在（x, y, z）方向上分別為（0.0050, 0.0060, 0.0129）米，歐幾裏得距離為0.0167公尺。校準後的測量值之間的歐幾裏得距離均方根為0.0282公尺，表明校準成功。
圖9 經過傳感器間校準和手眼校準後，機器人參考系中傳感器 1 (S1) 和傳感器 2 (S2) 估計的左手手掌位置的驗證會話軌跡。
B.數據融合
在遮擋情況下，數據融合演算法透過估計傳感器置信度並結合數據，成功克服了遮擋問題。圖10展示了遮擋發生時，基於加權平均的數據融合方法如何依賴於置信度更高的傳感器，提供連續的手部估計。
圖10 實驗期間，傳感器 1 (S1)、傳感器 2 (S2) 和傳感器融合估計 (Sf) 會估算出左手手掌位置，然後計算傳感器權重（分別為 S1 和 S2 的 W1 和 W2）進行數據融合。實驗中，遮擋發生在 S2 角度，如圖所示。
C.機器人控制
在搬運箱子時，研究團隊首先測試了具有領導者-跟隨者控制結構的柔順運動。給領導者（本實驗中選擇左操作器為領導者）輸入空間中的圓形軌跡，並使用兩個末端執行器之間的固定變換矩陣計算跟隨者（本演示中選擇右操作器為跟隨者）的相應軌跡。圖11展示了領導者和跟隨者操作器的軌跡控制結果，跟蹤效能良好。圖12進一步說明了交接位置更新時，機器人如何調整軌跡以確保交接成功。
圖11 軌跡控制是在具有主從控制結構的柔性運動限制下透過雙手操作實作的。在本場景中，左側機械手（藍線）充當主機械手，右側機械手（紅線）被選為本演示中的從機械手。
圖12 實驗 3 的機器人控制軌跡以及期望的 (十d ) 和當前 (十丙 ) 為左機械臂的位置。發起交接後，交接位置在動作過程中發生較大變化，需要機器人改變其軌跡才能成功交接。
D.交接實驗
為了比較所提出的方法，研究團隊測試了一個雙手物體交接框架，分別使用1) 僅頂部傳感器（S1）輸入、2) 僅底部傳感器（S2）輸入、3) 兩個傳感器數據的簡單平均值、以及4) 所提出的多傳感器融合系統。圖13報告了每種方法和每個實驗的交接成功率和交接持續時間（每種情況重復30次，總共480次實驗）。可以看出，所提出的多傳感器融合演算法結合了不同視角傳感器的優勢，即使在遮擋情況下也能成功交付大尺寸物體。
圖13 四組實驗的切換效能比較
以上實驗結果表明，研究團隊所提出的多傳感器融合技術和機器人控制策略在復雜環境下的雙手物體交接任務中表現出色，這為未來的人機互動套用提供了有力支持。
