摘要：
隨著市場競爭加劇和企業營運要求的提高，引入具備視覺能力的物流機器人已成為提高制造、營運、管理能力的重要措施。雲邊協同智慧視覺傳感器能夠將邊緣計算和雲端運算相結合，兼具邊緣機器視覺的演算法輕量化及即時決策和雲端運算的大規模運算及智慧決策能力，可提高智慧工廠的效率和業務最佳化水平。
關鍵詞：智慧視覺、雲邊協同、物流機器人、雲端運算、邊緣計算
一
物流機器人的視覺能力需求
物流機器人是套用在物流中心等工業場景，透過搭載各種傳感器、導航系統和計算技術以自主執行物流任務的智慧機器人，通常用於物流倉儲領域進行貨物搬運、倉庫管理、分揀等操作[1-2]。
隨著全球供應鏈不斷擴充套件和商業活動的日益全球化，以物流中心為代表的智慧工廠正面臨著更為復雜和多元化的營運環境，並帶來包括貨物追蹤、安全管理以及營運效率提升等多個方面的挑戰。在很多情況下，傳統的物流機器人難以滿足智慧工廠的多元化需求，無法完成各種精細化任務，有時只能依靠低效的人工處理，從而造成一系列問題。
例如，廠房巡查工作中，隨著物流中心規模的增大和營運業務的復混成，傳統的物流機器人巡檢只能按照固定路線行走而無法避障，而人工巡查和監控又往往不夠高效和精確，因此傳統的巡檢手段可能會因檢測手段不足、視角有限或人為疏忽而錯過一些潛在問題；面對異常情況，傳統的物流機器人很多時候難以及時響應，可能導致潛在危險事件的擴大和蔓延，從而造成巨大經濟損失，而且也往往由於缺乏記錄異常情況的手段導致事後無法及時追責與糾錯；在廠房的物料/工具/檔的運送過程中，很多物流機器人無法靈活運送，可能存在走錯路甚至取錯物品的問題，而人工運送往往效率低、耗時長，導致生產延誤甚至停滯；在庫存管理任務中，傳統的物流機器人無法實作盤庫或者只能固定位置掃描/逐件掃描，而人工盤查速度慢、易出錯，並且快速辨識庫存中的物品型別和數量也需要成熟豐富的經驗。
在這一背景下，物流中心等智慧工廠需要更智慧化的解決方案，而強大的視覺能力正是滿足這些需求的關鍵驅動因素之一。因此，為應對日益復雜的操作和追求更高的安全性，越來越多的智慧工廠意識到引入具有視覺能力的物流機器人是滿足復雜需求的一項重要措施。物流機器人的視覺能力提升，不僅僅是追求技術創新，更是為了滿足日益增長的關鍵需求，從而確保智慧工廠在競爭激烈和不斷變化的環境中能夠持續高效營運。
二
雲邊協同智慧視覺傳感器總體架構
雲邊協同智慧視覺傳感器是一種將邊緣計算和雲端運算相結合，以實作多個智慧視覺傳感器之間的協同工作的綜合系統。智慧視覺傳感器可以在接近資料來源的地方執行影像分析和處理，從而減少數據傳輸延遲，同時還可以與雲端資源通訊，共享數據和結果，以實作更高級別的智慧決策和套用。
具體而言，邊緣計算和雲端運算是兩種互補的計算模式。邊緣計算是指將計算和數據儲存移動到網路邊緣（即物理裝置層），從而減少數據傳輸和延遲；雲端運算則是透過互聯網將數據和資源提供給使用者使用。在物聯網時代，邊緣計算和雲端運算的結合成為必然趨勢，即「雲邊協同」。透過結合邊緣計算和雲端運算的優勢，雲邊協同智慧視覺傳感器，能夠充分利用作業現場的視覺資訊，提高數據處理和分析的能力、提供更可靠的數據儲存和備份、提供更靈活的數據處理和分析服務[3]。因此，雲邊協同智慧視覺傳感器是提升物流機器人視覺能力的重要基礎。
圖1雲邊協同智慧視覺傳感器總體框架圖
雲邊協同智慧視覺傳感器總體框架（見圖1），主要由以下幾個部份構成：
1.傳感器層 ：架構的基礎是各類智慧視覺傳感器，這些傳感器負責收集環境中的影像和數據，作為後續處理的原始輸入。
2.邊緣計算層： 在邊緣裝置上，可以使用輕量化的演算法對傳感器數據進行初步的處理和分析。這些演算法能夠在本地實作快速的物體檢測、跟蹤、分類等任務，以便在即時性要求較高的場景下做出即時決策。
3.邊緣智慧層： 邊緣智慧層進一步利用深度學習和電腦視覺技術，對邊緣計算層產生的數據進行更深入的分析。例如，可以進行目標辨識、情感分析、異常檢測等任務，以提供更豐富的資訊和見解。
4.邊緣與雲協同： 一部份經過邊緣智慧層處理的數據會被傳輸到雲端，與雲端運算層協同工作。雲端運算層擁有更大的計算和儲存資源，能夠進行更復雜的分析、建模和資料探勘。這使得系統能夠從大量的數據中挖掘出更深層次的資訊和模式。
5.雲端運算層： 在雲端運算層，可以運用更復雜的演算法和模型，進行大規模的數據分析和訓練。這些分析可以用於業務決策、預測分析、趨勢辨識等，從而為企業提供更具價值的資訊。
6.決策和反饋： 經過分析後，系統可以在邊緣裝置上做出即時決策，例如觸發報警、自動控制裝置等。同時，雲端的分析結果也可以提供給操作人員，以供參考和決策支持。
可見，雲邊協同智慧視覺傳感器具備不同精度和效率的判斷決策能力，可用於各種領域，如工業自動化、智慧制造、物流和交通等，從而提高系統響應速度和數據處理效率。
三
基於輕量化演算法的邊緣機器視覺
由於物流機器人在即時環境中執行任務，需要現場采集視覺資訊並做出即時反饋，而將視覺處理推向雲端的方式受制於網路延遲，可能導致物流機器人的決策效率低下，甚至還有私密數據泄露的風險。因此，為物流機器人配備邊緣機器視覺是一項必不可少的要求。
邊緣機器視覺是一種將機器視覺技術套用於邊緣裝置的方法，利用分布式計算架構，將影像和視訊數據的處理和分析部署在更接近資料來源的邊緣裝置上，以減少數據傳輸和延遲，實作視覺任務的快速響應。在總體架構中，邊緣機器視覺對應「邊緣計算層」和「邊緣智慧層」兩部份。
事實上，由於邊緣裝置通常計算能力和資源十分有限，但仍需要即時進行影像處理和分析。傳統的復雜演算法在邊緣裝置上可能導致高計算負擔、延遲增加以及資源不足等問題。而基於輕量化演算法的邊緣機器視覺則旨在解決這些問題，在保持合理的準確性前提下，透過減少模型大小、計算量和記憶體占用，實作在邊緣裝置上高效地進行影像處理。邊緣機器視覺的網路模型一般尺寸相對較小，具有較低的計算復雜度和較少的參數，套用時裝置功耗和延遲都較低。
邊緣機器視覺的實作依賴於輕量化方法，典型的方法包括模型剪枝、模型量化、知識蒸餾等。對於模型剪枝，基於深度神經網路中權重參數存在顯著冗余、僅使用小部份權重就可以預測出其余的權重這一認識[4]，模型剪枝衡量各結構的重要性，刪除模型中對效能不重要的冗余或不相關的單元（即節點、過濾器或層），提供合理壓縮率的同時盡可能降低對模型準確性的影響，並在各種設定下都具有魯棒性[5]。對於模型量化，由於網路的推理和訓練都透過計算實作，數值的表示方式影響很大，而當前網路模型又都嚴重過度參數化，因此使用模型量化將模型的參數從浮點數轉換為較低位數的定點數，能夠不影響模型精度的情況下顯著減少模型所需的儲存空間和計算資源[6]。對於知識蒸餾，首先訓練大型深度學習模型，然後作為教師網路監督訓練一個輕量級的學生網路[7-8]，學生網路透過補充教師網路中隱含資訊的方式，在保有輕巧的結構特性的同時提升模型效能。因此，知識蒸餾的訓練階段使用大網路有利於特征提取，推理階段使用小網路有利於提升效率[9]。
具體而言，圖2所示的是一種典型的基於輕量化演算法的邊緣機器視覺傳感器。在結構上，該傳感器的芯片采用XBurst2 1.2GHz雙核處理器和600MHz RISC-V協處理器，不含GPU核，但內建NPU核以支持int16/int8/int4/int2等多種量化等級，並擁有8T算力。並且，該傳感器還配備演算法後處理單元，用於支持非摺積計算的硬體加速。該傳感器搭載一個ISP模組，其最大支持4K，分辨率達到3740×2160，並具備畸形矯正、視訊旋轉以及雙網路攝影機同時輸入的能力。編碼上，支持p65/p64/JPEG等編碼，最大輸出分辨率可達3840×2160。在介面上，包括百兆乙太網路介面、USB2.0介面以及UART×4等。在深度學習框架方面，能夠相容Pytorch、ONNX等多種框架。
圖2使用國產AI芯片的邊緣機器視覺傳感器
在功能上，如圖3所示，為了實作邊緣機器視覺的模型輕量化，該傳感器對基於深度摺積網路的分類模型進行壓縮，采用結構化剪枝去除網路中冗余摺積核與連線，再對剪枝後的網路進行再訓練，最後生成輕量化的網路。在保證精度的前提下，再采用蒸餾的方式，訓練一個小型的學生模型。透過這種方式，大幅降低了大模型的參數，並透過蒸餾提升小模型的精度，實作了邊緣機器視覺的套用。
圖3邊緣機器視覺的典型輕量化方法
輕量化演算法的套用，使得邊緣機器視覺能夠透過減小模型復雜度和資源消耗，使邊緣裝置能夠高效地進行即時影像處理和分析，從而滿足即時性和資源受限的要求，其能夠完成的即時性任務主要包括：
1.即時環境感知： 物流機器人利用邊緣機器視覺感知環境，包括檢測障礙物、辨識路徑和辨識標誌，從而實作安全自主導航和避障。
2.貨物辨識與分類： 物流機器人能夠即時辨識和分類貨物，根據標識或影像特征將貨物分揀到正確的位置。
3.異常檢測與報警： 物流機器人可以即時監測環境中的異常情況，如火災、漏水等，並即時發出報警，提醒相關人員采取行動。
4.自動巡檢和維護： 物流機器人可以自動巡檢倉庫和裝置，檢測裝置狀態，發現潛在故障，以及執行基本的維護任務。
5.庫存管理與追蹤： 利用邊緣視覺，物流機器人可以捕捉貨物的影像特征，從而實作庫存追蹤和管理，準確記錄物品的位置和數量。
6.任務自動化和協同： 物流機器人透過邊緣機器視覺能夠自動執行任務，如搬運、分揀、上貨架等，實作物流流程的自動化和協同。
因此，利用即時計算、快速響應的邊緣機器視覺，物流機器人能夠大大提高作業的效率、安全性和自動化程度，為智慧工廠的物流管理帶來了創新和提升。
四
面向企業級業務管理的雲平台
面向企業級業務管理的雲平台是一個專門設計和構建的雲端運算平台，用於支持和管理企業級物流業務，其執行的基礎是與配備視覺能力的物流機器人相關的任務和數據。面向企業級業務管理的雲平台在雲邊協同計算、邊緣計算和雲端運算之間建立了連線，為企業提供了一套綜合性的解決方案，透過對搭載智慧視覺傳感器的物流機器人的控制，實作物流管理的智慧化和最佳化。在總體架構中，該雲平台主要對應「雲邊協同層」和「雲端運算層」兩部份。
由於雲端運算擁有大規模的計算資源和儲存空間，具備處理復雜的大規模數據和模型的運算能力，同時也具有延遲高、難以快速響應的特點，因此盡管該雲平台匯聚了眾多物流機器人的智慧視覺傳感器獲取的資訊，無需也無必要逐一分析業務場景和數據，而是透過雲端大數據分析和資料探勘，提供豐富的數據洞察和業務支持，幫助企業深入理解物流營運情況，最佳化業務流程，提高效率和競爭力。
從功能上看，如圖4所示，雲平台具有數據集中與整合、任務分配與排程、路徑規劃和排程、異常監測與報警的功能，也能夠實作數據統計與分析、庫存管理與最佳化和預測性維護。前者與物流機器人的控制有關，是雲邊協同運算的重要實作；而後者與企業業務相關，並且非常依賴於雲平台的大規模計算能力，具體為：
1. 數據統計與分析： 平台可以對機器人的執行數據進行分析，生成報告和統計資訊，幫助企業了解物流業務的執行情況並進行最佳化。
2. 庫存管理與最佳化： 透過前端傳感器數據，雲平台可以即時監測庫存水平，幫助企業進行庫存最佳化和補貨決策。
3.預測性維護： 雲平台可以監測裝置的執行狀態和健康狀況，辨識出潛在的故障跡象。借助大數據分析和機器學習技術，雲平台可以預測裝置故障，使企業能夠采取預防性維護措施，減少生產線停機時間。
圖4面向企業級業務管理的雲平台功能
借助雲平台龐大的計算能力，以上三個任務需要利用資料探勘和大數據分析完成，是與邊緣機器視覺的不同分工之處。具體來說，資料探勘從視覺傳感器搜集的大量數據中自動發現隱藏的模式、規律和趨勢的過程。透過資料探勘技術，雲平台可以在物流和倉儲數據中發現有關營運的關鍵資訊。例如，從物流機器人和傳感器數據中挖掘出物流路徑的瓶頸、貨物的高峰運輸時段等。這些分析結果可以幫助企業更好地了解其營運狀況，從而進行戰略規劃和決策。而大數據分析涉及處理和分析大規模、多樣性、高速生成的數據。在智慧工廠中，大數據分析可以幫助平台處理物流機器人、傳感器和倉儲系統產生的大量數據。透過大數據分析，平台可以即時監測物流活動、分析裝置狀態、跟蹤貨物流動等，從而提供即時的業務洞察，支持即時決策和調整[10]。
資料探勘和大數據分析在面向企業級業務管理的雲平台中起著至關重要的作用。它們能夠從邊緣視覺提供的海量的數據中提取出有關業務營運的有用資訊。因此，面向企業級業務管理的雲平台以資料探勘和大數據分析為主要手段，能夠為企業提供深入的洞察，從而支持庫存管理、決策制定和業務最佳化。
五
套用案例
面向物流機器人的智慧視覺傳感器，憑借即時快捷的邊緣機器視覺和智慧化的雲端處理能力，能夠在各個領域發揮作用。
以某物流中心為例，其立體庫中的四向穿梭車搭載了雲邊協同的智慧視覺傳感器，是一種特殊形態的物流機器人，如圖5所示。四向穿梭車能夠利用邊緣機器視覺能力即時感知分析車輛周圍的環境，幫助四向穿梭車進行自主導航和避障，確保安全高效地完成貨物搬運任務。利用邊緣計算可以辨識貨架上的貨物特征，確定貨物位置和內容，從而準確地獲取貨物並將其放置在正確的位置。穿梭車也可以利用邊緣計算對影像數據進行路徑規劃和任務排程，雲端運算可以進一步最佳化路徑和任務分配，以提高多輛穿梭車的運輸效率並減少等待時間。執行過程中，四向穿梭車捕捉運輸過程中的異常情況，例如貨物掉落或堵塞。邊緣計算可以實分時析異常數據，辨識異常，並行送警報通知到雲平台，以及時采取適當的措施。此外，智慧視覺傳感器也可以利用捕獲的影像數據進行數據分析，邊緣計算可以處理初步的數據分析任務。雲端運算則可以將不同車輛的數據進行匯總分析，從中辨識出流程改進的機會，提高倉庫營運效率。
圖5四向穿梭車中智慧視覺傳感器的套用
在某航空制造企業的生產車間中，具有智慧視覺能力的物流機器人，借助基於邊緣機器視覺的VSLAM技術，能夠自主規劃路線與避障，結合人臉辨識、目標檢測等技術實作工具/物料從倉庫到工位的準確遞送。利用先進的影像分析演算法檢測異常情況，及時監測環境變化，例如火災、煙霧、泄漏等，一旦發現異常，能夠立即發出警報，以便迅速采取適當的緊急措施，滿足車間高要求的生產環境標準。基於雲邊協同分析，物流機器人也能夠及時發現裝置故障或物料破損，促使維修人員迅速采取行動，避免生產中斷和成本增加。
因此，雲邊協同智慧視覺傳感器為各類智慧工廠中的物流機器人賦予了智慧視覺能力，既能夠即時、準確地執行復雜操作，提高作業運作效率、準確性、可靠性和安全性，又能夠基於海量數據進行資料探勘和大數據分析，以更高的維度分析企業的營運狀況，最佳化管理方式和業務流程，是企業提高競爭力的一大利器。
六
結語
隨著工業4.0掀起智慧制造、產業升級的浪潮，再加上競爭日益激烈的經營環境，提高企業的營運效率和業務最佳化的能力成為越來越多企業的訴求，開發套用具有智慧視覺的物流機器人是其中一種重要實作途徑，而雲邊協同智慧視覺傳感器作為其核心組成，也受到前所未有的重視。
一方面，隨著芯片制程的進步，基於AI芯片的邊緣計算能力日益提高；另一方面，以ChatGPT和Segment Anything Model為代表的大模型一次次震驚世界，雲邊協同智慧視覺傳感器的「智慧」即將迎來飛躍式的提升，基於智慧視覺的物流機器人套用範圍也將大幅拓展，能夠完成越來越復雜的任務。相信不久之後，物流機器人不再是新鮮事物，而是將進入一家家智慧工廠，引起廣泛的工業變革，推動更加智慧、高效、創新和永續的工業發展。
參考文獻:
[1]Lin R, Huang H, Li M. An automated guided logistics robot for pallet transportation[J]. Assembly Automation, 2020, 41(1): 45-54.
[2]Bernardo R, Sousa J M C, Gon.alves P J S. Survey on robotic systems for internal logistics[J]. Journal of manufacturing systems, 2022, 65: 339-350.
[3]Dai W, Nishi H, Vyatkin V, et al. Industrial edge computing: Enabling embedded intelligence[J]. IEEE Industrial Electronics Magazine, 2019, 13(4): 48-56.
[4]李屹,魏建國,劉貫偉.模型剪枝演算法綜述[J].電腦與現代化,2022(09):51-59.
[5]Yeom S K, Seegerer P, Lapuschkin S, et al. Pruning by explaining: A novel criterion for deep neural network pruning[J]. Pattern Recognition, 2021, 115: 107899.
[6]Gholami A, Kim S, Dong Z, et al. A survey of quantization methods for efficient neural network inference[M]//Low-Power Computer Vision. Chapman and Hall/CRC, 2022: 291-326.
[7]Wang L, Yoon K J. Knowledge distillation and student-teacher learning for visual intelligence: A review and new outlooks[J]. IEEE transactions on pattern analysis and machine intelligence, 2021, 44(6): 3048-3068.
[8]陳立瑋,周新誌.基於特征自註意力的影像分類知識蒸餾演算法[J].現代電腦,2023,29(04):49-53+68.
[9]楊珂浩,於龍,高仕斌等.基於無監督知識蒸餾的高鐵絕緣子缺陷檢測演算法[J].電氣化鐵道,2023,34(01):9-14.DOI:10.19587/j.cnki.1007-936x.2023.01.001.
[10]Yang C, Lan S, Wang L, et al. Big data driven edge-cloud collaboration architecture for cloud manufacturing: a software defined perspective[J]. IEEE access, 2020, 8: 45938-45950.
本文源自【物流技術與套用】2023年12期（點選可檢視）
本文版權歸【物流技術與套用】所有，歡迎文末分享、點贊、在看！轉載請聯系後台。
