近一年來，具身智慧毫無疑問成為了國內外產業界、學界和投資界重點關註並大力投入的硬科技賽道之一。各方資源的持續重磅投入讓行業發展進入快車道，各家具身智慧企業接連釋出新品進展，也陸續有不同新創企業獲得億元級別的早期融資。
9月25日，2024百度雲智大會「具身智慧專題論壇」在北京中關村國際創新中心圓滿落幕，本次論壇現場座無虛席，並透過線上直播的方式，吸引了數萬網友線上觀看。
這是百度智慧雲首次在一年一度的「雲智大會」中設立具身智慧這一專題的分論壇，在本次的專題論壇中，來自各界的專家學者對於具身智慧的總體發展情況、關鍵技術問題和自身所在企業的寶貴實踐進行了多場重磅分享和精彩對話。
專題論壇現場
在主辦單位分享環節，百度智慧雲分享了他們近一年來對具身智慧賽道的一些洞察和實踐，並正式對外重磅釋出和介紹具身智慧賽道解決方案，向外界全面分享了他們作為雲廠商對具身智慧賽道的思考以及參與推動賽道發展的模式。
在主題分享環節，大會邀請中山大學智慧工程學院副教授、博士生導師梁小丹與中金資本執行總經理毛祎琛對具身智慧賽道發展現狀進行解讀。此外，清華大學交叉資訊研究院博士生導師/清華大學視覺與具身智慧實驗室主任/千尋智慧聯合創始人高陽、北京具身智慧機器人創新中心大模型負責人鞠笑竹、星海圖聯合創始人兼CEO高繼揚以及NVIDIA中國區機器人業務負責人李雨倩也分別發表了重要主題分享。
在圓桌對話環節，由主持人BV百度風投高級投資經理軻迪與X Square創始人兼CEO王潛、北京大學電腦學院助理教授/研究員/博士生導師仉尚航、北京銀河通用機器人有限公司合夥人/大模型負責人張直政、UniX AI創始人兼CEO楊豐瑜以及面壁智慧聯合創始人兼CTO曾國洋五位專家學者圍繞多個具身智慧相關重要技術問題和套用落地展望進行了精彩對話和深度探討。
▍ 百度智慧雲與賽道各方攜手加速具身智慧新物種前進演化
百度智慧雲泛科技業務部總經理張瑋首先發表致辭，分享了團隊從去年開始投入到具身智慧賽道的一些思考判斷。他分享了團隊去年在投入具身智慧賽道的時機選擇上結合技術、政策等外部因素的決策判斷思考，以及結合賽道的階段性發展特點，明確百度智慧雲在該賽道的生態價值定位主要是協同多方合作夥伴一起服務好賽道的整機廠商企業，助力廠商加速構建具身智慧機器人產品的系列核心能力，助力加速產品落地行程。
百度智慧雲泛科技業務部總經理 張瑋
▍ 學界和投資界專家深度分享具身智慧賽道總體技術及市場發展情況
中山大學智慧工程學院副教授、博士生導師梁小丹，深入剖析了具身智慧關鍵技術發展現狀並分享了後續技術發展趨勢觀點。梁小丹指出，具身智慧作為一個高度整合化的系統，其發展離不開硬體、演算法及數據等多方面的協同，全面系統分享了具身智慧體總體框架以及各方向關鍵技術。另外也分享了在開源數據、開源仿真和開源模型上已取得的一些工作成果，強調了數據在具身智慧開發中的核心地位，指出高品質、多樣化的數據集對於訓練出高效能的具身智慧模型至關重要。
中山大學智慧工程學院副教授、博士生導師 梁小丹
中金資本執行總經理毛祎琛也對具身智慧賽道的快速發展背景、產業鏈情況和後續發展趨勢進行了深入分享。毛祎琛強調了技術、硬體與場景套用三者的緊密結合對於推動具身智慧發展的重要性。她認為，雖然當前行業仍面臨數據匱乏、硬體成本高昂等挑戰，但隨著技術的進步和生態鏈的逐步完善，具身智慧將在工業制造、商業服務等多個領域展現出巨大的商業潛力。特別是中國市場，憑借龐大的需求基礎、豐富的套用場景以及政府的支持政策，有望在具身智慧領域實作彎道超車。
中金資本執行總經理 毛祎琛
▍ 百度智慧雲致力於全方位助力賽道企業構建具身智慧機器人產品核心能力
在本次雲智大會首次設立的具身智慧專題論壇上，主辦單位對外重磅釋出並介紹了其具身智慧賽道解決方案。百度智慧雲泛科技行業具身智慧賽道負責人張龍君首先補充介紹了團隊去年決定投入到該賽道時的一些內外部因素考量，以及闡述了結合賽道企業當前的核心重點任務，說明百度智慧雲當前參與該賽道的生態定位就是助力賽道廠商企業把具身智慧機器人產品的一些關鍵核心能力加速構建好。
基於參與賽道發展的生態定位，張龍君介紹了百度智慧雲具身智慧賽道解決方案，以及在不同合作方向上與賽道企業的合作推進情況。方案著眼於助力賽道廠商更好地解決產品落地面臨的一系列挑戰，結合百度智慧雲的優勢技術和產品方案，相應可提供賦能的方向主要包括：
1)提供行業領先的文心大模型、合作夥伴面壁智慧的端側大模型，以及百度智慧雲千帆大模型服務與開發平台助力構建具身大腦；
2)提供雲上仿真平台助力企業加速小腦運控演算法訓練叠代和生態開發者的拓展；
3)提供專業化和規模化的數據采集和數據標註服務助力具身智慧數據集建設；
4)提供遠場語音互動方案助力整機產品構建出色的人機語音互動體驗；
5)提供雲管端一體化的安全方案為產品從研發到落地營運全周期保駕護航；
6)提供高效能穩定可靠的雲上AI算力及AI Infra技術平台支撐各類模型的高效訓練工作；
百度智慧雲泛科技行業具身智慧賽道負責人 張龍君
▍ 專題分享：圍繞具身智慧關鍵的操作能力、數據集建設、落地技術框架和仿真平台開展深度分享
在專題分享環節，首先針對直接決定具身智慧機器人產品是否「有用」的核心能力——「操作」展開介紹。清華大學交叉資訊研究院博士生導師、清華大學視覺與具身智慧實驗室主任、千尋智慧聯合創始人高陽圍繞「具身操作框架及操作技能學習的研究與實踐」進行了深入分享。高陽指出在機器人技術領域，適應復雜環境的操作能力是關鍵挑戰之一，他介紹了其研究團隊早前提出的具身智慧操縱框架CoPa，透過利用基礎模型中嵌入的常識性知識，CoPa極大地提高了機器人在開放世界場景中的操作能力。此外，高陽還分別介紹了General Flow和具身智慧體高效學習的兩項技術研究成果，相關技術成果能讓機器人從人類操作視訊中學習並遷移到新任務中，有效提升了機器人的自主學習能力。
在該專題分享的最後，高陽透過demo視訊展示了千尋智慧近期對外披露的正研發中的機器人出色的連續長程任務執行能力。另外，他也透露了目前千尋智慧AI技術團隊正快速擴張，歡迎技術能人的加入。
清華大學交叉資訊研究院博士生導師、 清華大學視覺與具身智慧實驗室主任、千尋智慧聯合創始人 高陽
具身數據集是具身智慧技術進步的核心驅動力之一。當前，北京具身智慧機器人創新中心正聯合產業鏈各方致力於構建「具身智慧機器人規模最大、資訊最稠密、最通用的高品質具身智慧數據集」，創新中心大模型負責人鞠笑竹博士帶來了「大規模具身智慧數據集建設實踐」的重要專題分享。
鞠笑竹介紹了創新中心對數據集建設工作希望兼顧產業研究和學術研究的思考、業界已有數據集的局限性，重點分享了創新中心在數據集、數據母機、數據套用和數據平台上的全面布局和實踐。透過鞠博士的介紹，觀眾得以一睹作為國內第一個設立的省級人形機器人創新中心，該中心在具身智慧數據集建設上深入領先的工作。
在分享的最後，鞠笑竹也介紹了正與百度智慧雲緊密合作推進數據采集工作的情況，在人形機器人和機械臂等多型別本體上快速推進高品質真實數據和仿真數據的規模化采集。
北京具身智慧機器人創新中心大模型負責人 鞠笑竹
星海圖聯合創始人兼CEO高繼揚結合團隊在具身智慧感知和操作演算法的領先積累、前沿技術產品落地能力以及自動駕駛大規模量產的寶貴經驗，圍繞「具身智慧技術落地實踐及產品商業閉環要素的洞察」展開深度分享。高繼揚在分享中提到，星海圖目前正專註於打造「一腦多形」具身智慧機器人，在具身本體、端到端AI演算法、場景解決方案均布局全棧自研，他強調了智慧體的智慧邊界確定的重要性，認為這是新一代具身智慧產品研發的邏輯轉變。在產品設計上，星海圖遵循「智慧定義本體」的理念，即圍繞智慧的需求和邊界來設計機器人本體，而非從結構出發。
此外，高繼揚還分享了對「智慧邊際成本」的深刻洞察，認為智慧的邊際成本決定了公司的競爭力。星海圖透過自研全尺寸具身智慧本體以及核心零部件，結合仿真和真實數據，致力於降低新任務的學習成本，即數據成本，從而推動產品的快速叠代和商業化行程。
星海圖聯合創始人兼CEO 高繼揚
NVIDIA的Isaac平台廣受機器人開發者的歡迎和使用，GTC 2024大會上也公布了針對人形機器人的多項重磅更新。來自NVIDIA中國區機器人業務負責人李雨倩詳細介紹了NVIDIA在機器人行業的布局、Isaac平台的優勢，以及NVIDIA在加速具身智慧套用開發方面的策略和生態合作工作。
李雨倩表示，NVIDIA在機器人行業目前三大布局包括：訓練、仿真和Runtime。她特別提到了Isaac平台，包含了機器人仿真平台Isaac Sim和強化學習訓練平台Isaac Lab。透過展示一系列套用案例，例如合成數據集，強化學習訓練以及人形機器人等，李雨倩展示了Isaac平台在提升機器人AI功能開發效率和效能方面的特有優勢。
此外，李雨倩進一步分享了NVIDIA在加速具身智慧套用開發方面的策略。她詳細介紹了NVIDIA提供的預訓練模型和工具鏈，這些資源可以助力開發者快速搭建智慧機器人套用。另外，NVIDIA也在與百度智慧雲等合作夥伴共同推進雲上仿真服務的部署，以提供更加便利的平台來加速具身智慧套用的開發。
NVIDIA中國區機器人業務負責人 李雨倩
▍ 圓桌對話：圍繞具身智慧技術問題和落地前景展開多元、有深度的對話和暢想
圓桌對話環節，由具備豐富具身智慧賽道實踐經驗的BV百度風投高級投資經理軻迪擔任主持人，對話嘉賓由五位研究方向多元的資深技術專家和創業者組成，包括：X Square創始人兼CEO王潛、北京大學電腦學院助理教授/研究員/博士生導師仉尚航、北京銀河通用機器人有限公司合夥人/大模型負責人張直政、UniX AI創始人兼CEO楊豐瑜、面壁智慧聯合創始人兼CTO曾國洋。
圓桌對話專家陣容
BV百度風投高級投資經理 軻迪
在大模型對研究範式的改變這一話題上，張直政認為自大模型出現後，因其通用性和泛化性極強，使得傳統方法需要被重新思考。他強調，研究範式正逐漸從過去的針對單一任務開發特定控制演算法，轉變為基於大模型的訓練與系統構建，這對機器人領域帶來了巨大影響，促使開發者們更加關註數據與模型的閉環，以及如何在具體場景中部署和套用大模型。
北京銀河通用機器人有限公司合夥人 張直政
在技能湧現的可能性與挑戰上，王潛指出，技能湧現有兩種出現的路徑，第一種是在模型泛化性提升的過程中出現的突變，目前大部份模型的泛化效能力普遍局限在適應簡單的物理環境和硬體配置變化，以及操作未經訓練的新物體上，而泛化效能夠提升到自主執行從未示範過的新任務時可以被稱為技能湧現。他分享了X Square透過模型基礎能力的提升實作了從未報道過的高級泛化和技能湧現的訓練實踐，他認為這種能力只能透過端到端的統一基礎模型，經過足夠多樣的數據和場景訓練，習得物理規律與技能策略的通用結構而實作。第二種實作技能湧現的路徑則需要引入含有嘗試-評估-糾正的思維鏈能力。與GPT-4等擅長的語言任務不同，在具身智慧任務中實作這類能力需要額外的模型來準確評估狀態的轉移，因此世界模型將是這條路徑上的關鍵元件。而張直政則分享了銀河通用透過大規模仿真合成數據訓練模型，已觀察到一些未在訓練中見過的技能湧現現象，並強調仿真數據在技能湧現研究中的重要性。
X Square 創始人兼CEO 王潛
對於世界模型的重要性和套用方面，王潛分享了X Square訓練世界模型及將其套用於具身智慧任務的實踐，並認為短期內不同任務領域需要模型預測的側重點不同，因此需要多種不同的世界模型，而未來大一統的全面世界模型則是一種超越人類能力的可能方向。
楊豐瑜認為，世界模型能夠學習環境的內部表征並預測未來狀態，對實作AI的數據閉環至關重要。他強調，世界模型不僅能夠生成數據，還能生成策略與動作，推動具身智慧任務的端到端解決。
楊豐瑜同時指出，世界模型的打造任重路遠，生成和仿真是兩條不同路徑。仿真有它的優勢，也有不可避免的弊端，它不一定遵從物理世界的規律。其次，在理解真正物理世界變化的規律之後，如何將其做到神經網路裏面，做到演算法裏面，肯定是一個非常長期的過程。今天人類尚未完全探索出世界全面運轉的規律，我們只能用先驗知識加上神經網路，不斷逼近越來越真實和全面的世界模型。未來大一統的世界模型將超出人類想象，這也是驅動無數人為之努力和奮鬥的動力源泉。他另外介紹道：「UniX AI現在主要透過真實數據的采集來進行人形機器人的訓練，基於獨有的視觸覺底層大模型Unitouch，指導機器人的操作，目前進展非常良好。UniX AI將加快數據采集的工作，讓機器人在家庭等復雜場景中的套用更加全面。」
UniX AI創始人兼CEO 楊豐瑜
曾國洋則進一步指出，世界模型的核心在於對世界變化的建模與理解，盡管目前仍存在很大挑戰，但其對未來AI的發展具有革命性意義。
面壁智慧聯合創始人兼CTO 曾國洋
在討論中，嘉賓們還就數據在具身智慧研發中的重要性發表了各自看法。張直政強調，銀河通用在構建具身基礎模型階段，仿真數據的使用比例高達90%以上，以快速有效地將數據量scale up到大模型所需要的量級。
王潛則認為仿真對於高層次決策、導航等任務來說是廉價海量易標註的數據來源，但現實世界數據對於實作高精度操作任務來說尤為重要。同時由於兩種數據用於訓練模型的效率不同，隨著現實世界數據成本的下降，在以通用精細操作為代表的任務中其綜合成本有望追平甚至低於仿真數據。
北京大學電腦學院助理教授、研究員、博士生導師、 博雅青年學者 仉尚航
在圓桌對話的最後部份，嘉賓們分享了各自的未來願景及面臨的挑戰。仉尚航介紹了過去十余年人工智慧研究範式的轉變，表達了對以具身智慧為載體的通用人工智慧的期待，並指出當前具身智慧研究仍需在數據模型閉環中齊頭並進。曾國洋則夢想著打造像【鋼鐵俠】裏面賈維斯一樣的智慧助手，全面拓展人類能力。楊豐瑜強調了陪伴型機器人在教育、醫療等領域的套用潛力。王潛則從技術角度闡述了大模型對數據多樣性的要求。張直政則從商業化角度出發，探討了數據飛輪構建過程中的挑戰與機遇。
▍ 結語與展望
本次2024百度雲智大會「具身智慧專題論壇」為產業界、學術界和投資界等各參與方搭建了一個多方交流、碰撞思想的重要平台，取得了圓滿成功。
相信本次論壇將成為各方參與具身智慧大航海時代過程中的重要一站，以此作為新的起點繼續攜手加速具身智慧新物種的前進演化，加速奔赴具身智慧的星辰大海！
