2025年3月13日，在第三屆具身智能機器人產(chǎn)業(yè)發(fā)展論壇上，浙江人形機器人創(chuàng)新中心首席科學家、浙江大學求是特聘教授熊蓉談到，機器人智能操作的演變經(jīng)歷了從簡單的抓放到高精度作業(yè)的顯著飛躍，這一進步得益于大模型的融合應用，極大地提升了機器人的行為規(guī)劃與決策能力。
隨著數(shù)據(jù)驅動技術的不斷進步，機器人正逐步從感知智能向行為智能轉變，這一轉變過程中，接觸交互的重要性愈發(fā)凸顯。然而，數(shù)據(jù)獲取與應用仍是當前面臨的主要挑戰(zhàn)，數(shù)據(jù)稀缺成為制約發(fā)展的關鍵瓶頸。為了應對這一挑戰(zhàn)，人工遙控采集和合成數(shù)據(jù)生成成為常用的數(shù)據(jù)獲取手段。但遙控采集對設備的實時性和操作人員的經(jīng)驗提出了高要求，導致成本高昂；而合成數(shù)據(jù)雖然在視覺渲染方面取得了較為成熟的成果，但在接觸仿真方面仍存在明顯不足。
在技術方法層面，大模型雖然具備一定的通用性，但在準確性方面仍有待提升，尤其是在機器人行為的高精度、高可靠性和高效率要求下，這一不足尤為明顯。此外，機器學習領域也面臨著可解釋性差、災難性遺忘等亟待解決的問題，亟需進一步優(yōu)化。
盡管面臨諸多挑戰(zhàn)，但當前人形機器人、大動作模型和空間智能等技術正處于產(chǎn)業(yè)起步階段，資本和研究投入十分活躍。
熊 蓉 | 浙江人形機器人創(chuàng)新中心首席科學家、浙江大學求是特聘教授
以下為演講內(nèi)容整理：
具身智能操作發(fā)展概述
在機器人領域的發(fā)展進程中，操作能力始終是其關鍵的基礎功能。從機器人誕生之初，追求操作的通用性便成為行業(yè)的核心目標。早期，機器人主要通過專家離線編程實現(xiàn)反復執(zhí)行，在工業(yè)場景中憑借高精度、高效率和高負載的優(yōu)勢發(fā)揮了重要作用。但隨著應用場景的不斷拓展，工業(yè)場景中的加工部件頻繁變化，且諸多非工業(yè)場景難以像工業(yè)環(huán)境那樣進行預設和定義，促使技術不斷演進。
圖源：浙江人形機器人創(chuàng)新中心
20世紀80年代，伴隨機器視覺技術的興起，基于專家規(guī)則的在線感知及伺服控制應運而生，為制造業(yè)發(fā)展注入新動力。如今，具身智能操作成為研究的新焦點。在計算機領域，從2011年起，就開始采用數(shù)據(jù)驅動的方式提升智能的可泛化性，具身智能被定義為具備感知推理能力且能與物理世界互動的智能系統(tǒng)。在自動化和機器人領域，圖靈對智能的定義影響深遠，此前依靠機理建模和專家經(jīng)驗解決問題，如今借助人工智能技術，可通過環(huán)境交互獲取數(shù)據(jù)來學習操作。
早在2016年，谷歌就利用16臺機器人歷經(jīng)6個月的訓練，使其學會抓取操作。此后，UC伯克利等機構不斷融合學習技術，推動具身智能從簡單的抓放操作向高精度作業(yè)等更多復雜行為拓展。大模型在機器人操作智能的行為規(guī)劃和決策方面發(fā)揮了重要作用，然而在動作軌跡和控制涉及的力覺等信息處理上仍存在不足，如何構建和應用數(shù)據(jù)提升接觸交互的智能性成為當下研究的關鍵問題。
具身智能操作發(fā)展面臨的挑戰(zhàn)
具身智能操作在發(fā)展過程中面臨諸多挑戰(zhàn)。數(shù)據(jù)方面，數(shù)據(jù)匱乏是主要問題。目前獲取數(shù)據(jù)的常見方式包括遙控采集和合成數(shù)據(jù)。遙控采集對設備實時性和操作人員經(jīng)驗要求頗高，特斯拉為獲取高質量數(shù)據(jù)提供高薪，卻也凸顯了高昂的成本。合成數(shù)據(jù)雖有視覺渲染技術支持，但在接觸仿真方面仍較為薄弱。例如，常用的英偉達Isaac Sim仿真平臺，在處理多剛體運動時，與真實場景存在差距，對操作中力覺信息的仿真支持不足，難以滿足學習訓練需求。即便像海耐基梅隆大學聯(lián)合多院校推出的Genesis，在接觸仿真性能上也無法達到應用要求。
圖源：浙江人形機器人創(chuàng)新中心
方法層面，盡管大模型發(fā)展迅速，但通用性和準確性難以平衡。對于機器人行為而言，任何差錯都可能在工業(yè)生產(chǎn)中引發(fā)事故，在服務場景中危及人機安全。機器學習自身也面臨可解釋性差、災難性遺忘等問題，如何在確保泛化性的同時實現(xiàn)高精度、高可靠和高效率，是亟待解決的難題。
執(zhí)行體性能同樣有待提升。在接觸作業(yè)中，力覺傳感器、端側智能計算控制器和操作末端靈巧手等執(zhí)行體組件，目前的性能無法充分滿足具身智能操作的需求，限制了技術的進一步發(fā)展和應用。
團隊研究成果與應用
浙江大學熊蓉團隊在機器人領域開展了長期且深入的研究工作。自2000年起，團隊聚焦機器人智能融合，探索機器人從封閉受控環(huán)境向開放環(huán)境的智能移動和作業(yè)。2012年起，致力于減少人工編程依賴，推動機器人自主學習。
在人形機器人研究方面成果豐碩，研發(fā)出多類型人形機器人。如多次榮獲國內(nèi)冠軍、4次獲得國際亞軍的足球機器人；在國家863重點項目支持下，研制出能與人或雙機器人進行乒乓球對打的悟空一代，對打回合數(shù)達100多個；還成功開發(fā)出室內(nèi)外快速穩(wěn)定行走的雙足機器人，并在操作領域取得進展，涵蓋未知混雜情況下的位置估計、多行為決策及工業(yè)應用。
2023年12月，團隊注冊成立浙江人形機器人創(chuàng)新中心有限公司，專注于人形機器人與具身智能的融合，打造相關產(chǎn)品和應用工具鏈。2022年3月和8月分別發(fā)布領航者1號和領航者2號樣機。前者實現(xiàn)長距離穩(wěn)定行走和全身協(xié)調舞蹈；后者身高提升至1米65，更適配人類作業(yè)環(huán)境，解決了雙手協(xié)同操作、使用工具和全身協(xié)同行走等問題。
圖源：浙江人形機器人創(chuàng)新中心
在操作技術研究上，團隊探索出一套獨特的方法。在感知層，針對大模型在物體檢測和位置估計方面的不足，采用Real2SimReal等方法，通過對物體進行高保真重構、在仿真場景渲染圖像并應用于實際，有效提升檢測精度，在非透明和透明物體檢測中均得到驗證。在行為層，早在2012年就研究將人類操作行為轉化為機器人程序，解決視覺觀測誤差與機器人執(zhí)行精度的差異問題，實現(xiàn)多種裝配作業(yè)。2022年，將抓取操作與語言視覺大模型聯(lián)合建模，使其能在混雜場景下完成復雜作業(yè)，并構建面向目標的長序列行為生成機制，應對復雜任務要求。
在動作層，致力于實現(xiàn)擬人化動作，提出動態(tài)圖神經(jīng)網(wǎng)絡方法學習長序列動作映射，保障人機動作相似性、機器人可執(zhí)行性和安全性。目前，已實現(xiàn)將人類動作數(shù)據(jù)快速部署到機器人上，并解決了人形機器人站立作業(yè)和全身行走的技術難題，還能實現(xiàn)邊走邊揮手等交互動作，未來將進一步提升穩(wěn)定性和擬人化程度。
在底層控制方面，團隊將視覺伺服控制與學習方法融合，解決了傳統(tǒng)方法需人工定義特征和收斂慢的問題，使其能適應多種物體和操作場景，無需相機標定即可完成作業(yè)。同時，構建基礎歷史模型，提升控制的泛化能力，在生產(chǎn)線的充電插拔和光模塊插板等操作中，精度、學習效率和成功率均超越傳統(tǒng)方法。此外，團隊還將力覺信息融合應用于服裝制造的柔性布料上下料和PCB柔性毛刷抓取等領域，顯著提升了自動化水平，縮短了部署和測試優(yōu)化時間。