導讀：2023國家機器人發展論壇（CAA菁英系列活動）于2023年6月17-18日在廣東深圳召開，壇以“集群促發展，創新向未來”為主題，聚焦智能機器人產業，邀請多位行業領軍人物同臺，助力打造世界級先進制造業集群。會上，中國自動化學會會士、理事、浙江大學熊蓉教授，作題為“人形機器人研究進展與發展挑戰”的大會報告，重點介紹了人形機器人的研究背景與意義、研究歷史與進程的基礎上其團隊在人形機器人系統研制、運動控制、智能移動等方面開展的工作和進展等內容。
人形機器人，也被稱為仿人機器人，是一類具有人類外形、模仿人類功能和智能的機器人。與其他機器人相比，它的區別在于擁有人類外形，包括雙足、雙臂和頭部。這種外形使得人形機器人在人類的工作和生活環境中具有更強的通用性和適應性。它能夠適應人類環境的不連續性，像人類一樣使用自己創造的工具，從而能夠實現人與機器人的無縫銜接和替換。此外，人形機器人的人類外形也更容易被人們接受，在人機交互過程中起到重要的作用。
一、研究背景與意義
人形機器人領域是機器人領域中一個重要的技術挑戰點，甚至被稱為國與國之間技術競爭的制高點。首先，它涉及到機器人的各個方面的關鍵技術以及這些技術的集成和融合。從系統角度看，人形機器人是一個高自由度的復雜系統。其制造、設計、建模和規劃都涉及到許多問題，如驅動和傳動的實現、感知與決策的融合，以及軟硬件的有效融合等。
從運動的角度看，人形機器人是以腳為支撐點與地面進行間斷性接觸的。它的腳與地面接觸的空間很小，時間也很短，這導致了穩定控制的時空域非常有限。同時，人形機器人面臨建模的不準確性、地面的不平整性以及作業過程中各種位置干擾等問題，如圖1所示，由于其本質上不穩定，從而在應用中面臨著許多困難。上世紀60年代到本世紀2015年，學術界主要關注的問題都是圍繞如何設計制造具有穩定運動能力的人形機器人展開研究。
圖1 人形機器人的技術難點
隨著這些關鍵技術的逐步解決，我們目前的焦點已經擴展至如何將人形機器人應用于多樣化的場景中。這與其他機器人技術的發展趨勢相似，機器人需要應對各種不同的環境，并能夠適應各種特定需求，另外，還需要具備通用性，能夠在這種形態下執行各種任務。
總的來說，人形機器人給機器人技術的各個方面都帶來了挑戰，并推動了相關零部件和技術的發展。從電機、傳動到液壓器件，它對機器人領域和產業的發展起到了積極的推動和支持作用。
二、研究歷史與進程
下面簡要介紹一下整個人形機器人的發展歷程，其發展歷史如圖2所示。第一臺人形機器人誕生于1969年，由日本早稻田大學研制，它采用液壓驅動，驅動部件龐大且重量較大，并且都放置在機器人的外部，采用的是靜態行走方式，每步行走距離為15厘米，需要約40秒的時間。隨后，許多研究機構開始進行人形機器人的研究。在80年代，出現了兩個對當前發展起到了重要基礎作用的團隊。其中一家是本田公司，于1986年開始研究人形機器人，注重系統設計和動態運動方面的研究。2000年，本田公司的研究取得了重要突破，推出了ASIMO人形機器人。ASIMO能夠以每小時1.6公里的速度行走，其研發過程中采用了直流電機和諧波減速器等關鍵技術，這對相關產業的發展起到了重要推動作用。另一個重要的團隊是來自麻省理工學院（MIT）的Marc Raibert在1986年提出的動態行走理論。這一理論的提出為后來波士頓動力公司的成立以及其研發的四足和雙足機器人打下了堅實的基礎。這一階段可以稱為基礎理論與系統形成的階段。
圖2 人形機器人的研究歷史
2000年之后，人形機器人的研究取得了更多的進展。例如，ASIMO等研究機構不斷優化和改進機器人的行走速度，并引入了人機運動映射技術，使機器人能夠執行更復雜的動作。同時，研究人員進一步結合智能技術，使機器人具備與人類進行交互的能力，例如為人端茶遞物。自2009年起，波士頓動力公司開始致力于滿足美軍的需求，并在福島核電站事故后開始研究高動態運動的人形機器人，以便執行特種任務。這一階段研究領域形成了不同的技術流派，包括多種不同的平衡控制技術以及不同的驅動技術。這些技術的發展使得人形機器人的技術變得多樣化且具有廣泛的應用前景。在2022年特斯拉所發布的人形機器人，馬斯克關于人形機器人方面的一系列的規劃、布局，引起了世界的廣泛關注。
從上個世紀90年代開始，國防科技大學、北京理工大學以及其他高校、研究機構和企業也都積極投身于人形機器人領域的研究。浙江大學自2006年起著手研究人形機器人，并以踢足球的小型仿人機器人作為起點，積累相關技術，并成功將智能感知、定位、導航規劃等能力融入其中。
2008年至2011年期間，我們在國家“863”重點課題的支持下成功研制了一款能夠與人或其他機器人進行兵乓球對打的仿人機器人，如圖3所示。這款機器人具有成人大小，身高1.65米，重量56公斤。該項目的突破之處在于設計了輕量化的機械結構，并實現了30個自由度的高實時控制。針對乒乓球這種高速運動的飛行物體，浙大團隊解決了在線準確識別定位和軌跡預測的問題，同時還實現了實時運動規劃和全身平衡控制，以應對手臂大加速度帶來的不穩定性。該成果在發布后引起了國內外廣泛關注，包括國外知名媒體對其進行了報道和拍攝。此外，該成果還被收錄進美國基金委向奧巴馬政府提交的工作報告中，進一步彰顯了其重要性和影響力。
圖3 浙江大學人形機器人研究
但是機器人打球的過程中，主要依靠下肢來進行平衡控制。由于行走速度僅達到1.2公里/小時，無法跟上快速打球的節奏。因此，從2012年開始，我們的研究重點轉向如何提高機器人的行走速度，并使其能夠在室內外不平整的地面以及各種未知擾動下行走。同時，還著重考慮了上肢運動的結合，為機器人的發展奠定了基礎。
過去的10年時間里，浙大團隊進行了大量的研究工作，包括驅動系統、傳動系統、機構設計、控制方法以及運動學習和生成等方面。目前，機器人已經實現了6.6公里/小時的行走速度，可以在室內外不平整的地面上自主適應和適應大的外力擾動，能夠上下15度的斜坡，并可以跳下20厘米高的臺階。
三、關鍵技術與進展
在人形機器人的技術發展中，我們按照系統集成、運動和未來作業需求的角度進行了劃分，分別稱為體能、技能和智能。在體能方面，我們探索了不同的技術路線，如圖4所示。一種方法是采用直流電機+諧波減速器+彈性單元的組合，以實現高效的彈跳能力。然而，這種彈性元件的變化也帶來了許多挑戰。因此，在2015年之后，浙大團隊開始采用四足機器人中常用的大間隙半徑電機，通過力位的伺服控制來驅動機器人。
圖4 關節運動方式
在人形機器人的技能方面，我們重點關注它的穩定平衡運動能力，并進行了相關的研究工作。目前，主要有兩種方法：一種是傳統的基于模型的方法，通過建立機器人的運動學和動力學模型，進行擺動腿的軌跡規劃，進而開展平衡控制。除了傳統的方法，另一種是采用學習的方法，如模仿學習和生成學習，來生成機器人的運動和控制策略。
穩定平衡控制是其中最核心的問題，在整個發展過程中涌現出多種方法，如圖5所示，并都發揮了重要作用。其中，ASIMO采用了ZMP判據的控制方法，密歇根大學等采用混雜零動態規劃方法實現機器人狀態在穩定平面上的控制， Marc Raibert等人提出了虛擬模型的解耦控制方法。這些方法各有優缺點，前兩者依賴于精確的動力學模型。
圖5 基于模型的穩定平衡控制
通過研究，我們發現虛擬模型控制方法在降低對精確模型依賴性方面取得了進展。然而，在復雜環境下，虛擬模型控制的容錯性存在限制。因此，我們進行了相關研究，并借鑒人類保持平衡時的行為策略。與傳統方法不同，人類在受到擾動時采用踮腳的方式來保持穩定，從而縮小了穩定域的范圍。我們在理論上證明，只需保持在穩定域邊界上即可實現穩定性，而不需要較大的穩定域和支撐域。進一步，基于虛擬模型的思想，我們提出了一種通過足部傾斜主動控制來增加穩定域的方法，如圖6所示。在人形機器人上成功實現了該方法，并發表了高水平的論文。然而，人形機器人在多個虛擬模型的結合和協調方面存在一定限制，以及在不同場景下設計不同虛擬模型的通用性的挑戰。
圖6 虛擬模型下主動欠驅動平衡控制
所以，采用模型預測控制和全身控制的方法可以提高人形機器人的動作穩定性和協調性，如圖7所示。這種方法基于軌跡規劃和剛體動力學建模，通過模型預測控制計算地面反作用力和力矩，并結合全身控制生成關節力矩。通過該集成控制策略，我們能夠更準確地預測和調整機器人的運動，使其能夠在復雜環境中實現穩定的運動和協調的動作。在仿真環境中已經實現了一些復雜動作，如跳躍和后空翻，但仍需要進一步提升關節力矩以實現更高水平的執行能力。我們將繼續努力改進和優化控制方法，以進一步提升人形機器人的運動能力和執行復雜動作的能力。
圖7 全身協調模型預測控制
此外我們有兩項工作對研究機器人控制方法起到了關鍵作用。首先，我們致力于在線辨識動力學參數，以確保準確建立模型，適應機器人在運動過程中構型和動力學參數發生變化等復雜情況。引入隨機變量后驗概率估計的方法后，通過定義隨機變量的向量空間以及相關的數據結構和投影運算，可以實現一種級連式的估計方法。對于每個關節模塊，可以建立運動模型和等效辨識模型，并進行迭代運行。在單腿和雙腿的情況下，包括腿部質量變化和外部負載變化等擾動，該方法的具有較好的有效性。
然而，僅僅依靠模型預測控制可能無法有效應對大擾動，因此，在2009年浙大團隊提出了一種方法，如圖8所示，通過建立速度與著地點之間的關系，將擾動轉化為速度變化，并根據這些速度確定適當的著地點。將這一方法與之前的控制方法相結合，可以實現了在面對大幅擾動時的穩定平衡控制。
圖8 基于速度感知的動態落腳點規劃
近年來，深度學習和強化學習的發展為人形機器人的平衡控制提供了新的方法，如圖9所示。在國內外的研究中，人們致力于利用強化學習來實現人形機器人的平衡控制。例如，在四足機器人領域，蘇黎世理工學院等機構開展了大量研究工作。在人形機器人領域，美國的Oregon州立大學等研究機構也進行了各種研究，包括提高機器人在不同地面上運動的魯棒性，如轉彎、上下臺階以及走梅花樁等動作。此外，研究人員還關注如何根據感知信息提升運動的準確性，并使機器人能夠適應復雜的環境變化。這些研究都為人形機器人的平衡控制領域做出了重要貢獻。
圖9 采用學習的穩定平衡控制
浙大團隊之前研究了四足機器人步態學習，采用強化學習方法進行步態生成，并提出了一種步態生成網絡，以整合各種步態，可根據機器人當前的狀態選擇適宜的步態。這一網絡使機器人能夠在面對未知環境時做出合適的步態選擇，并通過綜合多種步態以適應環境變化，從而在新環境中展示出靈活的行動能力。該研究為機器人應對各種挑戰并在新環境中表現出優異的適應性提供了有益的探索和成果。
然而，在應用純強化學習方法于人形機器人時，由于人形機器人具有相對較小的穩定時空域，這導致獲得穩定案例和進行迭代學習的速度較慢。因此，我們提出了將模型方法與學習方法相結合的策略，如圖10所示。通過采用啟發式模型來規劃擺動腿的運動，該模型對支撐腿的參數高度依賴，而對于參數依賴較強的情況，可以采用學習方法。通過串并聯混合的方法，加速了學習過程，并提高了對質量、擾動和噪聲等因素的魯棒性。然而，人形機器人仍然容易受到地面不平整等因素的影響。為此，需要引入了隱藏空間的學習，采用教師-學生模型，通過從一些優秀模型中學習隱藏空間的映射關系，可以進一步提升機器人穩定性。目前，浙大人形機器人已成功實現了在15-18厘米地形起伏的不同環境下穩定行走，并達到了3公里/小時的速度。
圖10 模型-學習混合的雙足步行運動生成
此外，在運動學習和強化學習生成方面，浙大團隊也做出了一定的貢獻。通過圖神經網絡構建學習模型，并結合最優化搜索，在編碼后的隱藏空間中尋找最佳匹配，之后進行最優化搜索，以實現對大型動作序列的快速學習，如圖11所所示。結果顯示，學習時間提升了10-100倍，同時動作相似性評估也有了顯著提升。
圖11 隱空間優化的映射學習
此外，我們擴展了研究范圍，將其應用于不同的結構中。對于包括動畫角色在內的多樣化動作，可以解決其在拓撲結構上的差異性。在與此相關的數字虛擬人研究中驗證，能夠成功地遷移至未曾接觸過的拓撲結構，并在已有結構上實現更優秀的接觸和穿模。進一步地，我們開始將動力學約束融入研究中，并在仿真環境中成功地將之前學習到的知識應用于新的結構中。
最后，我們還開展了智能移動和智能操作方面的研究。自2003年以來，浙大一直在這個領域進行研究，并在各種機器人應用中進行了驗證，包括工業機器人、無人駕駛車輛以及特殊環境。結合腿足機器人，團隊還專注于以下方面的進一步研究：首先如何構建大范圍全局一致的稠密高程地圖，如圖12所示；其次，為解決足式運動引起的震蕩問題、足式運動所帶來的計算資源限制，以及在特殊環境中紋理稀缺或傳感器失效的情況下如何選擇適合的傳感器和傳感器融合問題；以及如何規劃落腳點。
圖12 大范圍全局一致稠密高程地圖構建
在操作方面，聚焦于感知、力位控制、序列生成和語義動作生成等方面的研究，并探索如何將這些工作應用于人形機器人?？傮w而言，我們的下一步研究旨在實現智能操作和移動與人形機器人運動的綜合。
四、進展機遇與挑戰
在當前的背景下，我國也在積極探索人形機器人技術與產業化的發展。除了浙江大學，還有許多研究機構致力于人形機器人的研究，整體技術積累十分豐富，但仍有一些技術需要突破。與國際水平相比，在集成方面存在一定差距。具體需要突破的技術包括零部件方面，如關節的高力矩能力和靈巧手；智能感知、協同作業以及系統安全，包括機器人自身安全、交互安全和信息安全等方面；另外還有軟硬件集成方面的挑戰，需要實現高度融合、輕量化、穩定性和可靠性。這些都是需要進一步攻克的技術難題。
從產業鏈的角度來看，多年來機器人和汽車產業鏈為人形機器人的發展提供了基礎。然而，與其他產業鏈相比，人形機器人的產業鏈更為復雜和長鏈條。如何實現在眾多技術領域的緊密結合，并形成產學研用的協同機制，是一個重要的問題。
在人形機器人的研發方面，國外已經在控制器、仿真軟件開發平臺、大型訓練平臺和數據集等方面做了大量工作，形成了相對完善的生態體系。然而，我們在這方面的大部分研究仍然依賴國外平臺，因此迫切需要建立自己的工具鏈和生態體系。
在人形機器人的產業化過程中，供應鏈管理和低成本制造是重要的考慮因素。然而，與此同時，如何確保人形機器人具備高性能，并應對其作為新型復雜系統所帶來的制造工藝等挑戰也是需要解決的問題。
自2000年開始機器人研究，并于2006年開始專注于人形機器人研究以來，浙大團隊經歷了人形機器人領域的高潮和低谷。盡管遇到了挑戰，但我們仍在堅持不懈地推動我國在人形機器人技術和產業方面的發展。
