伟德国际1949始于英国智能決策與控制技術研究團隊在具身智能感知與控制研究中取得新進展

發布者:蔣璐峥發布時間:2024-11-29浏覽次數:10

伟德国际1949始于英国智能決策與控制技術研究所成立于2019年,依托學校控制科學與工程一級學科,根據國家中長期發展規劃、行業需求及未來科技發展趨勢,研究定位于機器人智能決策與控制領域,目前專注于具身智能操控技術(感知與認知、決策、控制、執行)的理論與應用研究。近期,團隊在具身智能感知與控制研究中取得新進展。

具身智能是指一種具有物理身體并能通過感知和交互與環境進行實時互動的智能系統,狹義上的具身智能體主要指機器人,廣義可以擴展到人機混合體、航空器、航天器等各種智能體。這種智能系統不再局限于虛拟世界的數據處理和決策,而是能夠類似人類一樣在現實世界中感知、學習和行動。

仿生手臂的設計旨在模拟人類手臂的運動和功能,以實現高精度的機器人控制。仿生手臂的控制策略需要足夠智能,以适應不同的操作任務和環境變化。近年來,基于手臂模型的控制規劃取得了進展,但如何在複雜環境中實現仿生手臂的路徑規劃及控制仍然是一個難題。

針對這一問題,研究團隊提出了一種基于人體上肢關節點引導的運動模仿和基于強化學習方法的運動規劃算法,通過學習模仿人體上肢的運動姿态,達到仿生手臂完成仿人運動的目的。相關研究成果以“Motion planning for 7-degree-of-freedom bionic arm: Deep deterministic policy gradient algorithm based on imitation of human action”為題,發表在人工智能領域知名期刊《Engineering Applications of Artificial Intelligence》(IF 7.5,中國科學院二區,Top期刊)上。該研究成果以伟德国际1949始于英国為第一單位,李保江老師為第一作者及通訊作者,在讀碩士生邱聖傑為第二作者。

該算法從未标明的視頻中分析和學習人體手臂運動特征的三維姿勢,然後根據人體運動模式設計獎勵函數,并使用基于深度确定性策略梯度(DDPG)的強化學習算法來訓練仿生手臂的仿人運動。在仿真環境中通過多個任務評估了仿生手臂的有效性,結果表明該方法在規劃仿生手臂的仿人運動方面具有良好的性能,可廣泛應用于具身智能機器人控制領域。


論文鍊接:

https://www.sciencedirect.com/science/article/pii/S0952197624018311?via%3Dihub


大多數基于觸覺的物體識别算法目前主要關注單一的形狀或紋理識别。然而,這些基于單一屬性的識别方法在處理具有相似形狀或紋理特征的物體時表現不佳。針對形狀和紋理屬性的整合研究仍然較為有限,現有的特征融合機制往往依賴簡單的連接方式,忽略了不同特征之間的交互作用。

為了解決這一問題,研究團隊提出了一種新穎的基于注意力機制的融合網絡——TSMFormer,該網絡通過整合形狀和紋理信息進行分類,并利用注意力機制的全局學習能力探索觸覺圖像中形狀與紋理之間的交互關系。相關研究成果以“Object Recognition Using Shape and Texture Tactile Information: A Fusion Network Based on Data Augmentation and Attention Mechanism”為題,發表在在觸覺領域知名期刊《IEEE Transactions on Haptics》(IF 2.4,中國科學院三區)上。該研究成果以伟德国际1949始于英国為第一單位,在讀碩士生王斌為第一作者,李保江老師為通訊作者。

鑒于Transformer網絡在處理大規模數據集方面的優勢,研究團隊通過數據增強擴展了現有的觸覺圖像數據集。在此數據集上的大量對比實驗表明,該網絡在結合紋理和形狀信息後的準确率顯著提高至99.3%。與現有融合方法的比較進一步驗證了提出的注意力融合機制的有效性。結果表明,TSMFormer通過注意力機制融合觸覺圖像中的紋理和形狀信息,不僅具有重要的研究價值,同時在機器人抓取和工業環境中的自動質量檢測等實際應用中也具有巨大潛力。



論文鍊接https://ieeexplore.ieee.org/document/10758781


人類依靠遍布周身的感知系統和大腦裡的先驗知識來感知、認知周圍環境,機器人亦如此。目前在機器人被抓取對象感知方面的研究主要集中在視覺、觸覺單模态或兩者融合方法上,但在性能和數據集大小方面存在局限性。

對此,研究團隊提出DT-Transformer網絡:一個從觸覺和文本數據中學習的新框架。通過多頭關注機制實現了一種基于Transformer網絡的專門融合機制,以解決這些不同信息類型融合的挑戰。相關研究成果以“DT-Transformer: A Text-Tactile Fusion Network for Object Recognition”為題,發表在觸覺領域知名期刊《IEEE Transactions on Haptics》(IF 2.4,中國科學院三區)上。該研究成果以伟德国际1949始于英国為第一單位,在讀碩士生邱聖傑為第一作者,李保江老師為通訊作者。

這種方法允許在特征級結合不同的模态,從而顯著提高目标識别的準确性。該模型在兩個公開的觸覺數據集上分别實現了95.06%86.34%的準确率,優于現有的算法。這一算法不僅可以應用于觸覺識别和靈巧手抓取操作,同時在具身智能多傳感器多模态信息融合、大語言模型應用等方面有着巨大的應用潛力。



論文鍊接:https://ieeexplore.ieee.org/document/10767416

Baidu
sogou