智能机器人关键技术研究

关于此领域

未知环境下区域搜索问题广泛存在于无人机区域侦察、水下机器人探测、灾后救援场景中，机器人处于区域内障碍物分布信息未知的环境下, 需通过机载传感器获取环境信息, 在限定时间内完成对特定区域的快速搜索。多机器人系统相对于单机器人在区域搜索任务执行效率、鲁棒性、灵活性和容错性等方面都有很大的优势，同时也面临如下限制：1）机载传感器的探测范围相对有限；2）无环境先验信息-包括障碍物和目标分布；3）需规避障碍物及其他机器人之间的碰撞。同时，针对异构自主无人系统差异大、传感器接口兼容性低、通信实时性差等问题，研制具备传感器即插即用能力的控制器中间件及工具软件。值得一提的是，机器人的模仿学习也是该领域的一大热门方向。对此，实验室在配药机器人的背景下正在进行相关研究。其目的就是通过赋予机器人模仿能力，使机器人的智能水平显著提高。

一些 Demos

(1)基于生物启发神经网络和DMPC的多机器人协同搜索算法

多机器人协同搜索算法概述

生物启发神经网络介绍（BNN）

模型预测控制方法

多机器人协同区域搜索演示

在这个工作中，我们基于生物启发神经网络（BNN）构建了区域搜索过程中的环境信息模型，之后引入分布式模型预测控制方法(DMPC)作为多机器人之间的决策机制，确定机器人的下一步路径，我们的代码将在整理后逐步开源。主要步骤如下:

1.区域地图表示:首先构建任务搜索区域的栅格地图，即将任务区域划分为相同大小的栅格，栅格的状态可包括“未搜索栅格、自由栅格、障碍物栅格。注意，由于机器人面临的未知环境，栅格的初始状态均为未搜索

2.BNN更新: 机器人通过传感器获取其周围环境信息，更新栅格地图与BNN活性值,未搜索栅格的活性值将处于搜索神经元活性的顶峰，自由栅格（已搜索且无障碍物）的活性值其次，障碍物的活性值最低。

3.DMPC决策: 机器人预测其未来L步的运动状态，并优化搜索效能函数（包括神经元活性值增量与转弯代价），获取其下一步运动输入并确定下一步位置，机器人在整体上将朝活性值较大的区域运动，可避免重复搜索，同时规避障碍物。

4.程序终止判定: 如果机器人已经完全搜索任务区域完成或者搜索时间达到设定阈值，则终止搜索任务，否则，机器人将继续执行步骤2-3。

通过这些步骤，我们就可以实现一个基于BNN与DMPC多机器人协同区域搜索算法，引导机器人在未知环境下完成指定区域的快速搜索。

(2)面向复杂障碍物环境下基于DIBNN的多机器人协同区域搜索算法

环境信息模型

DIBNN结构

复杂障碍物环境下多机器人区域搜索演示

在这个工作中，提出了改进的BNN模型（IBNN）,同时，为了帮助多机器人应对复杂的障碍物环境，我们进一步提出了一种协同搜索机制，其中包含两层IBNN（dual IBNN, IBNN）,第一层IBNN引导机器探测未搜索区域，第二层IBNN在机器人陷入局部最优状态时引导机器人跳出该状态，从而提升多机器人在复杂障碍物环境下的搜索效率:

1.改进BNN模型: 原始BNN的活性值主要受外部输入和周围神经元活性值影响，在复杂障碍物环境下将对神经元的正活性值的全局传播造成干扰，因此我们首先对BNN的特性进行了改进。

2.第一层IBNN启动: 机器人选择周围活性值最大的神经元对应的栅格作为下一步运动位置。

3.局部最优状态判定: 如果某个机器人其周围区域都被搜索，并且持续未发现新的未探测区域，则进入步骤4，否则继续执行步骤2.

4.第二层IBNN启动: 选择出机器人群体中状态最优的个体，即“最优机器人”,第二层IBNN的活性值将引导处于局部最优机器人向最优机器所处位置运动，到达指定位置后，返回步骤1。

5.程序终止判定: 如果机器人已经完全搜索任务区域完成或者搜索时间达到设定阈值，则终止搜索任务，否则，机器人将继续执行步骤2-4。

通过这些步骤，我们就可以实现一个基于DIBNN多机器人协同区域搜索算法，引导机器人在未知的复杂障碍物环境下完成指定区域的快速搜索。

(3)高端智能控制器的即插即用中间件及工具软件

集成DDS的即插即用型轻量化中间件设计

传感器设备管理框架

在这个工作中，我们自主设计了应用于国产化硬件平台的自主无人系统的即插即用中间件软件:

1.中间件框架设计: 设计传感器即插即用中间件框架，包括传感器驱动封装库（Sensor Driver）、设备管理模块（Sensor Manage）、数据分发接口包（Sensor Library）和相关工具（Sensor Tools）

2.Sensor_driver设计: 基于多态的思想，对不同传感器的驱动以插件化的形式接入。

3.Sensor_Manage设计: 设计了基于UDEV的传感器即插即用后台系统，对插入的传感器进行统一的驱动调度与数据发布。

4.通信框架设计: 设计基于DDS的分布式点对点快速通信框架，实现常用的数据发布订阅机制，QOS数据校验机制。

5.任务调度框架设计: 设计基于协程的任务调度框架，用于自主无人系统中用户级的任务调度可信配置与运行。

通过这些步骤，我们可以实现一个自主无人系统控制器的即插即用中间件，达到传感器集中管理的目的。

(4)基于Panda机械臂的模仿学习

连续触碰2点

连续触碰3点

在这项工作里，我们希望机械臂通过人类演示的视频中学习到相似的技能：

1.数据采集：使用摄像设备记录专家执行目标动作的视频。

2.数据预处理：对采集到的视频进行预处理，包括视频帧的提取、图像的归一化等。

3.位姿估计：使用位姿估计算法从视频帧中提取人类关键姿态信息（坐标）

4.建立Panda运动学模型：关节限制、连杆从长度和末端执行器的运动范围等

5.动作转换：使用逆运动学算法将人类的动作转化为Panda的关节角度位姿。

6.控制策略：通过逆强化学习算法（inverse reinforcement learning)学习策略。

当前研究方向

多机器人协同区域搜索

人机协作场景下机械臂动态避障

自主无人系统控制器中间件

面向半透明试管的机械臂抓取

共融机器人配药技术

依托项目

自主无人系统的开放通用高端智能控制器.（科技创新2030-“新一代人工智能”重大项目）
面向生物疫苗制造的配药制药共融机器人关键技术研究.（国家自然科学基金重大研究计划-重点项目）

投稿的工作

B. Chen (陈波，博士生), H Zhang*(张辉), Y Wang, et al, "DIBNN:A Dual-improved-BNN Based Algorithm For Multirobot Cooperative Area Search in Complex Obstacle Environments". IEEE Transactions on Automation Science and Engineering.(Under Review)
张辉，阳炼，罗鑫泳，钟杭，陈波，毛建旭，王耀南。一种面向自主无人系统的传感器即插即用中间件[P].专利号：202310695443.6，申请时间：2023.6.13
张辉,梁志佳,陈波,胡非易,钟杭,毛建旭,王耀南。一种自主学习训练可视化系统及其方法[P].专利号：202310669792.0，申请时间：2023.6.7
张辉，黄长庆，钟杭，江一鸣，罗鑫泳，尹松涛。面向视觉传感器的即插即用中间件软件（软著）流水号：2023R11L0967569，申请时间：2023.6.5
张辉,梁志佳,胡非易,钟杭,陈波,罗鑫泳,尹松涛,阳炼,黄长庆。面向高端智能控制器的自主学习可视化软件（软著）流水号：2023R11L1047903，申请时间：2023.6.14

发表的成果

H. Zhang (张辉) et al, "A Practical Robotic Grasping Method by Using 6-D Pose Estimation With Protective Correction," in IEEE Transactions on Industrial Electronics, vol. 69, no. 4, pp. 3876-3886, April 2022, doi: 10.1109/TIE.2021.3075836.
C. Zhu, C. Yang, Y. Jiang and H. Zhang (张辉), "Fixed-Time Fuzzy Control of Uncertain Robots With Guaranteed Transient Performance," in IEEE Transactions on Fuzzy Systems, vol. 31, no. 3, pp. 1041-1051, 2023.
B. Chen (陈波，博士生), H Zhang (张辉) et al, "A Multirobot Distributed Collaborative Region Coverage Search Algorithm Based on Glasius Bio-inspired Neural Network," in IEEE Transactions on Cognitive and Developmental Systems, 2022, doi: 10.1109/TCDS.2022.3218718.
H. Zhang (张辉) et al, "A Dynamic Window-Based UWB-Odometer Fusion Approach for Indoor Positioning," in IEEE Sensors Journal, vol. 23, no. 3, pp. 2922-2931, 2023.
Yuhai Wei, Hui Zhang (张辉), et al. "Indoor Environment Mapping of Mobile Robot Based on Efficient DSM-PF Method." IEEE Sensors Journal, 2021: 3672-3685.
B. Chen (陈波，博士生), W. Zhang, F. Zhang, Y. Liu and H. Yu, "A Multirobot Cooperative Area Coverage Search Algorithm Based on Bioinspired Neural Network in Unknown Environments," in IEEE Systems Journal, vol. 17, no. 2, pp. 1995-2006, June 2023.