详情

梯田农业巡检无人机的开发和与地面采样轮式机器人的协同作业

申报人:李知乐 申报日期:2024-11-30

基本情况

2025年度大学生创新创业训练计划
梯田农业巡检无人机的开发和与地面采样轮式机器人的协同作业 学生选题
创新训练项目
工学
自动化类
学生自主选题
一年半期
利用无人机进行图像检测和飞行路径规划,将采集到的梯田图像传输给数据中心进行分析,为地面轮式机器人规划路径,对病虫害部位以及生长状况不佳的部位进行采样。通过无人机搭载的图像检测系统,实时监测梯田上农作物的生长状况和病虫害情况,数据将被传输至数据中心进行深入分析,及时发现并处理问题。无人机可以为地面轮式机器人提供精确的路径规划,使其能够高效地对病虫害部位及生长状况不佳的部位进行采样,实现精准农业管理。
跟随华东理工大学集成电路设计研究所叶炯耀做image signal processor项目
主持国家自然科学基金、上海市自然科学基金等国家省部级课题10余项
支持本大创项目相关硬件、软件和算法等。
校级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
李知乐 信息科学与工程学院 人工智能 2023 项目管理和算法学习
姚一帆 信息科学与工程学院 人工智能 2023 创新点探索及实现
陶双 商学院 信息管理与信息系统 2023 撰写成果及ppt制作
潘朗俊 信息科学与工程学院 人工智能 2023 软硬件集成

指导教师

序号 教师姓名 教师账号 所属学院 是否企业导师 教师类型
王孟 08783 信息科学与工程学院

立项依据

在当前的农业发展中,梯田作为一种特殊的农业地形,其复杂的地形结构给农作物的生长监测和病虫害管理带来了挑战。森林火灾的防控经验告诉我们,传统的人工巡检方式不仅效率低下,而且难以覆盖广阔的森林区域,更无法及时应对突发的火灾情况。同样,梯田的监测和病虫害管理也面临着类似的问题。随着算法的发展和制造工艺的提升,无人机技术为这一领域带来了革命性的解决方案。

 

无人机能够实时模拟出运行的环境,确定自身位置,控制飞行状态,探测障碍物并计算规避路径,使其能够在复杂的环境中成功避障并完成设定任务。同时,深度学习技术的高速发展,尤其是图像识别与目标检测技术的应用,已经在多个领域展现出其强大的能力。在农业领域,无人机的高灵活性和目标识别的精确性,可以节约大量人力成本和硬件成本。

 

本项目旨在利用无人机进行图像检测和飞行路径规划,将采集到的梯田图像传输给数据中心进行分析,同时为地面轮式机器人规划路径,对病虫害部位以及生长状况不佳的部位进行采样。通过无人机搭载的图像检测系统,可以实时监测梯田上农作物的生长状况和病虫害情况,这些数据将被传输至数据中心进行深入分析,以便于及时发现并处理问题。同时,无人机还可以为地面轮式机器人提供精确的路径规划,使其能够高效地对病虫害部位及生长状况不佳的部位进行采样,从而实现精准农业管理。

二、项目内容

(一)主要对象与目标

本项目旨在利用无人机进行图像检测和飞行路径规划,将采集到的梯田图像传输给数据中心进行分析,同时为地面轮式机器人规划路径,对病虫害部位以及生长状况不佳的部位进行采样。通过无人机搭载的图像检测系统,可以实时监测梯田上农作物的生长状况和病虫害情况,这些数据将被传输至数据中心进行深入分析,以便于及时发现并处理问题[34]。同时,无人机还可以为地面轮式机器人提供精确的路径规划,使其能够高效地对病虫害部位及生长状况不佳的部位进行采样,从而实现精准农业管理。

(二)总体框架

    项目旨在实现和推进无人机在梯田环境下的路线规划和避障技术,增强对农作物病虫害的发现能力,强化无人机与地面轮式机器人的协同能力。将围绕路径规划、目标检测和空地协同三个方面展开。

1. 路径规划

    无人机航迹规划的主要根据任务目标规划满足约束条件的飞行轨迹,是无人机先进任务规划系统的关键组成部分。航迹规划的目的是根据预设数字地图,通过GPS/INS组合导航系统,在适当时间内计算出最优或次最优的飞行轨迹。考虑到数字地图误差及随机环境的影响,要求无人机在飞行过程中具有动态修正轨迹的能力,能回避威胁环境,安全地完成预定任务。无人机航迹规划。主要包括环境信息、无人机系统约束、航迹规划器、无人机自动驾驶仪等。航迹规划总框架图如图所示:

 

路径规划算法虽然能够得到一条可通行的路径,但由于其只考虑了环境几何信息,往往忽略了无人机本身的运动学与动力学模型。因此,其得到的轨迹往往不够平滑,并不适合直接作为无人机的控制指令。本项目需要重点实现并优化动力学模型在无人机路径规划中的应用。此外,大量传统路径规划算法,如A*算法等,并不适用于考虑动力学模型的无人机路径规划,项目需要规划更合理的算法组合。

项目组的研究遵照“计算机模拟-单个无人机-无人机组”的路径开展。考虑到机组协同中,多台无人机之间可以得到相对定位数据,在协同阶段,可以在基于GPS的绝对定位上,使用无人机相对位置增加定位精度。

2. 目标检测

    为了全面捕捉地形和景观,航拍图像的获取过程可以分为两个步骤。

1.         摄影测量:在无人机飞行过程中,为了确保图象重叠,需要每隔一段时间拍摄几张图像。这一步很重要,这样才能测量成像物体间的距离。广义上讲,这一过程被称为摄影测量学。对于需要用于数据分析和制图的图像,还需要相应的元数据进行图像拼接。这些元数据由无人机上的微型计算机自动嵌入。

2.         图像拼接:一旦数据采集完成后,第二步是将单个航拍图像合并成一张有用的地图,通常使用一种专门的摄影测量技术将图像快速拼接在一起。这种特殊的摄影测量技术被称为从运动信息中恢复三维场景结构(Sfm)。Sfm软件从不同角度将同一场景的图像进行比较、匹配,并测量每幅图象中物体间的角度后,拼接在一起。在这个步骤里,可能需要参考图象的地理信息,以便将位置信息附加到每个图象上。

    目前大量无人机目标检测基于YOLOv4算法,项目组规划基于最新的YOLOx展开图像识别的开发。YOLOxYOLOv3作为模型的原始框架(YOLOv3网络中使用的算子更加简单,应用范围更加广),然后设计Decoupled HeadData AugAnchor Free以及SimOTA部件。优势在于:所有组件全平台可部署、避免过拟合COCO、不做或少做稳定涨点但缺乏新意的工作。能较好地提高目标检测效率,同时提高无人机的安全性。

3. 空地协同

采用实时纯可视化地图重建方案,将在线场景地图重建与后处理优化相结合,提高了地图速度,保证了地图的定位精度。首先,利用单目视觉SLAM获取实时姿态信息和稀疏点云,然后在稀疏点云的基础上进行网格重建和纹理映射;同时,利用GPS信息进行定位和构图,输出带有地理信息的地图。最后,通过自适应权重的增量快速拼接算法,实现实时大规模增量拼接图像,并实时显示拼接结果。

 

(三)学术价值和应用价值

1.对已有研究的总体评价

但目前的无人机导航主要使用GPS,但地形复杂的区域容易极大干扰GPS导航,存在无法正常工作的风险;由于无人机影像潜在目标普遍较小,与大范围拍摄的尺度差异悬殊、背景复杂,很多已在常规数据集上验证有效的深度学习方法无法直接使用。现有的针对无人机影像特点改造的深度学习模型在实际应用中对小目标的检测效果仍然不理想[35];无人机目前存在电池动力不足,难以长时间续航;飞行过程易受其他因素的干扰。控制技术是无人机突破的关键,提高无人机在面对超速、复杂地形和极端天气下的应变能力是一大重要研究方向[36]

2.关于本课题研究价值的说明

1)学术价值:

目标检测:采用YOLOx目标检测模型,YOLOx中的YoloHead与之前版本的YoloHead不同。以前版本的Yolo所用的Head是(ClsRegObj)一起的,也就是分类和回归在一个1X1卷积里实现,YOLOx实验发现这给网络的识别带来了不利影响。故进行两点改进:将预测分支解耦极大的改善收敛速度。在YOLOx中,Yolo Head被分为了两部分,分别实现,最后预测的时候才整合在一起;相比较于非解耦的端到端方式,解耦能带来4.2%AP提升。现有的无人机目标检测主要应用了YOLOv3YOLOv4的算法,而对于环境复杂多变的田地环境需要目标检测有更短的时延。YOLOx相比YOLOv5达成了1.8%AP的速度提升,达到了50.0%AP,将YOLOx整合到无人机目标检测中将更有利于无人机的田地作业。

空地协同提升效率:使用混合遗传算法对初始航迹进行规划后,对四旋翼无人机组增加限制条件,使所有无人机完成侦察任务后返回基地的总路径尽可能地短,从而缩短无人机完成任务的时间。

2)应用价值:

精准施药技术 :利用无人机和地面机器人的空地协同技术,无人机搭载空中视觉相机获取作物图像信息,地面机器人搭载地面视觉相机和施药执行器。这种技术提高了施药精度,增大了农药使用效率,有效降低了农药残留[37]

梯田建设技术 :梯田是一种古老而有效的水土保持措施,尤其适用于山区丘陵地带。梯田建设技术包括梯田设计原则、工程建设过程和梯田管理方法。设计原则包括合理的坡度、水利设计、土壤保护和梯田面积形状的选择。

生态系统服务与管理 :梯田作为山地丘陵区广泛分布的农业生态系统,通过改变地形、减缓坡度,减少水土流失,提高土地利用率。梯田还具有水土保持、生态恢复和农业增产等多重效益。

自动化与智能化 :空地协同技术通过人工智能赋能,提高了梯田管理的自动化和智能化水平。例如,无人机能够稳定地跟踪地面移动目标,地面机器人能够根据无人机识别的病虫草害位置自动规划最佳的行进路径[38]

1.      

(三)拟突破的重点和难点

1.研究重点:

1)根据任务需求规划出满足约束条件的飞行路径。提高无人机的工作效率和反应速度,使得遇到障碍物能自主避障,不能避开时自主降低损失。

2)优化YOLO目标检测算法。无人机对梯田进行定时巡航采集图像信息,对采集的图像使用图像识别算法发现病虫害,从而实现对农作物状态的实时监测。

3)增强个体智能。研究如何通过人工智能算法提升空地机器人的个体智能性,减少对人类专家的依赖,使系统能够自主高效地理解环境与执行任务

2.研究难点:

1)建立环境模型,将真实的物理空间抽象为算法可处理的虚拟空间。由于物理空间的复杂性,在抽象的过程中需要屏蔽一些细节,转化过程中选择适宜的分辨率,既不损失重要信息,又能提高运行速度。建立多样化场景,保证向实景飞行的平稳过渡并防止过度拟合。

2)在建立四旋翼动力学模型之前对部分计算过程进行简化。

3)解决目标检测中拥挤与遮挡导致的目标信息缺失、样本不均衡导致样本数少的类别精度不够高、不同类别间尺度差异阻碍检测算法发挥、小目标特征不充分导致小目标召回率低的问题。

4)机器人需要整合来自视觉、听觉、触觉等多种传感器的数据,以全面感知周围环境[39]。不同传感器的数据格式和噪声特性不同,融合这些数据以获得可靠的环境理解具有很高的难度。

(四)研究方法

1.数据来源

1)开放数据集:使用互联网上开放的数据集训练模型,必要时购买数据集权限。

2)计算机模拟数据:在算法移植到实体硬件前,多次使用计算机模拟调试程序。

3)实验数据:从单个无人机到无人空地协同,基于实验数据调试无人机程序。

2.研究方法

以无人机的安防巡检技术为研究对象,以梯田农业病虫害的监测防控下的路径规划、目标检测和空地协同为切入点展开研究。

首先,建立一个能够精确反映四旋翼飞行运动特性的动力学模型。四旋翼的动力主要由旋翼转动时产生的力和力矩提供,但实际四旋翼的结构与旋翼转动时涉及到的空气动力学相对较复杂,因此在建立四旋翼动力学模型之前对部分计算过程进行简化,通过分析研究其飞行原理,推导出使数学方程能够在地面坐标系与机体坐标系之间相互转换的旋转矩阵,通过牛顿定律和动量矩原理,对四旋翼的数学模型进行推导。根据实际地图建立三维栅格地图,由三维环境的复杂性和四旋翼飞行器的飞行特性,采用改进A*算法进行全局路径规划,针对传统A*算法的不足,从两个方面对其进行改进:

    1)传统A*算法在寻路过程中在每个节点处的搜索方向均为八个,没有考虑到工作中四旋翼飞行器的机动性和灵活度情况,导致规划出的路径并不是最短路径,基于此提出二层扩展邻域策略增加搜索方向。

2)由于A*算法的启发函数采用欧氏距离公式,在大多数情况下启发函数估计值大于实际距离,导致增加额外的扩展节点,基于此对启发函数进行改进,使启发函数值更接近实际规划路径距离。

其次,采用YOLOx目标检测模型,共分为4步:①图像输入;②特征提取;③特征融合;④结果预测。图像输入模型后,主干网络CSPDarknet53对输入图像进行特征提取,由图1可知CSPDarknet53一共有5个大残差块,最后一个大残差块的输出经3次卷积后输入SPP模块,SPP模块对输入进行最大池化操作。池化的结果经过拼接和卷积处理后送入PANet模块,第3和第4个大残差块的输出也分别经过一次卷积送入PANetPANet是一个特征融合模块,它可以将输入的3个不同尺寸特征图进行卷积及上采样或下采样操作后进行特征融合,使得不同层的特征通过采样后融合成高层特征,增强特征的表达能力。PANet将融合后的 YOLO Head,进 出。YOLOv4采用了多尺度输出,分别输出52×5226×2613×13这3种尺度的特征图到检测层中。每个cell 出3个bounding box,每个bounding box都有自己的位置信息以及置信度,最终通过阈值来保留较为准确的预测框。

    最后,使用混合遗传算法对初始航迹进行规划后,对四旋翼无人机和地面机器人增加限制条件,使无人机和地面机器人完成任务后返回基地的总路径尽可能地短,从而缩短完成任务的时间。

1.路径规划算法

1)经典算法

A*算法

A* 作为启发式算法,优点在于计算速度快,能够高效得到无人机路径的信息。但是其缺点也很明显。针对其缺点,研究人员也给出了不同的解决办法。针对 A* 算法计算复杂路径效率低以及在复杂环境下出现搜索失败的现象,李得伟等人通过改进搜索顺序和优化估价函数,将 A* 算法中的无向搜索改成有向搜索,将全局估价变为局部估价,提高了算法效率[2]。宋雪倩等人提出利用 Dubins 曲线找到有效节点,为每一架无人机分别构建最短避障路径,以便更快地得到更短的安全路径[3]

②路线图算法(RA

Voronoi 图在移动机器人避障过程中的十分重要。Bhattacharya等对Voronoi 图进行了一定的改进,消除其在应用中存在的急转弯和循环时间长的问题,提高了该算法性能。Yan F等采用八叉树算法将环境进行划分,同时考虑到无人机飞行条件等限制,将能够使无人机通过的空间成为自由空间,同时在整个空间创建边框阵列评估各个自由空间的连接。通过在各个自由空间随机采样路径节点,改进了随机路图法,保证节点在整个三维空间的有效分布,得到无人机在三维空间内飞行的优化路径[9]

③细胞分解法(CD

Franklin Samaniego 等人将无人机飞行的空间看作是一个以路径规划中最小步长离散的自适应网格,并利用成本响应法和递归计算进行路径规划,降低了响应时间[4]Marian Lupascu 等人将二维中的方形细胞分解拓展为三维中的立方体进行路径规划,并论证了算法的可行性[5]

④人工势场法(APF

Montiel等对动态环境下的人工势场法的路径规划做了分析,并结合演化算法得到了一种新的规划算法,实现了传统人工势场法的参数优化,增强了全局可靠性[10] [11]。王宏伦等使用流体力学对人工势场法进行改进,从而使得到的路径更加平滑,同时避免了无人机在目标点附近无法到达目标点的问题[12]Sfeir 等则利用改进的人工势场解决了导航中的观测、振荡以及避障失败问题,使得当无人机靠近障碍物时的振荡和避障失败问题最小化[13]

为了更好地提高人工势场法的性能,改进其本身存在的问题,学者们提出将改进人工势场法与其它算法混合的混合算法规划路径,如人工势场法和遗传算法的混合算法[14]、人工势场法和粒子群算法的混合算法[15]

2)智能反应算法

①遗传算法(GA

在路径规划的应用上,Shibata T.Fukuda T.给出了静态环境下的路径规划方法。而在位置环境中,遗传算法只需要很少的先验信息,就可以完成路径规划[16]Xiao J等人给出了在未知环境下路径规划的相应方法[17]。马云红等人利用极坐标描述威胁位置和航迹点,从而使路径编码降维,提高了整体的计算效率[18]

②布谷鸟算法(CS

布谷鸟算法作为一个改进算法,提高了原始算法的收敛速度和效率[19],因此可以应用于无人机路径规划算法中的性能时间优化问题。Mohanty提出了轮式机器人在静态环境中的路径规划问题[20]。他们对复杂环境下的路径规划问题进行了仿真和实时实验,结果表明,误差较小,两者吻合较好。Wang 等人提出了另一种针对三维未知环境的混合路径规划方法,他们将差分法与布谷鸟算法相结合,加快了全局收敛速度[21]Xie 等人提出了布谷鸟算法在无人机探索三维环境尤其是战场环境中的应用,并且证明布谷鸟算法可以解决三维空中路径规划问题,应用差分优化的方法可以对布谷鸟算法进行有效优化[22]

③粒子群算法(PSO

目前,粒子群算法被广泛运用于无人机路径规划领域。Tang 等人利用多智能粒子滤波器解决了未知环境下定位和路径规划问题[23] [24]。粒子群算法的使用有助于降低计算量,并保持更稳定的收敛特性,避免陷入局部最优。刘科等人利用可行网图结构表示已知威胁,在求得的粗略最短路径基础上,利用粒子群算法和最小二乘法拟合求解最优路径[25]。郭蕴华和王晓宗根据粒子与局部吸引点和可行解边界距离动态的修正粒子更新位置,改善了全局寻优能力和收敛性能,得到更高质量的无人机路径规划[26]

④人工蜂群算法(ABC

利用人工蜂群算法在静态环境下进行路径规划,首先使用人工蜂群算法进行局部环境探索,而后使用进化算法得到最优路径。无人战斗机的路径规划是在考虑战场威胁和约束的情况下,获得三维环境中的最优飞行路径[28]Li 等人使用平衡化策略对人工蜂群算法进行改进,充分利用迭代过程中的收敛信息来控制勘探精度,在局部和全局能力之间寻求平衡[29]Ding L等提出了人工蜂群算法在空中导航领域的应用,并且利用无人直升机完成了诸如信息收集、精确测量和边境巡逻等具有挑战性的任务[30]

2.目标检测算法(R-CNN系列算法、YOLO系列算法、SSD算法)

2.1 R-CNN系列算法

R-CNN算法的核心思想是将目标检测问题转化为一个分类问题。它首先使用选择性搜索(Selective Search)算法在图像中提取候选区域,这些区域被认为是可能包含目标的区域。然后,这些候选区域被输入到预训练的CNN中,以提取特征。最后,使用SVMSupport Vector Machine)对每个候选区域进行分类,确定它是否包含特定的目标类别。

          

1Fast R-CNN

Fast R-CNN是对R-CNN的改进,它通过在整个图像上共享卷积特征来提高速度。Fast R-CNN引入了区域池化层(RoI Pooling),使得每个候选区域都能被映射到一个固定大小的特征向量。这种方法显著提高了训练和测试的速度,同时提高了检测的准确性。

2Faster R-CNN

Faster R-CNN进一步改进了目标检测的速度和准确性,它引入了一个区域提议网络(RPN),这个网络能够与检测网络共享卷积特征,从而实现几乎无额外成本的区域提议。RPN是一个全卷积网络,能够同时预测对象的边界和对象性得分。Faster R-CNN通过交替优化的方式训练RPNFast R-CNN,使得两个网络共享卷积层,从而提高了训练效率和检测性能。

3Mask R-CNN

Mask R-CNNFaster R-CNN的基础上增加了对目标的实例分割能力。它通过在RoI池化后添加一个分支来预测目标的掩码,从而实现对目标的像素级分割。Mask R-CNN在目标检测和实例分割任务上都取得了很好的效果。

 

2.2 YOLO系列算法

YOLO算法是Redmon等人在CVPR2016上提出的经典One-stage方法,他是一个独立的从输入端到输出端的神经网络,不同于R-CNN系列算法中区域提取阶段和目标分类的两个阶段,而是直接通过一个网络完成输入让图像到预测分类输出整个过程,将区域提取阶段和卷积神经网络预测阶段整合为一部分,得到One-stage的一部式检测网络。这类算法速度快,但是准确性要低一些,很适合搭载于无人机上。YOLO算法自提出后每年都有所改进,经历了6个版本的跟新,目前已经发展成熟,性能稳定。

(1)YOLOv1

    YOLOv1将目标检测的流程统一为单个神经网络。该神经网络采用整个图像信息来预测目标的bounding boxes的同时识别目标的类别,实现端到端实时目标检测任务。

    YOLO算法基本网络模型为Google?Net,但未使用它的inception模块,而是交替使用1×1 3×3 卷积层,共24个卷积层,2个全连接层。卷积层提取特征,全连接层预测类别和框位置回归。

    YOLO算法对图像有全局的理解,背景误检率较低,模型泛化能力强。检其测速度已提升至实时水平,但 mAPmean average precision)与Faster RCNN 相比仍有差距。由于每个网格只预测两个包围盒,限制了模型预测物体的数量。 对小目标和密集目标检测精度低,对尺度变化较大的目标泛化能力弱。 这些问题在后续提出的算法中逐步进行了改进。

(2)YOLOv2

    YOLO基础上,YOLOv2在批归一化、使用高分辨率图像微调分类模型、采用先验框、聚类提取先验框尺度、约束预测边框的位置、直通层检测细粒度特征、多尺度图像训练、高分辨率图像的对象检测八个方面进行了改进。 改进后的YOLOv2VOC2007数据集上的mAPYOLO 63.4 提升至 78.6

    在网络结构上,YOLOv2 提出了 Darknet-19(有19个卷积层和5个最大池化层)网络结构,同时增加了一个直通层,移除了全连接层,去掉了一个池化层,使网络卷积层输出具有更高的分辨率,并进一步提升了速度。

3YOLOv3

    YOLOv3算法使用由残差块构成的全卷积网络作为骨干网络,网络深度达到53层,称为Darknet-53YOLOv3吸取了FPN(特征金字塔网络)的思想,利用多尺度特征进行目标检测,在保持速度优势的前提下进一步提升了检测精度,尤其加强了对小目标的检测能力,且对高覆盖率图像检测效果明显高于 YOLOv2

4YOLOv4

    YOLOv4算法相比YOLOv3有多尝试和改进,在调优手段上采用了:加权残差连接(WRC),跨阶段部分连接(CSP),跨小批量标准化(CmBN),自对抗训练(SAT),Mish激活,马赛克数据增强,CmBN,DropBlock正则化,CIoU Loss等等方式,使识别准确度和速度有所提升。

    YOLOv4算为了提升准确度,针对训练过程进行一些优化,如数据增强、类别不平衡、成本函数、软标注等。另一方面增大感受野、使用注意力机制、集成跳过连接(skip-connection)或 FPN等特性、使用非极大值抑制等后处理方法。

(5)YOLOv5

    YOLOv5YOLOv系列的集大成之作,相比YOLOv4在速度和图像连续识别上有了很大提升。同时YOLOv5有更小的体积,大小仅27MB,可以应用于小型设备之上。

(6)YOLOx

    YOLOxDecoupled head(预测分支解耦)进行了改进。将预测分支解耦,这极大的改善收敛速度,相比较于非解耦的端到端方式,解耦能带来4.2%AP提升。

在原来的模型中使用anchor时,为了调优模型,需要对数据聚类分析,确定最优锚点,缺乏泛化性。anchor机制增加了检测头复杂度,增加了每幅图像预测数量。YOLOx使用ancho-freer可以减少调整参数数量和GFLOPs,使速度更快,且表现更好。

 

2.3 SSD算法

SSD是一种用于目标检测的深度学习算法,它能够直接在单次网络传递中预测出多个类别的边界框和置信度。其通过在不同的特征图上使用一组预定义的边界框(Default Boxes)来预测目标的存在,这些边界框具有不同的长宽比和尺度。在预测时,网络为每个默认框生成类别得分,并调整框以更好地匹配目标形状。此外,网络结合了多个不同分辨率的特征图的预测,自然地处理各种大小的对象。以下是SSD算法的几个特征。

       494f3681dc853c1c74264e379dda023

1)多尺度特征图

SSD的一个关键特点是使用多个尺度的特征图进行检测,这使得它能够有效地覆盖不同大小的对象。通过在网络的不同层添加卷积层,SSD能在不同尺度上进行目标检测。

2)端到端训练

SSD通过一个单一的深度神经网络完成目标检测,省去了区域提议生成和后续的像素或特征重采样阶段,使得SSD易于训练并且可以直接集成到需要检测组件的系统中。

3)非极大值抑制(NMS

在预测时,SSD生成每个默认框的类别得分和调整对象形状的边界框。然后通过非极大值抑制来产生最终的检测结果。

4)速度快且准确

SSDPASCAL VOCCOCOILSVRC数据集上的实验结果证实,它具有与使用额外对象提议步骤的方法相媲美的准确性,并且速度要快得多。例如,SSD300模型能够在保持高准确度的同时实现实时目标检测,速度达到59 FPS

5)数据增强

SSD通过特定的数据增强策略来提高小目标的检测性能,包括随机采样和图像扩展等技术

SSD通过其创新的设计和训练方法,在目标检测领域提供了一个既快速又准确的解决方案,特别适合于需要实时处理的应用场景。

3.     空地协同

1)多机器人协同控制技术

多机器人协同控制技术涉及多个机器人之间的有效合作与互动,以执行超出单个机器人能力所及的复杂任务。这种技术需要考虑机器人之间的通信、协调和任务分配,以实现高效和鲁棒的协同工作。

浙江大学湖州研究院的科研团队提出了新型空地协作控制框架CoNi-MPC,该框架利用相对位姿估计信息和移动目标的IMU数据,能够直接在高动态平台的机体坐标系中控制无人机运动,消除了无人机及动态平台对于绝对世界坐标系的依赖,可在无GPS/SLAM的场景中使用。

2)同步定位与建图(SLAM)技术:

SLAM技术通过处理传感器数据(如激光雷达、摄像头等)来估计机器人或无人系统的位姿(位置和姿态)并构建环境地图。其核心问题包括数据关联、状态估计和地图表示。SLAM系统一般分为五个模块:传感器数据、视觉里程计、后端、建图及回环检测。

北京大学智能学院查红彬团队在环境自适应的鲁棒SLAM领域取得了重要进展。他们探索了鲁棒、高效、自适应的视觉理论与方法,以提高智能感知系统在复杂现实场景中的环境与任务自适应性。也提出了基于流和线面结构的SLAM方法,增加了复杂场景下的数据配准稳定性,并提高了不同质量数据的融合精度。还提出了基于隐式地图记忆的深度学习SLAM新范式,大幅度提升了视觉里程计的适应性和精度。

(3)智能感知技术

能感知技术通过人工智能技术赋能感知系统,抓住机会控制局面,带动后续环节高效运行,缩短循环求解时间,为信息对抗提供机会和关键支撑。无人机机动性强,视野宽广,可以快速感知地形并捕获目标,将采集到的感知信息传输给UGV,加快任务的执行效率。

中国科学院上海高等研究院智能信息通信技术研究与发展中心团队在IEEE Wireless Communications杂志上发表了题为《Intelligent Spectrum Sensing: When Reinforcement Learning Meets Automatic Repeat Sensing in 5G Communications》的最新研究成果。该研究提出一套基于人工智能增强学习算法的智能频谱弹性感知技术,可有效适用于5G生态体系中的各类典型应用场景,且比现有技术显著提升了性能表现。

1.目标检测:采用YOLOx目标检测模型,YOLOx中的Yolo Head与之前版本的Yolo Head不同。以前版本的Yolo所用的Head是(ClsRegObj)一起的,也就是分类和回归在一个1X1卷积里实现,YOLOx实验发现这给网络的识别带来了不利影响。故进行两点改进:将预测分支解耦极大的改善收敛速度。在YOLOx中,Yolo  Head被分为了两部分,分别实现,最后预测的时候才整合在一起;相比较于非解耦的端到端方式,解耦能带来4.2%AP提升。现有的无人机目标检测主要应用了YOLOv3YOLOv4的算法,而对于环境复杂多变的梯田环境需要目标检测有更短的时延。YOLOx相比YOLOv5达成了1.8%AP的速度提升,达到了50.0%AP,将YOLOx整合到无人机目标检测中将更有利于安防无人机的梯田作业。

2.空地协同实现时间最短:研究多机器人协同控制技术,促进无人机与地面机器人之间的有效合作与互动,以执行超出单个机器人能力所及的复杂任务。通过CoNi-MPC空地协作框架,利用相对位姿估计信息和移动目标的IMU数据,直接在高动态平台的机体坐标系中控制无人机运动[40],消除了无人机及动态平台对于绝对世界坐标系的依赖。

1.成果形式:每月总结一次项目进度,完成中期、结题两次汇报,发表1-3篇高水平论文,结合项目开发情况申请专利。

    2.使用去向及预期社会效益:有关学术成果发表至专业期刊供参考;研究专利和形成的产品具有一定商业价值。

项目推进时间为202410-20266月,项目将沿“计算机仿真-单无人机基础功能实现-实现无人机与地面轮式机器人协同-创新点探索”的路径展开。

1.项目规划和可行性分析(202410-11月)。组织成员进行初期调研,学习相关专业知识,与行业数据相结合。充分搜集行业调研并实地参访企业,调研市场需求。与指导老师探讨该项目的必要性、可行性以及技术实现路径,通过多条渠道了解真实可靠信息。

2.框架完善和学术准备(202410-20251月)。202410-12月,系统学习Ubuntu18.04系统操作和机器人操作系统(ROS),掌握基本操作技能,搜集国内外数据库和现有模型。20251月及以后,持续跟进技术进展,在进一步掌握国内外已有的研究基础之上,调整完善现有的理论框架和实现策略。

3.单个四旋翼无人机基础功能实现(20252-5月)。在单个四旋翼无人机上实现基本操作功能:

1路径规划:主要包括飞行任务规划、行为规划、任务变更三个方面,结合现有的开源智能路径规划算法和数据库,实现四旋翼无人机的基础智能路径规划。20252-3月,首先在计算机上模拟智能路径规划。4-5月将算法移植到实体硬件上,经过实地测试,反复调试参数和模型细节,留出1个月的弹性时间,预防架构需要重大调整。

 

2目标检测:20252-3月基于YOLOx构建目标检测框架,实现目标检测的基础功能,基于开放数据库训练机器视觉模型。4-5月将算法移植到实体硬件上,经过模拟和自然的多场景实地试飞,针对性地发现不足并基于单一数据库改进相应目标的识别准确率。

4.无人机与地面轮式机器人协同(20256-9月)。利用无人机采集到的图像数据进行分析,为地面轮式机器人规划单层梯田上行进的最优路径,使无人机与地面轮式机器人的延迟时间最小化。

5.中期成果撰写(20266月)。结合本研究的数据,撰写报告,结合项目进展撰写1篇论文,并完成中期审核。

6.创新点探索(202510-20263月)

1)多光谱图像分析:利用无人机采集的多光谱图像数据,可以判断不同区域的作物长势,生成变量喷洒处方图,实现精准作业,提高作物产量。

2)能耗规划:我们需要一台大型无人机将地面轮式机器人抬上梯田,因此,如何选择最优路径将地面轮式机器人运上梯田并飞回基地尤为重要。

7.研究成果展示(20264-5月)。结合前期文献检索的内容和本研究的数据,撰写报告,最终结合项目进展撰写1-3篇论文、申请专利,并完成结题审核。
组内成员熟悉相关算法,熟练掌握c,c++,python,matlab,java等多种计算机语言,熟练运用ros机器人。已对目前相关研究成果,特别是以四旋翼无人机路径规划、目标检测、空地协同等为主题的文献资料进行了查阅,积累了丰富的资料。

利用与华东理工大学图书馆馆藏书籍以及合作的包括知网、维普等国内外文献和开放数据库来查找与研究主题相关的文献资料。指导老师组内的四台四旋翼无人机可以协助开发,无人机开发平台设备。组内成员尚缺乏软硬件集成的知识。根据组内成员知识的薄弱点进行学习。

经费预算

开支科目 预算经费(元) 主要用途 阶段下达经费计划(元)
前半阶段 后半阶段
预算经费总额 20000.00 完成项目 5000.00 15000.00
1. 业务费 10000.00 完成业务 2500.00 7500.00
(1)计算、分析、测试费 3000.00 完成计算测试分析 1000.00 2000.00
(2)能源动力费 1000.00 电费 250.00 750.00
(3)会议、差旅费 1000.00 因学习和竞赛等需求而产生的交通费、公杂费等 250.00 750.00
(4)文献检索费 3000.00 购买与本项目相关图书、资料费用,按市场均价计算,还包括目标检测的训练集数据集 1000.00 2000.00
(5)论文出版费 2000.00 出版论文 0.00 2000.00
2. 仪器设备购置费 3108.00 购买仪器设备 900.00 2208.00
3. 实验装置试制费 3400.00 进行实验装置试制 1100.00 2300.00
4. 材料费 3492.00 购买材料 500.00 2992.00

项目附件

  • 大学生创新创业训练计划项目申报书-创新训练类1.1(机器人巡检1110)-(刘鑫蕾)-创新-王孟.docx
    下载
结束