单阶段目标检测算法,在激光除草机器人中,如何实现快速识别定位

大核世界 2024-05-25 02:08:40

文|大核有料

编辑|大核有料

农业生产是一个国家经济发展不可缺少的组成部分。传统的农业生产方式往往需要大量的劳动力和资源,同时还会对环境造成一定的污染和破坏,为了满足不断增长的需求,农业生产需要采用更高效、更可持续的方式。

杂草控制是确保作物高产优质的必要措施,消除杂草造成的隐患是全国以及全世界都持续关注的问题。

传统的除草方式主要包括手工除草、机械除草和化学除草,然而这些方法存在着除草效率低下、损伤农作物和对环境造成污染等问题。

因此新型的激光除草方式应运而生,采用高能激光束快速精确地对靶清除杂草,从而大大提高了除草的效率和精度。由于激光除草是一种非接触性的热除草技术。

相比传统的机械除草和化学除草方法,激光除草机器人可以避免对农作物造成损伤和对环境造成污染,同时还可以减少农药的使用量,从而降低农业生产成本,提高农产品的质量和安全性。

激光除草的效果取决于激光照射的杂草部位,当激光照射到杂草的分生组织时才能实现良好的除草效果,基于激光的高能量密度可以将能量聚焦在很小的区域内,从而精准地照射杂草的分生组织,破坏其细胞结构导致杂草死亡。

因此激光除草机器人需要准确地识别和定位杂草的位置,以确保对杂草的分生组织进行精确的照射。

由于单阶段方法的计算量比双阶段方法少,本文基于YOLOv5s提出一种轻量级网络模型,同时结合传统图像处理方法,实现激光除草场景下高精度和实时的杂草分生组织识别及定位。

«——【·相关工作·】——»

YOLOv5网络模型:YOLOv5是一种单阶段目标检测算法,可以直接通过卷积神经网络提取特征,预测目标的分类与定位,相较于双阶段目标检测算法有更快的网络速度。

YOLOv5按体积大小划分了四种模型,本文选用体积最小的YOLOv5s,网络结构由输入端、主干网络、多尺度特征融合网络、输出层四个部分组成。网络结构如图1所示。

多尺度特征融合网络采用特征金字塔网络(featurepyramidnetwork,FPN)+路径聚合网络(pathaggregationnetwork,PAN)的结构。

FPN层自顶向下传递通过上采样方式融合的高层特征信息,传达强语义特征,而包含两个PAN结构的特征金字塔则自底向上传达强定位特征,二者结合从不同的主干层对不同的检测层进行参数聚合。

FPN+PAN如图2所示。

输出层中使用了CIOU_Loss作为损失函数以及非极大值抑制(non-maximumsuppression,NMS),对多尺度特征融合网络输出的三个特征层进行处理,更精准的生成边界框和预测目标类别。

基于超绿特征的自动阈值分割:超绿特征算法是用于提取植物图像中绿色区域的算法,其中包括了杂草分生组织。

该算法基于绿色色调的频率分布,通过选择合适的色调值进行分割并提取出绿色区域,通过使用这种算法,可以快速找到可能存在杂草的区域。

OTSU自适应阈值法用于将图像二值化,使得杂草的边缘更加明显。

该算法通过计算图像的灰度直方图和类间方差来确定最优阈值,使得前景和背景之间的差异最大化。这种方法基于图像的直方图来确定最佳阈值,能够快速、自动地分离杂草与其他区域。

图3(a)为超绿特征提取的二值图像,图3(b)为最终阈值分割结果。

«——【·方法·】——»

轻量化YOLOv5s杂草识别模型:由于内存容量和计算资源有限,在嵌入式设备上部署目标检测算法限制比较多。

为了使目标检测算法能在嵌入式设备上使用,在选用YOLOv5作为杂草检测网络模型的同时,引入轻量级GhostNet网络、坐标注意力(coordinateattention,CA)机制、加权双向特征金字塔BiFPN来进行轻量化处理。

网络结构如图4所示:

GhostNet网络是一种轻量化深度学习网络结构,通过设计轻量化的网络架构来降低模型参数量和计算量,该网络架构由一系列的GhostModule组成,如图5所示。

每个模块由一组1x1、3x3和5x5的卷积核组成,这些模块放置在输入层和深度可分离卷积层之间,使用更少的参数来生成特征提取网络中的冗余特征映射,防止大量卷积运算带来的计算成本。

GhostNet的另一个优点是它的可扩展性,可以根据不同的任务调整深度和宽度,以获得最佳性能。

此外,GhostNet还可以在多种应用程序中使用,如图像分类、目标检测、图像分割等,针对轻量级网络设计的CA注意力机制,如图6所示为其结构图。

CA注意力机制是把位置信息嵌入到通道注意力中去,避免了大量的计算产生,并且将通道注意力分解为两个不同方向的一维特征张量,不仅能捕获到通道信息,还能感知到空间方向和位置信息,帮助网络模型更准确识别和定位目标物体。

BiFPN是一种用于目标检测的双向特征金字塔网络,改进了传统的特征金字塔网络,其核心思想是使用双向残差结构来构建特征金字塔,每个特征提取层都可以提取不同尺度的特征,并将它们连接在一起。

每个层级之间通过残差连接和跳跃连接连接,两者都可以提高特征提取的精度,残差连接可以将当前层的特征与上一层的特征连接起来,从而使模型能够更好地捕捉到整个图像的特征,而跳跃连接则可以将不同尺度的特征结合起来,从而提高模型的准确性。

其网络结构如图7所示:

杂草分生组织定位算法:杂草分生组织定位标记算法是一种利用图像处理技术自动定位杂草分生组织的方法。

在激光除草方式中该算法可以用于指导激光束的聚焦位置,从而实现精确的除草。

整个算法的优势在于结合了多种图像处理技术,可以高效地定位杂草分生组织,可以在实际的激光除草场景中使用,如图8为算法流程图:

通过使用OpenCV中的轮廓检测算法来检测基于超绿特征的自动阈值分割图像中的所有轮廓,并计算轮廓区域的图像矩,这些矩能够捕获到物体的面积、质心、方向以及其他所需的特征,这些特征可以用来进一步筛选出可能的杂草分生组织。

最后使用质心算法来计算每个可能的杂草分生组织的位置,如图9所示,该算法会计算轮廓的质心作为杂草分生组织的位置。

通过这种方式,可以进一步提高定位的精确性。

«——【·实验结果及分析·】——»

在计算机视觉领域,对于目标检测模型的性能评价指标可以包括检测精度、召回率、平均精度、检测速度、模型复杂度等方面。

检测精度是指检测到的所有目标中,正确被分类为目标的比例,通常用精确率(Precision)衡量:

召回率指模型在测试数据集上能够检测出所有目标的比例,通常用召回率(Recall)衡量,即所有检测正确的样本占总目标数的比例:

平均精度(AveragePrecision,AP):是目标检测中常用的性能评价指标,用于衡量模型在不同置信度阈值下的检测精度:

实验中使用平均精度均值(meanaverageprecision,mAP)来评估目标检测模型的性能。

mAP@0.5表示在IoU阈值为0.5时,对所有类别的平均精度进行计算,mAP@.5:.95表示在IoU阈值在0.5到0.95之间,以0.05为步长分别计算各个类别的mAP,然后取平均值。

在目标检测中mAP@0.5是最常用的指标,因为它可以提供与实际应用场景最接近的精度评估。

但是在应用激光除草方式情况下,需要更加关注预测框位置的准确性时,可以使用mAP@.5:.95来更全面地评估模型的性能。

检测速度指模型对输入图像进行目标检测的时间。通常使用帧率(framespersecond,FPS)来衡量模型的检测速度。

模型复杂度指模型在磁盘上占用的空间大小,通常使用模型大小或模型参数量来衡量模型的大小,对于移动设备等资源有限的场景尤为重要。

实验结果及分析:为了验证算法的检测性能,将改进后的方法与深度学习FasterRCNN、YOLOv4-tiny等主流目标检测算法在精确率、召回率、平均精度、检测速度和模型大小方面进行了比较。

结果如表1所示。

改进算法在YOLOv5s算法基础上进行轻量化,并且表现出明显的综合性能优势,P达到96.1%,比FasterRCNN高4.6%,比YOLOv4-tiny提高了9.5%。

R和mAP的表现与FasterRCNN相当,都高于YOLOv4-tiny的表现。

在FPS和模型大小方面,虽然改进算法的FPS相较于YOLOv4-tiny降低了43%,但是也达到了37.2,具备田间作业的实时性,并且比FasterRCNN提高了91%。

同时改进算法的模型大小只有8.08MB,远小于FasterRCNN的108MB和YOLOv4-tiny的22.5MB。

这表明改进算法能够在保持精度的同时,在帧率和模型大小方面也有不错的表现,实现更轻量化的目标检测速度。

为了验证改进的YOLOv5s网络模型在杂草检测中的有效性,对各个模块进行了比较和测试,消融实验结果如表2所示。

可以看出,在YOLOv5s基础上使用Ghostnet操作可以提高检测精度和速度,其mAP@0.5和mAP@.5:.95分别提高到了98.6%和89.7%,参数量明显缩减了47%。

使用CA模块可以进一步提高P和mAP@.5:.95的精度,但是在参数量方面与原始YOLOv5s相比增加了14%。

BiFPN模块的加入对R提升明显,可以更全面的识别杂草,减少漏检情况的发生。Ghostnet和CA模块的结合能够提高P和mAP@.5:.95,同时参数量也大幅下降。

最终改进算法综合了Ghostnet、CA注意力机制和BiFPN模块,与原始YOLOv5s相比,在P、R、mAP@0.5、mAP@.5:.95的指标上得到了显著提高,分别达到了96.1、97.6、98.4和90。

同时,参数量得到了有效地减小。因此改进算法在精度和轻量化上都有很好的表现,是一种比较有效的杂草检测算法。

检测结果分析:为了体现本文算法的有效性,从测试集中选取一些图像进行检测。检测效果如图10所示。

经过对比,在原YOLOv5s算法检测中对一些杂草的识别置信度低于改进后的YOLOv5s算法,使用本文改进的YOLOv5算法检测,能够提高检测精度,并且没有出现误检。

检测效果表明,本文提出的模型能够实现对复杂田间场景下杂草的有效检测。

为了体现本文算法针对激光除草方式的靶向性,选取了一些杂草图像进行检测。检测效果如图11所示。

本文算法能够准确地识别杂草的位置,并计算出其分生组织的位置,这为后续激光对靶清除杂草提供了准确的靶向坐标,从而提高了激光除草的效率和准确性。

«——【·结语·】——»

结合深度学习和传统图像处理方法,提出一种基于改进YOLOv5s和图像处理的轻量化杂草识别与定位算法,实现基于激光除草方式的杂草分生组织快速识别和定位。

在原YOLOv5s算法基础上压缩模型大小并且增强算法特征提取能力和识别定位精度,减少了约43%参数量的同时,精确率、召回率、mAP@0.5、mAP@.5:.95分别提高1%、0.7%、0.2%、2.7%。

采用ExG超绿特征结合OTSU阈值分割算法分离识别结果中的杂草前景,通过轮廓检测和质心计算精确定位杂草质心点作为分生组织坐标,完成杂草识别和定位任务,可为激光除草提供准确的靶向目标。

0 阅读:1
大核世界

大核世界

感谢大家的关注