本文介绍的是广西师范大学计算机科学与工程学院硕士研究生刘晓宇的硕士学位论文，题为《树上果实识别与跟踪计数技术研究》。该论文于2023年6月完成，指导教师为陆声链教授。论文主要围绕果园智能化管理中的果实识别与计数技术展开研究，旨在通过深度学习技术提高果实识别的准确性和鲁棒性，并为果园产量预估提供技术支持。

研究背景与意义

随着深度学习技术的快速发展，智能化果园管理已成为农业现代化研究的热点。通过实现果园的智能化管理，不仅可以提高果实的品质和增加收益，还能够节约大量的劳动成本，满足消费者对高品质水果的需求。在实现果园作业智能化方面，实时识别果树上的果实是至关重要的技术之一，对果园的智能化产量预估具有重要意义。然而，果园中的果实受到多种因素的影响，如光照、天气和遮挡等，加之果实自身重叠和部分遮挡等情况，对果实的识别和产量预估带来了挑战。本文围绕产量预估的现实需求，研究果园环境下树上果实的实时识别与跟踪技术，以提高算法在面对目标小、遮挡严重和光照影响大等实际问题时的鲁棒性和实用性，为农业生产中的智能化产量预估提供更好的技术支持。

主要研究内容

论文的主要工作分为两部分：

1. 基于单张图像的树上果实识别与计数
   针对果园环境中果实被遮挡严重和光照影响等实际问题，本文提出了一种基于Swin Transformer和YOLOv5模型的目标检测算法，称为Swin-Transformer-YOLO。该算法通过以下措施进行改进：
   • 结合Transformer的特性，提出一种新颖的Swin-Transformer-YOLO组合网络架构，有效检测树上果实。
   • 通过双向加权特征金字塔网络（BiFPN）进行特征融合，利用低层和高层特征的上下文信息，快速且有效地融合不同尺度特征。
   • 在每层特征输出层前，增加坐标注意力模块来增强果实的定位和识别。
   • 使用Varifocal Loss对困难样本进行计算损失和收敛，优化分类损失函数，以便检测复杂背景下的困难样本。

实验结果表明，该算法在葡萄、柑橘和苹果等包含两种生长阶段、三种光照和两类天气条件的自建图像数据集上，识别精度（AP50）介于90.47%~98.4%之间，大多数情况下能达到95%以上，单张图像的检测速度为14.2毫秒，表现出了较好的准确性和处理速度。

1. 基于视频序列的树上果实计数
   针对单张图像计数方法的不足，本文采用了一种基于ByteTrack目标跟踪算法的树上果实计数方法。在算法处理视频序列前，使用去抖动算法对视频序列进行稳定处理，以提高模型的识别和跟踪效果。对于视频序列中葡萄果实的位置分布情况，本文提出了一种特定区域跟踪计数方案，通过对特定计数区域内的果实进行跟踪和计数，有效减少了算法的计算量。在检测跟踪阶段，使用Swin-Transformer-YOLO算法对视频序列的每一帧图像进行果实的识别，并记录下每个果实在每帧图像中的坐标运动信息，输出给ByteTrack算法进行数据关联。通过Byte数据关联，有效使用高置信度检测框和低置信度检测框，挖掘出被遮挡的果实，有效减少遮挡造成的重复计数问题。

实验结果表明，ByteTrack算法在采集的葡萄视频序列上的平均计数误差为9.2%。在成熟摘叶后的Merlot果树上进行的计数实验表明，ByteTrack算法表现优于其他跟踪算法，证明该算法具有实际应用价值。

结论与展望

本文提出的Swin-Transformer-YOLO算法和ByteTrack跟踪算法在果园环境下对树上果实的检测和计数表现出极高的准确性和速度。该研究为果园智能化管理提供了技术支持，具有广泛的生产应用前景。未来，可以进一步优化算法，提高其在复杂环境下的鲁棒性，并将其应用于更多的果树种类和实际果园场景中。

研究亮点

1. 新颖的算法架构：结合Swin Transformer和YOLOv5模型，提出了一种新的目标检测算法Swin-Transformer-YOLO，有效解决了果实被遮挡和光照影响的问题。
2. 高效的跟踪算法：采用ByteTrack目标跟踪算法，结合去抖动算法和特定区域跟踪计数方案，显著提高了果实计数的准确性和效率。
3. 广泛的应用前景：该研究为果园智能化管理提供了技术支持，具有广泛的生产应用前景，特别是在产量预估和自动化采摘等领域。

总结

本文通过深度学习技术，提出了一种新的果实识别与计数方法，显著提高了果园智能化管理的效率和准确性。该研究不仅具有重要的科学价值，还为农业生产中的智能化管理提供了实际应用价值。