本文介绍的研究由郭明月、刘雅晨、李伟夫、陈洪、李善军和陈耀晖共同完成，分别来自华中农业大学信息学院和工学院。该研究于2023年6月发表在《农业机械学报》第54卷第6期上，题为《基于视频跟踪算法的果园猕猴桃产量实时预估》。研究旨在开发一种智能化的猕猴桃产量实时预估工具，以帮助果农合理安排采摘与运输工序，降低作业成本并提高产业利润空间。

学术背景

猕猴桃是我国重要的经济作物之一，其产量预估对农业的健康发展具有重要意义。传统的产量预估方法主要依赖人工统计，费时费力且准确率难以保证。随着深度学习技术在计算机视觉领域的快速发展，基于图像和视频的产量预估方法逐渐成为研究热点。然而，猕猴桃果园面积大、果实目标小且密度高，户外环境复杂，传统的单幅图像检测方法难以满足大区域产量预估的需求。因此，本研究提出了一种基于视频跟踪算法的猕猴桃产量实时预估方法，结合目标检测与跟踪技术，旨在提高产量预估的准确性和效率。

研究流程

本研究的工作流程主要包括以下几个步骤：

1. 数据采集：研究团队在湖北省武汉市华中农业大学园艺标本园的猕猴桃种植区，使用履带小车搭载摄像机以1 m/s的速度进行S形路线拍摄，最终获得时长为63秒、帧率为60.05 f/s的视频数据。

2. 数据集制作：

   • 猕猴桃检测数据集：从视频中每间隔5帧抽取1帧，共获得534幅分辨率为3840×2160像素的彩色图像。使用Labelme图像标注软件对每幅图像中的猕猴桃进行标注，并按8:1:1的比例划分为训练集、测试集和验证集。
   • 猕猴桃跟踪数据集：根据视频的前段、中段和后段，分别划分为“简单”、“正常”和“困难”三种模式，并使用Darklabel软件截取连续600帧视频进行手动标记，用于验证网络计数精度。

3. 视频跟踪算法搭建：

   • 果实检测网络：采用YOLO v7模型进行猕猴桃检测，并结合Soft NMS（柔性非极大值抑制）算法减少检测框的误删。YOLO v7通过引入更多特征融合，能够减小目标特征丢失的情况，具有较高的检测精度与检测速度。
   • 果实跟踪算法：采用DeepSORT算法进行目标跟踪，结合VGG16网络对猕猴桃进行特征提取，并使用卡尔曼滤波器预测目标位置。通过匈牙利算法完成帧间目标的匹配，最终实现猕猴桃的ID计数。

4. 产量估计：通过ID计数方法对猕猴桃进行产量估计，最终获得视频中出现的猕猴桃总数。

主要结果

1. 猕猴桃目标检测结果：改进的YOLO v7模型在猕猴桃检测数据集上表现良好，检测的F1值为90.09%，每秒能够检测25.92帧图像，满足基本的视频实时检测需求。

2. 猕猴桃目标跟踪结果：采用Soft NMS和DeepSORT算法后，跟踪算法的平均准确率为89.87%，每个目标正确匹配的精确率为82.34%，大型视频跟踪速度为20.19 f/s。

3. 猕猴桃产量估计结果：在环境影响较小的条件下，ID计数准确率为97.49%。在简单模式下，ID计数的精度可以达到97.49%，与人工计数接近；在正常模式下，ID计数精度最高可达94.83%；在困难模式中最高精度可达88.63%。

结论

本研究提出了一种基于视频跟踪算法的猕猴桃产量实时预估方法，结合YOLO v7目标检测框架和DeepSORT跟踪算法，实现了高精度的猕猴桃产量估计。实验结果表明，该方法在简单模式下的计数精度高达97.49%，近似于人工统计结果，困难模式下也能保持在88.63%，进一步证明了该算法的可行性和有效性。

研究亮点

1. 高精度的目标检测与跟踪：通过改进的YOLO v7模型和Soft NMS算法，显著提高了猕猴桃的检测精度和速度。结合DeepSORT算法，进一步提升了目标跟踪的准确性和稳定性。
2. 实时产量预估：该方法能够实时估计猕猴桃的产量，为果农提供了高效的产量预估工具，有助于合理安排采摘与运输工序。
3. 复杂环境下的适应性：研究针对猕猴桃果园面积大、果实目标小且密度高、户外环境复杂的特点，提出了结合运动特征与外观特征匹配的跟踪策略，显著提高了复杂环境下的跟踪精度。

研究意义

本研究不仅为猕猴桃果园的智能化管理提供了技术支撑，还为其他作物的产量预估提供了参考。通过结合深度学习技术和视频跟踪算法，本研究展示了智能化农业工具在提高农业生产效率方面的巨大潜力。