研究背景：
柑橘⌒ 果实的检测是柑橘产量映射中最重要也是最具挑战性的步骤之一。对于成熟的柑橘，其果实和叶子之间的颜色差异显著，之前的基于成像的方法可以取得良好的结果。然而，对于未成熟的绿色柑橘果实的检测，其果实和叶子的颜色非常相似，所以这项工作要难得多。
研究目标：
开发出一种结♂合色彩和热成像来检测未成熟绿色柑橘果◥实的方法。
研究方法：
本研究使用实验来确定热成像的最佳条件。我们建立了一个多模态成像平台来整合色彩和热成像相机。我们还开发了一种新的图像配准方法，用于结合色彩和热成像并匹配两〗种图像中的果实，从而达到像素级的准确性。
主要发现：
创建了一种新的颜色-热成像联合概率（CTCP）算法，能够有效地融合来自色彩和热成像的信息，将潜在的图像区域分类为果实和非果实类别。此外，我们还开发了算法，将图像配准、信息融合、果实分类和检测整合为一步，以便实时处理。使用色彩和热成像的融合，使得未成熟绿色柑橘果实的检测率从仅使用色彩图像的78.1%提高到90.4%，同时精度率也从86.6%提高到了95.5%。
2015 年 8 月 7 日白天（夏季▃典型的一天）环境大气（蓝色虚线）、柑橘果实表面（洋红色线）和柑橘叶表面（绿色虚线）的温度变々化。
在一天①中的不同时间获取的同一柑橘树冠层的热图像。
使用成像系统进行水果检测的工作流程。
为训练目的而手动标记的柑橘树冠图像。树冠被分成四个图像，(a)、(b)、(c)、(d)，并用作 Faster R-CNN 的输入。
基于Faster R-CNN检测在彩色图像中提取水果区域，并根据图像配准结果在热图像中提取相应的水果区域。红色框为彩色图像中检测到的水果；蓝色框为图像配准步骤找到的热图像中对应的水果位置；两个白色虚线框是彩色和热图像中提取的水果区域。
使用等式将从热图像中选择的 30 个区域分为水果（红色圆圈）和非水果（蓝色圆圈）类别。(1)。在 30 个区域中，只有两个区↑域被错误分类（用黄色箭头表示）。
黑色数据点和线：The Recall – Precision仅使用彩色图♂像检测结果的精度曲线。红色数据点：使用融合的颜色和热信息时的召回率和准确率。
