我国拥有丰富的海洋资源和广阔的内陆水域，作为全球最大的渔业生产国，为国内消费者提供了丰富、优质的水产品并大量出口国外。然而，由于长期过度捕捞、渔业管理不力以及海洋近岸环境污染等原因，海洋渔业资源面临严重衰退^[1-2]。当前我国海水水产品的供应主要以海水养殖为主^[3]，在海上养殖场的选择上，根据离岸远近主要分为近海养殖和深远海养殖两种方式^[4]。近海养殖由于养殖空间受限、水体交换不畅，容易造成海域环境污染，其可持续性发展受到限制^[5]；而深远海养殖水质优良、养殖空间大、病害发生率低，近年来得到快速发展，已成为我国水产养殖绿色发展的重要方向。在深远海养殖过程中，实时获取深海网箱养殖的鱼群动态数据并进行监测，对于提高养殖效率、提升鱼类品质和降低成本具有重要意义。然而，在大规模鱼群情景下，人工监测存在难以长时间持续、监测效果受限及效率不佳等问题。随着科学技术的不断发展，自动化和智能化的鱼群监测方法备受关注^[6-9]。当前，主流的鱼群监测方法包括基于声学技术和基于视觉技术的监测方法。

基于声学技术的鱼群监测方法具有覆盖范围广、不损伤调查对象等优点^[10-11]。有学者提出了利用不同声呐设备进行监测和管理的方法^[12-14]，并取得了一些成果，但目前常用的渔业声学调查装备均为国外产品，价格昂贵，数据处理过程较复杂，且易受水下其他移动物体干扰，因而在实际环境下，鱼群监测的准确性仍有待提高。视觉方法则能通过图像分析技术给出更直观的鱼群监测结果^[15]。视觉识别技术通过相机收集鱼类的图像信息，并通过计算机进行语义分析和决策，从而获取深海网箱养殖的鱼群动态数据并进行监测。李少波等^[16]开发了一套远程水下鱼类实时识别系统；黄平^[17]利用视觉识别技术，实现对水下鱼类行为的自动监测，精准化控制饵料喂养量；Lai等^[18]实现了对水下鱼类的多目标跟踪。然而，由于水下成像环境特殊，水下图像经常受到各种问题的困扰，例如噪声干扰、光线衰减、水下散射、模糊的纹理特征、低对比度和颜色失真等，限制了其在深海环境中的应用。相比于水下相机，水面相机可避免污损生物附着，视野更大、清晰度更高。研究者通过从水面拍摄的图像中提取的鱼群活动信息，实现了鱼群监测^[19-22]，但在夜间光线衰减时，普通相机在水面无法拍摄到清晰的鱼群活动数据。

鉴于此，本研究以深海网箱和养殖平台为载体，以水面红外摄像头为核心传感器，针对深海网箱鱼群监测的视觉感知问题开展研究，通过改进Faster RCNN模型、椭圆拟合等关键技术实现对水面红外图像中深海网箱鱼群的自动监测，达成深海网箱养殖过程的无人或少人监测，提高监测的准确性和稳定性，为精准投料、高效安全养殖提供数据支撑。

1.   数据采集及标注

水面红外图像能够提供网箱内鱼群的实时动态信息，包括鱼群的分布、密度、游动方向等。此外，由于红外图像对光照和颜色的鲁棒性，使得在夜间等光线较弱环境下的鱼群监测均有良好的效果。因此，本研究使用安装在“德海1号”网箱^[22]上的红外监控摄像头 (图1)，连续拍摄并记录鱼类夜间活动的图像数据。该摄像头为海康威视品牌的枪式摄像机，型号为DS-2CD6626B-IZHRS，具有200万像素分辨率，镜头的焦距选择范围介于2.8~12.0或8.0~32.0 mm，拍摄范围最远达150 m。进一步选用标注工具Labelme对所收集的水面鱼类图像开展目标检测标注，共标注400张图像，鱼类个体数量2 830个。考虑到准确性，对人工难以识别、不太清晰的鱼未做标注，标注效果如图2所示。网箱内养殖的鱼类平均体质量为7.5 kg，养殖密度约15 kg·m⁻³。

图  1  “德海 1 号”网箱

Fig. 1  "Dehai No.1" sea cage

下载: 全尺寸图片 幻灯片

图  2  标注图

Fig. 2  Labeled figure

下载: 全尺寸图片 幻灯片

2.   鱼群自动监测方法

本研究中提出的鱼群自动监测方法，由鱼群识别与计数、鱼体分割和鱼体游向判断3个功能模块组成。首先，通过红外相机采集鱼类图像，并利用改进的 Faster RCNN 模型经过特征提取和目标检测，实现鱼群的识别和计数，同时进行图片剪切，输出包围框表征鱼类个体位置。其次，从框图内选择亮度前20%的像素点作为分割提示点，利用Segment Anything Model对图像进行分割，生成鱼体分割图。最后，对鱼体分割图进行椭圆拟合处理，通过拟合的椭圆曲线可以判定鱼类的游向信息。鱼群自动监测流程如图3所示。

图  3  鱼群自动监测流程

Fig. 3  Automatic fish school monitoring process

下载: 全尺寸图片 幻灯片

2.1   鱼类目标检测模型

水面红外图像具有起伏波浪产生高亮响应以及容易和鱼类混淆的特点。考虑到上述特点， 本研究在目标检测网络上采用Faster RCNN模型^[23]，该模型属于两阶段检测器，与一阶段检测器相比准确率更高^[24-27]。进一步利用FPN (Feature Pyramid Network)^[28]来增强Faster RCNN，使其获得图像不同尺度的特征，更好地区分水波高亮点和鱼类个体。

FPN包括自底向上的过程和自顶向下、横向连接的过程。自底向上的过程完成特征提取，输出不同尺度的特征图。自顶向下的过程是通过将更抽象、语义更强的高层特征图进行2倍的上采样，并与自底向上生成的相同大小的特征图进行横向连接融合。Faster RCNN的骨干网络采用Mobilenetv2^[29]，它由一系列的小尺寸卷积核组成，具有深度可分离卷积，可有效减少模型的参数量和计算量^[30]。在Mobilenetv2中去除网络最后的平均池化层和全连接层，留下其前19层深度可分离卷积层，将第4、第7、第14和第19层，即图中的C2—C5作为FPN的输入特征层，分别对应于Mobilenetv2的不同深度。C5层经过1×1卷积得到M5，M5进行2倍上采样后与C4层经过1×1卷积后的特征进行融合，得到P4特征层；依次类推，得到P3和P2层。最终得到的P2、P3、P4和P5特征图分别用来预测不同尺度的目标。改进的 Faster RCNN 模型以Mobilenetv2+FPN作为特征提取网络 (图4)。

图  4  改进后的特征提取网络

Fig. 4  Improved feature extraction network

下载: 全尺寸图片 幻灯片

Faster RCNN算法框架如图5所示。首先，选择需要处理的图片，使用transforms.ToTensor ()函数将图片数据转换为PyTorch张量，再应用随机水平翻转，指定翻转概率为50%；其次，将处理过的图片送入预训练的特征网络中，使用Mobilenetv2+FPN网络为模型的特征提取网络，融合多尺度特征。接着，在构建的特征层上面分别进行RPN (Region Proposal Network) 操作；将获得的proposals以及feature maps输入到ROI池化层 (ROI pooling layer)进行池化操作，固定大小为7×7；最后，在上一步的基础上连接两个全连接层，进行分类和边框回归。

图  5  Faster RCNN网络模型结构

Fig. 5  Faster RCNN network model structure

下载: 全尺寸图片 幻灯片

2.2   鱼群识别与计数功能模块

通过目标检测模块，即可实现鱼群识别和计数功能。例如，给定一张水面红外图像样本，图片大小为1920×1080像素，该照片中有若干条鱼。经过改进的Faster RCNN模型处理后，每个鱼类目标都会被一个绿色矩形框标识，这个矩形框代表了该鱼类目标在图像中的位置，而其总数则代表了当前图像中鱼类目标的数量。此外，这些框中还附有分类标签和置信度。

2.3   鱼体分割功能模块

Segment Anything Model (SAM) 是Meta发布的新模型，用于计算机视觉中的图像分割任务^[31]。SAM的目标是实现零样本分割一切，为 CV (Computer vision) 基础模型提供广泛支持和深度研究。该模型可以根据提示词进行图像分割，包括交互式点和框的提示。SAM 的功能涵盖了广泛的用例和零样本迁移，可以自动分割图像中的所有内容。此外，SAM 引入了图像注释数据集Segment Anything 1-Billion (SA-1B)，这是历史上规模最大的分割数据集，包含超过11亿个高质量和多样性的分割掩码。

SAM需要输入分割提示点，才能对目标进行分割，得到鱼体分割图。为获取有效的提示点，本文采用以下步骤：考虑到属于鱼体的点偏亮，在对应的鱼类目标子框图内部找到亮度最高的前20%像素点，并从中随机选择10个点作为分割提示点，以帮助SAM更精确地进行分割处理。以该鱼类目标子框图为例，从该框图亮度最高的前20%的像素点中随机选择10个点如下：(102, 25)、(126, 28)、(92, 14)、(98, 24)、(104, 33)、(79, 19)、(129, 27)、(43, 17)、(73, 8)、(67, 18)。接下来，将包含这些分割提示点以及对应的鱼类个体目标子框图输入到SAM中进行处理，从而得到对应的鱼体分割图(图6)。

图  6  分割结果图

注：绿色五角星为分割提示点在子框图中的坐标位置。

Fig. 6  Segmentation result diagram

Note: The green pentagrams represent the coordinate positions of segmentation prompt points in the sub-frame diagram.

下载: 全尺寸图片 幻灯片

2.4   鱼体游向判断功能模块

椭圆拟合技术是指通过计算和图像处理方法，根据一组散点数据拟合出一个最佳椭圆。在实际应用中，椭圆拟合技术通常用于识别和定位具有椭圆形状的目标^[32-33]，例如应用于图像视觉测量、生物医学图像分析和计算机视觉等领域。椭圆拟合算法的基本原理是寻找一个可以在给定误差范围内覆盖所有数据点的椭圆。本研究利用OpenCV库中定义的cv2.fitEllipse函数，根据给定的像素点在鱼类目标子框图内对鱼体姿态进行椭圆拟合。

该模块的核心任务是分析和预测鱼群中每条鱼的游动方向。首先，创建一个与图像大小相同的全零矩阵，用于记录像素点在上述分割过程中被蓝色遮罩覆盖的次数。例如，图7-b的宽度为144，高度为49，则需要创建一个49×144的全零矩阵。接着，循环遍历输入坐标点和对应的标签，并对每个点进行预测 (被蓝色遮罩覆盖的像素点设置为1表示正样本，未被覆盖的像素点设置为0表示负样本)，累计每个像素点被遮罩覆盖的次数。通过分析和实验，发现覆盖次数不小于5的像素点为在多次遮罩的覆盖下被认定为目标区域的像素点，图7-e为覆盖次数不小于5的像素点映射回框图的图像效果。通过选择这些覆盖次数较多的像素点进行椭圆拟合，可以更好地捕捉到目标鱼体的形状和轮廓特征。最后，将被蓝色遮罩覆盖次数不小于5的像素点，用cv2.fitEllipse函数进行拟合椭圆，并在鱼类个体目标子框图上绘制出拟合椭圆，完成的鱼体检测-分割-游向判断流程如图7所示。

图  7  鱼体游向判断过程图

Fig. 7  Image of fish swimming towards judgement process

下载: 全尺寸图片 幻灯片

通过拟合椭圆的主轴方向，可以推测出鱼的大致游向。在对每个框图的分割结果图进行椭圆拟合操作后，通过拟合结果图可以获得椭圆的短轴相对于框图参考坐标系x轴的旋转角度。在图像的参考坐标系中，将x轴表示为水平方向 (从左到右)，y轴表示为垂直方向 (从上到下)。椭圆的角度是以图像的x轴为基准进行度量的，角度从0° 开始，逆时针旋转。取值范围介于0°~180°。需要注意的是，本研究仅确定了鱼可能的游动轴，并不能提供沿轴向前或向后游动，基于本文的游动轴，通过进一步对视频中连续帧图像的鱼类个体进行跟踪即可确定，该方法不在本文讨论范围。

3.   实验

3.1   实验设置和指标评估方法

本研究构建了一个400张图像的数据集，为了实现后续模型训练的公正性和有效性，编写了相应的程序，采取随机无重复抽样的方式对数据集进行划分，分别为225张图像的训练集、75张图像的验证集以及100张图像的测试集。这种划分方式使得训练集与验证集，训练验证集与测试集的比例均保持在3∶1。实验训练和测试的平台环境如表1所示。训练过程中使用的图像分辨率为1920×1080像素，学习率为0.005，批量训练大小为1，为防止模型过拟合，设置了0.000 1的权重衰减，训练次数为100次。

表  1  实验工作平台环境

Table  1  Experimental platform environment

名称 Name	版本及规格参数 Version and specifications
操作系统 Operating system	Windows 11
显存 GPU	NVIDIA GeForce RTX 3060 Ti
中央处理器 CPU	Intel Core i5-12400F六核
内存 Internal storage	32 G
编程语言 Programming language	Python 3.8
网络开发框架 Framework for network development	Pytorch 1.10
统一设备架构 CUDA (Compute unified device architecture)	11.3
深度神经网络库 cuDNN (NVIDIA CUDA deep neural network library)	8.2

下载: 导出CSV 

| 显示表格

为衡量改进的Faster RCNN模型和椭圆拟合等关键技术在鱼群识别、分割和游向预测的性能，本研究讨论了如何通过6个主要的指标来评估网络模型的效果^[31-32]：置信度、损失函数值、学习率、召回率、交并比以及平均精确率。

3.2   实验过程

利用本研究中自建的水面红外图像数据集中的训练集对改进Faster RCNN 模型进行训练，训练次数为100次，并使用测试集进行评估，在训练过程中，观察了模型的平均精确率、损失函数值和学习率等变化趋势。从图8可以看出，经过100次训练，模型的平均精度均值已较为稳定，损失函数值和学习率均呈下降趋势，并最终趋于稳定，选择保存该模型。

图  8  改进的Faster RCNN训练时模型的变化情况

Fig. 8  Changes in model during improved Faster RCNN training

下载: 全尺寸图片 幻灯片

3.3   结果展示

本研究评估了3种流行特征提取网络：Mobilenetv2、VGG16以及Resnet50，并结合特征金字塔网络 (FPN) 对模型性能的影响进行了详细的对比实验。从结果来看，Mobilenetv2+FPN表现出显著优势，平均精确率为84.5%，平均召回率为60.8%，接近于VGG16+FPN在AP和AR上的表现，而其检测速度仅为0.042 s，远快于VGG16+FPN的0.077 s，显示出较高的运行效率。此外，由于Mobilenetv2的轻量级结构，Mobilenetv2+FPN对处理器要求低，部署成本低，特别是在计算资源受限的设备上，如需要轻量化部署的深海监测设备等应用场合，该模型尤为适用。因此，在保持较高的准确性同时，该网络还兼顾了检测速度和对资源的低需求，是现有实验条件下的最优选择。表2展示了不同特征提取网络的具体对比情况，其中AP值选取的IoU阈值为0.5。

表  2  不同的特征提取网络对比

Table  2  Comparison of different feature extraction networks

特征提取网络 Feature extraction network	平均 精确率 Average precision (AP)/%	平均 召回率 Average recall (AR)/%	每张图片 检测时间 Detection time per image/s
Mobilenetv2	70.0	44.5	0.039
Mobilenetv2+FPN	84.5	60.8	0.042
VGG16	84.9	61.0	0.074
VGG16+FPN	86.0	64.4	0.077
Resnet50	83.1	59.5	0.044
Resnet50+FPN	83.5	60.0	0.062

下载: 导出CSV 

| 显示表格

利用训练好的模型进行推理预测。图9-a为原始图像，图9-b为使用改进的Faster RCNN 模型得出的预测结果图。图10展示了对应的鱼体分割及游向判断结果。结果表明，在水面红外图像的鱼类数据集上，所提出的改进Faster RCNN模型和椭圆拟合等关键技术能够实现对鱼群的自动监测。

图  9  改进Faster RCNN模型的预测结果图

Fig. 9  Prediction results of improved Faster RCNN model

下载: 全尺寸图片 幻灯片

图  10  预测结果

注：只展示了预测结果中置信度大于95.0%的框图。

Fig. 10  Predicted results

Note: Only the block diagram with a confidence degree greater than 95.0% in the predicted result is shown.

下载: 全尺寸图片 幻灯片

4.   小结

本研究利用自建的水面红外图像鱼类数据集，通过改进的 Faster RCNN 模型和椭圆拟合等关键技术的综合应用，获取了深海网箱养殖过程中鱼群的活动数据，为鱼群的自动监测提供了有效的技术手段。对比传统方法和已有研究，本研究提出的方法在鱼群自动监测方面具有一定的优势和创新性。主要体现在以下3点：1) 相比于水下相机，水面相机可避免污损生物附着，视野更大、清晰度更高；2) 功能多样，能够从原始的水面红外图像中获取丰富的鱼类信息。已有的鱼群自动监测方法^[16-17,20]功能较为单一，而本研究通过鱼群识别与计数、鱼体分割和鱼体游向判断这3个功能模块的协同工作，从原始的水面红外图像中获取鱼群的数量、位置、形状和游动方向等信息，为深海网箱养殖提供了重要的数据支持；3) 改进的Faster RCNN模型采用Mobilenetv2+FPN作为特征提取网络，AP值从原始的70.0%提升到84.5%，提高了14.5%，在实现高精确率的同时，保持较快的检测速度，减少了计算资源需求。此外，改进的 Faster RCNN 模型对处理器要求低，部署成本低，在鱼群自动监测应用上，特别是对于有资源限制的设备，具备显著的实用价值和可行性。

然而，本研究提出的基于水面红外图像的深海网箱鱼群智能监测方法也存在一定的局限性，如在极端光照、遮挡、密集情况下的鱼类目标精确监测，这有待在后续研究中改进。未来的研究将重在提升模型的鲁棒性、效率以及开发适用于视频流的实时鱼类跟踪方法，以应对更复杂的应用场景和需求。