Research on fish recognition based on multi-stage feature extraction learning
-
摘要:
鱼类自动识别在海洋生态学、水产养殖等领域应用广泛。受光照变化、目标相似、遮挡及类别分布不均衡等因素影响，鱼类精准自动识别极具挑战性。提出了一种基于多阶段特征提取网络 (Multi-stage Feature Extraction Network, MF-Net) 模型进行鱼类识别。该模型首先对图片作弱增强预处理，以提高模型的计算效率；然后采用多阶段卷积特征提取策略，提升模型对鱼类细粒度特征的提取能力；最后通过标签平滑损失计算以缓解数据的不平衡性。为验证模型的性能，构建了一个500类、含32 768张图片的鱼类数据集，所建模型在该数据集上的准确率达到86.8%，优于现有的主流目标识别方法。利用公开的蝴蝶数据集对该模型进行泛化性能验证，多组消融实验进一步验证了所提算法的有效性。
Abstract:Automatic fish recognition is widely used in the fields of marine ecology and aquaculture. Due to factors such as fluctuating illumination, overlapping instances and occlusion, accurate automatic identification of fish is extremely challenging. In order to solve these problems, this paper introduces an innovative Multi-stage Feature Extraction Network (MF-Net) model, which is predicated upon a multi-stage feature extraction paradigm for the domain of automatic fish recognition. The architecture of MF-Net commences with a subtle image enhancement preprocessing step, judiciously designed to augment the computational efficiency of the model. Then the deployment of a multi-stage convolutional feature extraction strategy is applied to improve the model's sensitivity towards the granular features of fish species. In an effort to mitigate issues arising from data imbalance, the model incorporates a long-tail loss computation strategy. To evaluate the efficacy of the proposed MF-Net, the study collects a comprehensive fish dataset encompassing 500 categories including 32 768 images. The proposed MF-Net demonstrated a remarkable accuracy of 86.8% on this dataset, thereby outperforming the recognition performance of the existing state-of-the-art target recognition algorithms. Furthermore, the model is tested on a publicly butterfly dataset to verify its generalization performance, and multiple ablation experiments further validate the effectiveness of the proposed algorithm.
-
金枪鱼和金枪鱼类是世界海洋渔业中的重要经济捕捞对象，全球捕捞产量从1950年的不到6×105 t持续增加至2019的6×106 t以上[1]。中西太平洋 (WCPO) 是全球金枪鱼捕捞产量最高的海区，捕捞产量超过4×106 t，主要受中西太平洋渔业委员会 (WCPFC) 等区域性渔业管理组织管辖。其中黄鳍金枪鱼 (Thunnus albacares) 是金枪鱼类中产量仅次于鲣 (Katsuwonus pelamis) 的目标种类，2019年全球捕捞产量约为1.5×106 t，中西太平洋海域的黄鳍金枪鱼渔获量 (6.9×105 t) 占整个太平洋黄鳍金枪鱼产量 (9.2×105 t) 的75%[2]。
黄鳍金枪鱼游动速度快、活动能力强、洄游距离长，主要分布在热带和亚热带的表层水域[3]，以中上层的鱼类、头足类、甲壳类等为捕食对象。金枪鱼类属于食物网顶级捕食者，但由于温跃层深度的不同，金枪鱼有垂直摄食行为的差异[4]。中西太平洋是一个高度动态的海洋区域，混合层深度、温跃层深度、氧气以及营养物变化很大[5]，这些环境因子的变化在很大程度上决定了金枪鱼物种的分布，并对其摄食产生影响[6]。目前，国内外学者对中西太平洋黄鳍金枪鱼的生物学信息，如生长[7]、性腺成熟度[8]、产卵繁殖[9]、营养位置[3]等方面有着广泛研究。然而调查海域多集中于资源丰度较高的东太平洋南部水域，对中西太平洋热带海域黄鳍金枪鱼摄食生物学特性关注较少。
全球气候变化加剧了海洋理化环境和生态系统的系列变化，改变了海洋重要种群的丰度和分布，对全球海洋渔业产生了深远影响[10-11]，对热带海域，尤其对南太平洋海域渔业的影响最为明显[12-14]。此外，相关区域性渔业管理组织 (RFMO) 的金枪鱼渔业管理措施日益趋紧，引起渔场分布变动[15-17]。了解热带中西太平洋黄鳍金枪鱼等海洋关键物种的生物学动态，对进一步掌握其种群分布并应对海洋环境变化的影响等具有重要参考价值。鉴于此，本文以2018年6月—2019年2月于热带中西太平洋公海漂流延绳钓所采集的黄鳍金枪鱼为研究对象，分析其摄食生物学相关信息及其与月相、水深等时空因素的关系，旨在为今后进一步开展黄鳍金枪鱼的生物学、种群结构和资源评估研究提供参考，为其资源养护和管理提供科学依据。
1. 材料与方法
1.1 样品采集
此次调查时间为2018 年6月—2019 年 2月，海上调查船为上海蒂尔远洋渔业有限公司的“沪渔 927”超低温金枪鱼延绳钓渔船，漂流延绳钓渔具主要由浮标、浮标绳、干线、支线以及其他辅助设备组成。浮标绳长度35.0 m，两个浮标间的干线长度1 200 m，干线间隔40 m钩挂支线 (两浮标间共29条支线)，支线长25.0 m。使用鲭 (Pneumatophorus japonicas)和沙丁鱼作为诱饵，调查范围为热带中西太平洋公海海域 (163°14'E—173°35'E，2°03'S—11°17'S，图1)。调查中，开展了为期267 d的连续采样，每日投钩数量为 (2 684±290) 钩，投钩时间一般为每日4—10时，起钩时间一般为每日12时—翌日3时。对调查船捕获的黄鳍金枪鱼全部取样，记录捕获时间、浮标号及钩位、渔获上甲板时的活跃状态，并进行基础生物学测量；对取样个体测量叉长，并按10 cm进行体长分组。
通过目视对取样黄鳍金枪鱼的胃饱满度进行观察，并判定其摄食等级。对所有取样个体的胃含物进行拍照固定，并由取样人员通过目视进行胃含物种类鉴定、分类并计数，同时由另一名研究人员在实验室内通过照片分析对胃含物进行再次鉴定、分类并计数，对两次鉴定中不一致的部分予以舍弃。
调查船每天作业时，在一段干线的29条支线中，分别在第1 (最浅)、第5、第11和第15 (最深)支线的钓钩位置各钩挂温深仪 (DST centi-TD)，对钓钩作业的深度和水温进行实测。基于悬链线理论、结合4个钓钩的实测水深估算其他各支线及钓钩的作业深度。由于钓钩深度随时间发生变化，本研究中采用钓钩整个浸泡时间内的平均水深作为渔获水深。
1.2 摄食生物学指标及分析
1.2.1 摄食强度
根据《海洋调查规范》(GB/T 12763.6—2007)，采用5级制对取样个体的摄食强度进行分类。为探索黄鳍金枪鱼摄食强度与水深、月份和月相等时空因素的关系，由于摄食强度为有序分类变量，实验研究中主流的观点认为可将其看为连续变量处理[18-19]，对于摄食强度也可利用平均摄食强度[20]描述不同时空下的摄食强度。
1.2.2 生态位宽度
用于评价饵料重要性的指标为个数百分比N (%)、出现频次F (%)[21]，公式分别为：
$$ N=\frac{{B}_{i}}{A}\times 100{\text{%}} $$ (1) $$ F=\frac{{C}_{i}}{D}\times 100{\text{%}} $$ (2) 式中：
$ {B}_{i} $ 为某种饵料生物的个数；$ A $ 为所有饵料生物的个数；$ {C}_{i} $ 某种饵料生物出现的频次；$ D $ 为所有食物的胃的个数。Shannon-Wiener多样性指数 (H ') 和Pielou均匀度指数 (J ') 能较好地反映优势胃含物和其他胃含物的丰度相差悬殊的食物组成，同时H '对于稀有胃含物很敏感，因此使用这2个指标反映黄鳍金枪鱼胃含物组成的多样性和均匀度[22]，胃含物种类组成的多样性H '和均匀度J '计算分别为：
$$ {H}{\text{'}}=-\sum\nolimits_{i=1}^{s}{p}_{i}\times \ln{p}_{i} $$ (3) $$ J={H}{\text{'}}/\ln S $$ (4) 式中：S为胃含物生物种数；pi为第i种在胃含物中所占的个数百分比。
1.2.3 摄食生物学与时空因子的关系
使用广义线性混合模型 (GLMM) 探索黄鳍金枪鱼摄食生物学与时空因子之间的关系。GLMM中，将摄食强度等级视为连续变量，并在模型中作为响应变量，将农历日期作为时间因素探索月相对摄食强度的影响，由于月相具有循环变化特性，采用圆形统计的方法对其进行量化[23]；作业水深作为空间因素，样本个体叉长及性别作为生物因素，农历月份作为随机影响，建立模型[24]：
$$ F={\gamma }_{0}+{\gamma }_{1} \cdot {\rm{FL}}+{\gamma }_{2} \cdot S+{\gamma }_{3} \cdot \cos\left(\omega t\right)+{\gamma }_{4} \cdot \sin\left(\omega t\right)+{\gamma }_{5} \cdot D+\varepsilon $$ (5) 式中：F表示取样个体的摄食等级；FL表示个体叉长 (cm)；S表示性别；D表示水深；
$ {\gamma }_{0} $ 表示模型截距，$ {\gamma }_{1} $ 、$ {\gamma }_{2} $ 和$ {\gamma }_{5} $ 分别表示叉长、性别和水深固定影响效应；$ \varepsilon $ 表示误差项；$ {\gamma }_{3} \cdot \cos\left(\omega t\right)+ {\gamma }_{4} \cdot \sin\left(\omega t\right) $ 表示月相对响应变量的影响，其中$ {\gamma }_{3} $ 和$ {\gamma }_{4} $ 表示月相的影响，t表示农历日期 (月相)，ω表示角频率：$$ \omega =\frac{2\pi }{T} $$ (6) 式中：T表示月相的周期。
使用R语言中“lme4”包的glmer函数实现GLMM模型的拟合，使用“MASS”包中的coef函数获得回归系数及回归系数图。
2. 结果
2.1 叉长组成和性比
整个采样期间，共获取黄鳍金枪鱼919尾，能鉴别出性别的有743尾，其中雄性423尾，占56.93%；雌性320尾，占43.07%，雌雄性比为1∶1.32；叉长范围为 87~163 cm，平均叉长 (119±32) cm，雌、雄优势叉长组均为110~130 cm；不同性别的叉长分布见图2，使用R语言进行方差分析 (ANOVA)，结果显示不同性别间样本的叉长分布存在极显著差异 (F=26.23, P<0.001)，随着叉长的增加，雄性在各叉长组内的比例逐渐增大，当叉长大于110 cm时雄性个体开始占优。
2.2 胃含物组成及其摄食生态位宽度
2.2.1 胃含物组成
在所有样本中，对551尾黄鳍金枪鱼 (雄性303尾、雌性248尾) 成功鉴定了胃含物，发现空胃186尾，空胃率为33.76%；在非空胃的个体中，其胃含物组成中沙丁鱼属出现频率最高，占52.60%，其次是鱿鱼和杂鱼，分别占35.34%和33.70% (表1)。
表 1 黄鳍金枪鱼的胃含物组成Table 1. Diet composition of T. albacares饵料类别
Prey category饵料种类
Prey species个数
百分比
N/%出现频次
百分比
F/%鱼类
Fish鲳属 Pampus 2.85 5.21 鲭 Pneumatophorus japonicus 9.76 17.81 鲣鱼 Katsuwonus pelamis 2.55 4.66 鹦鹉鱼属 Amphilophus 1.95 3.56 小沙丁鱼属 Sardinella 28.83 52.60 银鱼 Hemisalanx prognathus 6.76 12.33 杂鱼 Other fishes 18.47 33.70 头足类
Cephalopoda鱿鱼 Squid 19.37 35.4 甲壳类
Crustacea虾 Shrimp 9.46 17.26 2.2.2 摄食生态位宽度
雌、雄个体的H '波动较大而J '波动不大。雌性个体最大的H ' (1.819)和J ' (0.905)分别出现在110~120 cm和80~90 cm叉长组；而雄性个体最大的H ' (1.860)和J ' (0.934)分别出现在130~140 cm和140~150 cm叉长组 (图3-a)。方差分析结果表明个体叉长对胃含物H ' 具有显著影响 (F=6.026, P=0.032)，而对J '影响不显著 (F=1.06, P>0.1)。
![]()
图 3 胃含物Shannon-weiner多样性指数和Pielou均匀度指数Figure 3. Shannon-Weiner diversity index (H') and Pielou evenness index (J') of gastric contents雌、雄水深组H '和J '都波动不大，雌性个体最大的H ' (1.77)和J ' (0.95)所在水深组分别为250~300 m和200~250 m，雄性个体最大H ' (1.81)和J ' (0.95)所在水层分别为50~100 m和350~400 m (图3-b)。方差分析显示不同水深组的H '没有显著差异 (F=1.659, P=0.277)，J '同样不显著 (F=2.216, P=0.178)。
雌、雄个体不同月相H '波动较大而J '较平稳，雌性个体最大的H ' (1.87)和J ' (0.98)所在月相分别为满月 (14~16 d) 和26~28 d，雄性个体最大H ' (1.92)和J ' (0.93)所在月相分别为5~7 d和8~10 d (图3-c)。方差分析显示不同月相的H '有显著差异 (F=10.162, P=0.001) 而J '则完全不显著 (F=0.333, P=0.9)。
不同月度的胃含物的H '和J '分析如图3-d所示。雌、雄个体不同月度H '波动不大而J '相对平稳，雌性个体最大的H ' (1.91)和J ' (0.95)所在月度分别为8和12月，雄性个体最大H ' (1.85)和J ' (0.91)所在月度分别为1和6月 (图3-d)。方差分析显示不同月度的H '显著性不强 (F=2.531, P=0.11) 而J '基本不显著 (F=1.125, P=0.45)。(注：因为10月样品尾数较少，H '和J '为0，为避免误差过大，不在图中显示)
2.3 摄食强度
调查期间对551尾黄鳍金枪鱼的摄食强度进行了鉴定，发现取样个体的摄食强度以 0—2级为主，占样本总数的86.39%，取样的黄鳍金枪鱼样本摄食强度以空胃最多，雌、雄个体空胃率分别为31.68%和36.29%，雌性1级和2 级摄食等级的占比分别为30.03%和23.10%；而雄性1级和2级摄食等级分别占33.47%和18.55%。
使用GLMM (公式5) 分析时空因素及取样个体生物因素对摄食强度的影响，拟合结果见表2，回归系数分布见图4。回归系数图中的点为模型系数的估计值，粗线代表一个标准误差的置信区间，细线表示两倍标准误差的置信区间，通常认为2倍置信区间不包含0时，回归系数具有统计学显著性[25]。可以看出，生物因素 (个体叉长、性别)、水深对个体的摄食强度具有较为显著的影响，而月相对个体的摄食强度有一定的影响，但显著性不强。
表 2 摄食强度与时空因素的GLMM模型拟合结果Table 2. GLMM results of feeding intensity and spatial and temporal factors回归系数
Regreassion coefficient完整模型 Full model 简化模型 Simplified model 期望值
Estimated标准误
S.E.Z P 期望值
Estimated标准误
S.E.Z P 截距 Intercept $ {\gamma }_{0} $ 0.739 0.303 2.442 0.014 1.043 0.072 14.421 <0.001 叉长 FL $ {\gamma }_{1} $ −0.845 0.249 −3.273 0.001 — — — — 性别 Sex $ {\gamma }_{2} $ 0.213 0.081 2.635 0.008 — — — — 月相 Lunar phase cos(ωt)γ3 0.102 0.056 −1.809 0.070 −0.234 0.103 −2.259 0.026 sin(ωt)γ4 0.085 0.059 1.429 0.153 0.060 0.101 −0.589 0.557 钩深 Depth $ {\gamma }_{5} $ 0.159 0.049 3.277 0.001 — — — — ![]()
图 4 摄食强度与时空因素的GLMM模型回归系数图Figure 4. GLMM regression coefficient diagram of feeding intensity and temporal and spatial factors2.3.1 叉长和性别的影响
雌、雄个体的摄食强度随叉长的分布见图5-a和5-b。可知雌、雄黄鳍金枪鱼在摄食等级上具有显著差异，相同叉长条件下，雄性个体较雌性个体摄食等级更高 (GLMM模型中回归系数
$ {\gamma }_{2} $ >0，且影响显著)；随着叉长的增长，取样个体摄食等级逐渐降低 (GLMM模型中回归系数$ {\gamma }_{1} $ <0，且影响显著)，空胃率呈上升的趋势，且在雌性个体中趋势更加明显；叉长大于160 cm的雄性个体摄食等级只有0和1级，而雌性仅全部为0级。![]()
图 5 黄鳍金枪鱼摄食强度组成图中数字表示样本量。Figure 5. Composition of feeding intensity of T. albacaresThe numbers in the figure indicate the sample size.2.3.2 水层对摄食强度的影响
以50 m为间隔对水深分组后，不同水层取样的雌、雄黄鳍金枪鱼摄食强度的分布见图5-c和5-d。发现水深50~200 m范围内，取样个体空胃率占比较高，随着水深的增加，空胃率逐渐降低，而高摄食等级(2—4级)所占比例逐渐上升(GLMM模型中回归系数
$ {\gamma }_{5} $ >0，且影响显著)，并且这种趋势在雄性中更加明显；此外从图中可以看到雌、雄黄鳍金枪鱼在200~250 m水层时高摄食等级占比较其他水层更大。2.3.3 月相对摄食强度的影响
GLMM模型的拟合结果显示月相对个体摄食强度具有一定影响，但未显示出统计学上的显著性。为了进一步探索时间因素对摄食强度的影响，使用连续3个农历日作为一个月相 (即一个周期内10个月相)，并仅考虑月相对摄食强度的影响对原模型 (公式5) 进行简化，新模型GLMM的拟合结果如表2所示，回归系数如图4所示，不同月相下的摄食强度拟合值及残差分布如图6所示，Shapiro-Wilk正态检验的P为0.09，因此没有证据拒绝其正态性，结果显示月相对黄鳍金枪鱼的摄食强度具有显著影响，其中余弦变量的影响显著而正弦变量不显著，表明摄食强度主要受月相的余弦影响，即黄鳍金枪鱼在满月附近的摄食强度相对其他月相较高。
![]()
图 6 黄鳍金枪鱼摄食等级与月相的关系Figure 6. Relationship between feeding intensity and lunar phase of T. albacares3. 讨论
3.1 热带中西太平洋黄鳍金枪鱼叉长组成
根据本文调查所得数据，黄鳍金枪鱼的叉长范围介于87~163 cm，平均叉长为119 cm，其中优势叉长组为110~130 cm。随着叉长的增加，雌性个体占比逐渐减小，而雄性个体占比逐渐增大 (图2)，这与陈丽雯等[9]对太平洋黄鳍金枪鱼的繁殖生物学研究得出的结论一致。本研究中在80~110 cm叉长组中雌性个体与雄性个体数量相近，而当叉长大于110 cm时雄性个体开始逐渐占优。随着叉长的增加雄性比率占优，在其他几种金枪鱼类或类金枪鱼中也有类似发现[26-28]，造成性别比率差异可能有以下几点原因：1) 不同性别生长速度有所差异，雌性黄鳍金枪鱼要小于雄性；2) 雌性将会经过产卵阶段，这个阶段雌性要比雄性排精消耗更多体力，从而使年龄大、叉长大的雌性逃避天敌和抵抗疾病的能力降低，导致雌性的自然死亡率高于雄性。
3.2 胃含物组成的生态宽度
生态位宽度衡量了一个物种利用各种资源的状况，常用H '测定，其值大小反映了物种在种群中的竞争地位。当物种的饵料资源可利用性减少时，一般会使生态位宽度增加[29]。中西太平洋黄鳍金枪鱼的摄食鱼类主要为沙丁鱼属、杂鱼和鲭，头足类主要为鱿鱼，甲壳类主要为虾 (表1)。由饵料种类的栖息水层可知，黄鳍金枪鱼的摄食对象主要为分布于上层和中上层的鱼类和头足类[30]。但在本研究中饵料鱼类的占比超过70%，原因是本研究中样本捕获时所用的饵料为沙丁鱼和鲭，导致头足类占比少。经过方差分析显示不同叉长和月相的H '差异显著，不同水层和月度的H '差异不显著，这与朱国平等[30]对印度洋海域黄鳍金枪鱼的叉长食性组成所得结果和陶雅晋等[31]对南海海域黄鳍金枪鱼的叉长食性组成所得结果相同。但本研究结果偏大，原因可能由于黄鳍金枪鱼是机会主义者，因此它们的摄食取决于栖息地的饵料生物和捕捉饵料生物的能力，而不同海域黄鳍金枪鱼的饵料生物不同，从而导致不同海域的生态位差异[32]。对于食性组成在满月期间相比其他月相有更高的生态位宽度的现象，最大的可能是由于鱼类有趋光性[33]，当月光充足时会有更多饵料生物出现在黄鳍金枪鱼所在的上层水域。
3.3 摄食强度与叉长
本研究中，通过对不同叉长黄鳍金枪鱼的摄食强度分析，发现个体大小对空胃率具有显著影响，且随着叉长的增加，摄食强度显著减弱 (GLMM模型中回归系数
$ {\gamma }_{1} $ <0，且影响显著)，这与陈峰等[34]报道的南太平洋所罗门群岛海域黄鳍金枪鱼叉长组大于150 cm时，空胃率约为50%的结果一致。究其原因有多种[31]：1) 鱼类随着生长发育，其游泳能力和活跃程度大幅增强，同时其生长发育也将消耗更多的能量；2) 鱼类随着生长，其消化能力增强，导致空胃率增加；3) 不同作业方式也会对鱼类的摄食造成影响，本研究所获的样品多数由金枪鱼延绳钓作业捕获，黄鳍金枪鱼在钓线上剧烈挣扎，当从海上提起时会出现“吐胃”现象，这对摄食强度的判别会产生一定影响[35]；另外在鱼类消化器官成熟和生命所需能量增加的同时，部分鱼类的食性也会发生变化[36]。3.4 摄食强度与水深
对金枪鱼在不同水层的摄食变化研究，通常采用超声波标记技术跟踪并分析金枪鱼在不同水层上的摄食状况[32,37]，但这种做法成本较高且不确定性大。本研究通过分析不同性别的个体摄食强度的垂直分布，发现黄鳍金枪鱼的空胃率随着水深的增加占比逐渐减少，而高摄食强度占比逐渐增大，且摄食强度随水深变化显著 (GLMM模型中回归系数
$ {\gamma }_{5} $ >0，且影响显著)，雌、雄高摄食强度占比在200~250 m后有轻微下降。空胃率随水深增加而增大的原因是，水深增加可能会增强黄鳍金枪鱼对食物的消化力度，在200~250 m水层产生了一个高摄食强度水层，可能由于该水层黄鳍金枪鱼的饵料充足。杨胜龙等[38]在研究中西太平洋黄鳍金枪鱼栖息水层时也得到高单位捕捞努力量渔获量 (CPUE) 出现的平均深度为228 m，在该水层黄鳍金枪鱼数量多。食物组成的生态位分析显示该水层有更高的生态位宽度，这个结论也说明该水层黄鳍金枪鱼会摄食更多种类的饵料，从而使该水层黄鳍金枪鱼可利用的资源充足，足够的资源使其活跃度减弱、消化食物的速度减慢，从而出现摄食等级偏高于两侧水层的情况。3.5 摄食强度与月相
月亮自东向西移动，形状不断发生改变，这种月亮位相变化即月相。鱼类食性随月度或季节的变化是对环境适应性的行为，是一种极为常见的现象[31]，然而对于摄食随月相的变化却鲜有报道。本研究使用GLMM对不同月相的摄食强度和平均摄食强度分别进行回归模型分析，结果显示摄食强度主要受月相的余弦影响，2种模型的不同之处在于简单模型的系数估计不确定性略高，但并没有影响最终的结果，摄食强度主要受月相的余弦影响，即黄鳍金枪鱼在满月附近的摄食强度相对其他月相较高，笔者猜测由于月相变化导致月球对海水的引力不同，在满月附近会引发大潮，从而可能对鱼类的摄食产生影响；也可能由于满月前后月光较强，影响了饵料生物的密度[39]，同时黄鳍金枪鱼活动能力变强，摄食活跃，导致满月附近摄食强度更高。Santos和Garcia[40]指出，研究月相对金枪鱼类的影响时应考虑其他环境因素的影响，本研究中只按作业的农历日期人为划定了不同的月相，未考虑其他因素，如在满月附近出现阴雨天等，可能会对研究结果造成一定的误差。
致谢：此次海上调查得到了上海蒂尔远洋渔业有限公司董事长杨慧敏和“沪渔927”船长及全体船员的大力支持和帮助，在此表示感谢！
-
![]()
图 2 类间相似和类内差异
Figure 2. Subtle differences between species and dramatic changes among same species
![]()
图 6 MF-Net模型不同预处理方式的识别结果
Figure 6. Recognition results based on different pro-processing strategies in proposed MF-Net
![]()
图 7 MF-Net 模型不同block结构的识别性能
Figure 7. Recognition results based on different block structures in proposed MF-Net
![]()
图 8 MF-Net模型中不同下采样策略
Figure 8. Recognition results based on different down sampling strategies in proposed MF-Net
![]()
图 9 基于不同损失函数的识别性能
Figure 9. Recognition results based on different loss functions in proposed MF-Net
表 1 主流识别模型性能对比
Table 1 Comparison of different generic recognition methods
模型
Model浮点运算次数
Floating point operations per second/G参数量
Parameter quantity/MAcc-1准确率
Acc-1 accuracy/%召回率
Recall/%精确率
Precision/%F1分数
F1-scoreResNet-50 4.130 25.60 82.60 72.97 78.09 0.724 ResNet-50 (标签平滑
Label smoothing)4.130 25.60 85.10 76.45 80.27 0.761 GhostNet 0.156 5.18 83.31 75.21 78.85 0.746 ConvNext 15.400 87.50 84.27 76.20 79.62 0.759 MF-Net 1.740 10.40 86.80 78.37 81.80 0.781 
下载: 导出CSV
表 2 蝴蝶数据集下不同长尾模型识别性能
Table 2 Comparison of accuracy with different long-tailed methods on butterfly dataset
模型
ModelAcc-1 准确率
Acc-1 accuracy/%头部类别精度
Many-shot/%尾部类别精度
Few-shot/%DRC 80.90 87.27 69.03 BBN 82.20 88.02 68.97 ResNet-50 80.90 86.09 66.66 GhostNet 82.20 86.55 68.33 ConvNext 82.70 86.58 68.09 MF-Net 83.80 89.40 72.55
下载: 导出CSV
表 3 鱼类数据集下不同长尾识别模型对比
Table 3 Comparison of different long-tailed methods on fish dataset
模型
ModelAcc-1准确率
Acc-1 accuracy/%头部类别精度
Many-shot/%尾部类别性能
Few-shot/%BBN 84.37 89.43 72.55 DRC 83.59 88.73 69.80 MF-Net 86.80 90.17 76.53
下载: 导出CSV
表 4 平衡鱼类数据集下不同识别模型损失对比
Table 4 Comparison of different recognition methods with different losses in balanced fish dataset
模型
Model浮点运算次数
Floating point operations per second/G参数量
Parameter quantity/MAcc-1准确率
Acc-1 accuracy/%召回率
Recall/%F1分数
F1-scoreResNet-50 (交叉熵 Cross entropy) 4.130 25.60 90.32 90.04 0.892 ConvNext (交叉熵Cross entropy) 15.400 87.50 91.85 90.07 0.901 GhostNet (交叉熵Cross entropy) 0.156 5.18 91.34 90.37 0.905 MF-Net (交叉熵Cross entropy) 1.740 10.40 94.50 94.19 0.943 ResNet-50 4.130 25.60 89.80 88.87 0.889 ConvNext 15.400 87.50 92.50 92.24 0.925 GhostNet 0.156 5.18 92.25 92.16 0.923 MF-Net 1.740 10.40 94.05 93.73 0.937
下载: 导出CSV
-
[1] PRIMO A L. Ecology of marine fish larvae[M]//WALTER L F, ANABELA M A, LUCIANA B, et al. Encyclopedia of the UN sustainable development goals, life below water. New York: Springer Nature, 2021: 1-10.
[2] LI D L, WANG Z H, WU S Y, et al. Automatic recognition methods of fish feeding behavior in aquaculture: a review[J]. Aquaculture, 2020, 528: 735508. doi: 10.1016/j.aquaculture.2020.735508
[3] 麦广铭, 陈志劼, 王学锋, 等. 南海北部沿岸鱼类分类学多样性的空间格局[J]. 南方水产科学, 2022, 18(3): 38-47. doi: 10.12131/20210117 [4] CHEN W H, LIU J Y, ZHANG Y P, et al. Current status and accics of research on smart fishery in China: a literature review based on CNKI (2000−2022)[J]. Int J Environ Sustain Protect, 2023, 2(4): 24-32.
[5] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016: 770-778. DOI: 10.1109/CVPR.2016.90.
[6] LIU Z, LI Y T, CAO Y, et al. Swin transformer: hierarchical vision transformer using shifted Windows[C]//2021 IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, QC, Canada, 2021: n9992-10002. DOI: 10.1109/ICCV48922.2021.00986.
[7] ZHUANG P Q, WANG Y L, QIAO Y. Wildfish++: a comprehensive fish benchmark for multimedia research[J]. IEEE T Multimedia, 2021, 23: 3603-3617. doi: 10.1109/TMM.2020.3028482
[8] LIU Z H, JIA X J, XU X S. Study of shrimp recognition methods using smart networks[J]. Comput Electron Agric, 2019, 165: 104926. doi: 10.1016/j.compag.2019.104926
[9] 汪小旵, 武尧, 肖茂华, 等. 水产养殖中智能识别技术的研究进展[J]. 华南农业大学学报, 2023, 44(1): 24-33. doi: 10.7671/j.issn.1001-411X.202204013 [10] YANG X T, ZHANG S, LIU J T, et al. Deep learning for smart fish farming: applications, opportunities and challenges[J]. Rev Aquac, 2021, 13(1): 66-90. doi: 10.1111/raq.12464
[11] RUM S N M, NAWAWI F A Z. FishDeTec: a fish identification application using image recognition approach[J]. Int J Adv Comp Sci Appl, 2021, 12. DOI: 10.14569/IJACSA.2021.0120312.
[12] 李均鹏, 祝开艳, 杨澍. 基于迁移学习的复杂场景海洋鱼类识别方法[J]. 计算机应用与软件, 2019, 36(9): 168-174. doi: 10.3969/j.issn.1000-386x.2019.09.030 [13] 姚润璐, 桂詠雯, 黄秋桂. 基于机器视觉的淡水鱼品种识别[J]. 微型机与应用, 2017, 36(24): 37-39. [14] CHRISTENSEN J H, MOGENSEN L V, GALEAZZI R, et al. Detection, localization and classification of fish and fish species in poor conditions using convolutional neural networks[C]. 2018 IEEE/OES Autonomous Underwater Vehicle Workshop (AUV), Porto, Portugal, 2018: 1-6. DOI: 10.1109/AUV.2018.8729798.
[15] PRAMUNENDAR R A, WIBIRAMA S, SANTOSA P I. Fish classification based on underwater image interpolation and back-propagation neural network[C] 2019 5th International Conference on Science and Technology (ICST), Yogyakarta, Indonesia, 2019: 1-6.
[16] POUYANFAR S, TAO Y D, MOHAN A, et al. Dynamic sampling in convolutional neural networks for imbalanced data classification[C]//2018 IEEE Conference on Multimedia Information Processing and Retrieval (MIPR), Miami, FL, USA, 2018: 112-117. DOI: 10.1109/MIPR.2018.00027.
[17] KANG B Y, XIE S N, ROHRBACH M, et al. Decoupling representation and classifier for long-tailed recognition[J]. arXiv, 2020: 1910.09217v2. DOI: 10.48550/arXiv.1910.09217.
[18] ZHANG S Y, LI Z M, YAN S P, et al. Distribution alignment: a unified framework for long-tail visual recognition[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 2021: 2361-2370. DOI: 10.1109/CVPR46437.2021.00239.
[19] CUI Y, JIA M L, LIN T Y, et al. Class-balanced loss based on effective number of samples[C/OL]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019: 9268-9277. [2023-11-10]. https://openaccess.thecvf.com/content_CVPR_2019/papers/Cui_Class-Balanced_Loss_Based_on_Effective_Number_of_Samples_CVPR_2019_paper.pdf.
[20] ZHOU B Y, CUI Q, WEI X S, et al. BBN: Bilateral-branch network with cumulative learning for long-tailed visual recognition[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2020: 9716-9725. DOI: 10.1109/CVPR42600.2020.00974.
[21] WANG W Q, ZHAO Z C, WANG P Y, et al. Attentive feature augmentation for long-tailed visual recognition[J]. IEEE T Circ Syst Vid Technol, 2022, 32(9): 5803-5816. doi: 10.1109/TCSVT.2022.3161427
[22] PANG S M, WANG W Y, ZHANG R Z, et al. Hierarchical block aggregation network for long-tailed visual recognition[J]. Neurocomputing, 2023, 549: 126463. doi: 10.1016/j.neucom.2023.126463
[23] HAN K, WANG Y H, TIAN Q, et al. GhostNet: more features from cheap operations[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2020: 1577-1586. DOI: 10.1109/CVPR42600.2020.00165.
[24] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016: 2818-2826. DOI: 10.1109/CVPR.2016.308.
[25] PAN F Y, LI S K, AO X, et al. Warm up cold-start advertisements: improving ctr predictions via learning to learn ID embeddings[C]//SIGIR'19: Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, July 2019: 695-704. DOI: 10.1145/3331184.3331268.
[26] LOSHCHILOV I, HUTTER F. SGDR: Stochastic gradient descent with warm restarts[J/OL]. arXiv, 2017: 1608.03983v5. https://arxiv.org/pdf/1608.03983.pdf.
[27] WOO S, DEBNATH S, HU R H, et al. Convnext v2: Co-designing and scaling convnets with masked autoencoders[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada, 2023: n16133-16142. DOI: 10.1109/CVPR52729.2023.01548.
[28] XU C D, CAI R J, XIE Y H, et al. Fine-grained butterfly recognition via peer learning network with distribution-aware penalty mechanism[J]. Animals, 2022, 12(20): 2884. doi: 10.3390/ani12202884
-
期刊类型引用(3)
1. 王洪浩，陆化杰，何静茹，刘凯，陈炫妤，陈新军. 西北印度洋海域鸢乌贼耳石微结构及生长特性. 应用生态学报. 2022(12): 3419-3426 . 
百度学术
2. 李楠，俞骏，方舟，陈新军，张忠. 基于耳石日龄信息的东海海域剑尖枪乌贼日龄、生长及种群结构研究. 水产学报. 2021(06): 887-898 . 百度学术
3. 谢慕原，徐汉祥，张涛，李鹏飞，徐开达，隋宥珍，刘连为，史会来，梁君. 养殖环境下曼氏无针乌贼生长的初步研究. 浙江海洋大学学报(自然科学版). 2021(05): 400-406 . 百度学术
其他类型引用(5)
计量
- 文章访问数: 0
- HTML全文浏览量: 0
- PDF下载量: 0
- 被引次数: 8
粤公网安备 44010502001741号
