Research on fish recognition based on multi-stage feature extraction learning
-
摘要:
鱼类自动识别在海洋生态学、水产养殖等领域应用广泛。受光照变化、目标相似、遮挡及类别分布不均衡等因素影响，鱼类精准自动识别极具挑战性。提出了一种基于多阶段特征提取网络 (Multi-stage Feature Extraction Network, MF-Net) 模型进行鱼类识别。该模型首先对图片作弱增强预处理，以提高模型的计算效率；然后采用多阶段卷积特征提取策略，提升模型对鱼类细粒度特征的提取能力；最后通过标签平滑损失计算以缓解数据的不平衡性。为验证模型的性能，构建了一个500类、含32 768张图片的鱼类数据集，所建模型在该数据集上的准确率达到86.8%，优于现有的主流目标识别方法。利用公开的蝴蝶数据集对该模型进行泛化性能验证，多组消融实验进一步验证了所提算法的有效性。
Abstract:Automatic fish recognition is widely used in the fields of marine ecology and aquaculture. Due to factors such as fluctuating illumination, overlapping instances and occlusion, accurate automatic identification of fish is extremely challenging. In order to solve these problems, this paper introduces an innovative Multi-stage Feature Extraction Network (MF-Net) model, which is predicated upon a multi-stage feature extraction paradigm for the domain of automatic fish recognition. The architecture of MF-Net commences with a subtle image enhancement preprocessing step, judiciously designed to augment the computational efficiency of the model. Then the deployment of a multi-stage convolutional feature extraction strategy is applied to improve the model's sensitivity towards the granular features of fish species. In an effort to mitigate issues arising from data imbalance, the model incorporates a long-tail loss computation strategy. To evaluate the efficacy of the proposed MF-Net, the study collects a comprehensive fish dataset encompassing 500 categories including 32 768 images. The proposed MF-Net demonstrated a remarkable accuracy of 86.8% on this dataset, thereby outperforming the recognition performance of the existing state-of-the-art target recognition algorithms. Furthermore, the model is tested on a publicly butterfly dataset to verify its generalization performance, and multiple ablation experiments further validate the effectiveness of the proposed algorithm.
-
随着全球近海渔业资源的衰退，加之公海巨大的开发潜力 (占据全部海洋的60%)[1]，公海渔业的发展得到世界各国的重视。西北太平洋是我国目前主要的公海作业区域，对我国的远洋渔业发展具有重要的战略意义[2]。西北太平洋隶属于联合国粮农组织 (Food and Agriculture Organization of the United Nations, FAO) 61渔区，该海域受黑潮暖流和亲潮寒流两大水系的共同影响，海洋生物饵料丰富，是鱼类索饵的重要场所[3-4]，从而形成了世界上高渔获量的渔场[5]。据FAO统计，近年来该海域年渔获产量稳定在2 ×107 t以上[6]，渔获物主要有巴特柔鱼 (Ommastrephes bartrami)、秋刀鱼 (Cololabis saira)、远东拟沙丁鱼 (Sardinops sagax)、金枪鱼和日本鲭 (Scomber japonicus)等[7]，而灯光围网中上层渔业是2013年左右出现的新兴渔业，渔获物以日本鲭、远东拟沙丁鱼、巴特柔鱼、秋刀鱼为主，其中日本鲭在数量与质量上均占绝对优势[8]。
我国对西北太平洋中上层围网渔业的系统研究起步较晚，在该海域的捕捞技术和生产效率与日、韩等国有一定差距[9]。因此，掌握渔获种类组成、各渔获物种类的季节变动及时空分布规律、渔场重心变动等关键问题，对提高捕捞效率、资源养护和科学管理等尤为重要[10]。虽有诸多研究涉及西北太平洋渔业资源的分布、丰度、渔场变动等内容，但是多集中在柔鱼[11-13]、秋刀鱼[14-16]等单一物种上，尚未见基于长时间序列的实际生产数据对灯光围网的渔获组成、渔场分布变化的相关研究。本研究利用2014—2019年渔业生产资料，采用重心估算与聚类分析方法等，对我国在西北太平洋围网渔业的生产状况、渔获种类组成和渔场重心变动情况进行了分析，以期为西北太平洋渔场的渔情预报、渔业生产与管理提供参考。
1. 材料与方法
1.1 数据来源及渔场区域
本文所用数据来源于中国远洋渔业协会公海围拖网渔业技术组所收集的我国西北太平洋公海灯光围网生产统计资料，该资料共由国内14家远洋渔业公司提供 (图1)，主要包括作业时间 (年、月、日)、作业位置 (经度和纬度)、渔获种类、投网次数、渔获量等信息。本文所用数据的时间跨度为2014—2019年，主要作业时间为每年的4—11月。数据的空间分辨率为0.5°×0.5°，作业区域分布在145°E—160°E、35°N—44°N (图2)。
![]()
图 2 西北太平洋公海灯光围网作业海域Figure 2. Light purse seine fishing area in Northwest Pacific high seas1.2 数据处理
1.2.1 渔获数据处理
将渔获物中登记的渔获物确定到种；对渔获量数据进行处理，利用单位捕捞努力量渔获量 [Catch per unit effort, CPUE, t·(d·船)−1] 来表示资源丰度[17]，计算公式为：
$$ {\rm{CPUE}} = \mathop \sum \limits_i^n {C_i}/n $$ (1) 式中：Ci为每艘渔船第i天的渔获量 (t)；n为总天数 (d)。
为检验渔船功率与渔获产量是否具有相关性，利用SPSS 19.0软件对渔船功率和产量进行双变量相关分析，以P<0.05作为差异显著水平。在进行相关分析之前，先利用K-S检验验证数据是否符合正态分布。
1.2.2 渔场重心估算
渔场重心的时空变化用渔获量重心法来计算，公式为[18-19]：
$$ X = \mathop \sum \limits_{i = 1}^n ({C_i} \times {X_i})/\mathop \sum \limits_{i = 1}^n {C_i};\;\;Y = \mathop \sum \limits_{i = 1}^n ({C_i} \times {Y_i})/\mathop \sum \limits_{i = 1}^n {C_i} $$ (2) 式中：X、Y分别表示某时间段渔场重心的经度和纬度；Ci为第i网次的渔获产量；Xi为第i网次的经度；Yi为第i网次的纬度；n为统计期间的总网次。
1.2.3 渔场重心聚类分析
利用欧式距离来计算年产量重心的变化情况，比较渔场的重心变化，公式为[20]：
$$ {D_{ab}} = \sqrt {{{({X_a} - {X_b})}^2} + {{({Y_a} - {Y_b})}^2}} $$ (3) 式中：Dab为a年和b年产量重心间的距离；Xa、Ya分别为第a年的经度、纬度；Xb、Yb分别为第b年的经度、纬度。根据计算后得到的欧式距离，对2014—2019年各年、各月的产量重心按照最小距离法进行聚类，分析比较年份和月份间的差异性[21]。
数据分析和作图使用Excel 2019、SPSS 19.0、Origin 2018和Matlab 2013等软件。
2. 结果
2.1 历年产量与CPUE分析
2014—2019年间，由于投入生产的船只数量有较大的变化 (图1)，产量的年间差异较大；统计年间，产量的最大值依次出现在当年的10、8、6、10、9和7月，集中在6—10月，2014、2015、2018和2019年均呈先增后降的变化趋势；统计年间的CPUE波动较为明显，除2016年外，CPUE均呈先增后降趋势，且在10月达到最大值；从月份来看，CPUE值均超过10 t·(d·船)−1，介于10.43~30.41 t·(d·船)−1，最大值和最小值分别发生在2014年10月和2018年5月 (图3)。将统计年间的同一月份相结合来分析，产量呈现先增后降的规律，CPUE持续增长到10月，11月与10月持平 (图4)。从年份来看，年间CPUE均值除2018年外呈现逐年递减趋势，介于15.04~23.93 t·(d·船)−1 (图5)。对渔获产量进行K-S检验表明，渐进显著性为0.000 (<0.05)，渔获产量不符合正态分布，因此使用Spearman和Kendall等级相关系数进行双侧相关性分析。功率与产量的双变量相关性分析结果显示，Spearman和Kendall相关性系数分别为0.000和−0.04，相伴概率分别为0.958和0.428 (>0.05)，表示功率与产量不存在显著相关关系。
![]()
图 3 2014—2019年西北太平洋公海灯光围网渔获量和单位捕捞努力量渔获量Figure 3. Catch and catch per unit effort of light purse seine in high seas of Northwest Pacific from 2014 to 2019![]()
图 4 2014—2019年西北太平洋公海灯光围网分月份渔获量和单位捕捞努力量渔获量Figure 4. Monthly catch and catch per unit effort of light purse seine in high seas of Northwest Pacific from 2014 to 2019![]()
图 5 2014—2019年西北太平洋公海灯光围网单位捕捞努力量渔获量均值Figure 5. Catch per unit effort of light purse seine in high seas of Northwest Pacific from 2014 to 20192.2 渔获物组成与季节变化
2014—2019年，渔业统计资料共记录8种主要渔获种类，分别为日本鲭、远东拟沙丁鱼、巴特柔鱼、秋刀鱼、菱鳍乌贼 (Thysanoteuthis rhombus)、细鳞乌鲂 (Brama raji)、日本乌鲂 (B. japonica) 和扁舵鲣 (Auxis thazard)，各年度渔获的种类分别为3、6、4、7、5和4种，其中日本鲭、远东拟沙丁鱼和巴特柔鱼在统计年份里均有记录，秋刀鱼除2014年外在其他年份均存在，菱鳍乌贼仅在2017年出现。从月间变化来看，在每个月份均有记载的只有日本鲭；远东拟沙丁鱼、巴特柔鱼和秋刀鱼的出现频率相对较高，依次为87.5%、73%和56.25%；菱鳍乌贼仅出现于2015年的6—10月，细鳞乌鲂、日本乌鲂仅出现于2017年的9和10月，扁舵鲣在2015年的4月、2017年4—6月和2018年10、11月均有出现 (图6)。
![]()
图 6 2014—2019年各月份渔获种类组成纵坐标中1—8分别代表日本鲭、远东拟沙丁鱼、巴特柔鱼、秋刀鱼、菱鳍乌贼、细鳞乌鲂、日本乌鲂和扁舵鲣。Figure 6. Species composition of catch in each month from 2014 to 2019The number of 1–8 in the ordinate represent S. japonicus, S. sagax, O. bartrami, C. saira, T. rhombus, B. raji, B. japonica, and A. thazard, respectively.渔获产量按月份分析，日本鲭在4月产量占比较低，5—11月产量相差较小；远东拟沙丁鱼和巴特柔鱼在4月产量占比低，5—7月产量占比较高，8—11月产量分布均匀；秋刀鱼在4—6月产量占比低，8—11月产量占比逐月增加，11月达到最大值；菱鳍乌贼、细鳞乌鲂和日本乌鲂出现的月份较少，渔汛旺期发生在8—10月；扁舵鲣4—6月的产量占比达到93.94%，其他月份占比低 (图7)。
渔获产量年际分析发现，日本鲭的比重占有绝对优势，2014—2016年的产量占比均在95%以上，但是统计年份内日本鲭的占比呈现持续降低的趋势，2019年达到最低值 (58.87%)，CPUE的变动与产量占比变化趋势一致，介于9.2~22.16 t·(d·船)−1 (图8-a)；远东拟沙丁鱼的比重逐年升高，在2019年达到最大值40.52%，CPUE波动增长，介于4.84~7.08 t·(d·船)−1 (图8-b)；巴特柔鱼的比重在2016年达最大值 (1.99%)，2018年达最低值(0.0087%)，CPUE介于0.443~3.13 t·(d·船)−1 (图8-c)；秋刀鱼仅出现于2015—2019年，比重为0.06%~0.6%，CPUE介于1.38~4.17 t·(d·船)−1 (图8-d)；菱鳍乌贼、细鳞乌鲂、日本乌鲂和扁舵鲣仅在个别年份出现，比重极低且总和不超过0.1% (图8-e—8-h)。统计结果显示，西北太平洋灯光围网的捕捞对象主要以日本鲭为主，近年来远东拟沙丁鱼的产量占比逐年增加，2019年的比重达到40.52%。
![]()
图 8 各渔获种类的年间单位捕捞努力量渔获量和占总渔获量的比重a、b、c、d、e、f、g和h分别代表日本鲭、远东拟沙丁鱼、巴特柔鱼、秋刀鱼、菱鳍乌贼、细鳞乌鲂、日本乌鲂和扁舵鲣。Figure 8. CPUE of catch species and its proportion in total catcha, b, c, d, e, f, g and h respresent S. japonicus, S. sagax, O. bartrami, C. saira, T. rhombus, B. raji, B. japonica and A. thazard, respectively.2.3 渔场重心变化分析
2.3.1 渔场重心季节变化
渔场重心呈现逆时针变化规律，从4月开始逐渐向东北方向移动，8、9或10月到达最东北端，然后向西南方向折返，且统计年间渔场重心的变动趋势一致，可见渔场重心有明显的季节变化（图9—10）。渔场重心经、纬度的变化介于145°E—155°E、35°N—43°N；统计年间，在经、纬度上变动范围最大的均为2014年，变动范围最小的均为2016年 (图9)。从年间变化来看，西北太平洋灯光围网的渔场重心呈现逐渐向东北移动的趋势，从2014年至2019年重心在经度上东移0.92°，在纬度上北移1.57°。
![]()
图 9 2014—2019年西北太平洋渔场重心季节变化Figure 9. Seasonal variation in fishing ground gravity center in Northwest Pacific from 2014 to 2019![]()
图 10 2014—2019年西北太平洋渔场重心年度变化Figure 10. Interannual variation in fishing ground gravity center in Northwest Pacific from 2014 to 20192.3.2 渔场重心聚类分析
2014—2019年，将相同月份的产量重心进行综合统计分析可得，不同月份间产量重心分布存在较大差异。由欧式距离可得，月间产量重心的空间距离介于0.363 (8月/9月)~5.917 (4月/9月)。4月与其他月份间的欧氏距离均大于1，两个相邻月份间的欧式距离分布介于0.363 (8月/9月)、2.885 (10月/11月，表1)。经聚类分析可得，若以空间距离2为阈值，则可将月产量重心分为4类，分别为7、8、9和10月，4月，5、11月，6月 (图11)。
表 1 西北太平洋灯光围网各月产量重心的空间距离Table 1. Spatial distance of center of gravity of monthly yiled of light purse seine in Northwest Pacific月份
Month4 5 6 7 8 9 10 11 4 0 1.839 293 63 3.164 806 31 5.574 853 90 6.248 199 17 5.917 263 29 5.278 068 46 2.578 177 79 5 0 1.329 285 80 3.773 195 32 4.432 042 07 4.093 776 32 3.444 124 80 0.874 643 01 6 0 2.465 562 55 3.109 984 32 2.767 490 08 2.114 710 31 0.939 681 27 7 0 0.700 714 54 0.474 341 37 0.642 651 17 3.323 853 01 8 0 0.363 318 54 1.055 461 52 3.925 557 04 9 0 0.692 820 40 3.569 313 81 10 0 2.884 960 31 11 0 以年间产量重心计算可得，不同年份间的产量重心分布相对较为集中。年间欧式距离的产量重心的空间距离为0.197 (2016年/2017年)~1.800 (2014年/2019年)。2014年产量重心与其他年份产量重心的距离除2015年外均大于1；除2015和2019年外，其他年份两两间的产量中心距离均小于1。两相邻年份间的欧式距离介于0.197 (2016年/2017年)~0.794 (2015年/2016年，表2)。经聚类分析可得，若以空间距离1为阈值，则可将年产量重心分为4类，分别为2016、2017、2018年，2019年，2014年，2015年 (图12)。
表 2 西北太平洋灯光围网各年产量重心的空间距离Table 2. Spatial distance of center of gravity of annual yiled of light purse seine in Northwest Pacific年份
Year2014 2015 2016 2017 2018 2019 2014 0 0.537 588 1.195 859 1.174 308 1.265 307 1.800 555 2015 0 0.794 364 0.852 643 0.765 507 1.382 390 2016 0 0.197 484 0.342 053 0.605 805 2017 0 0.540 370 0.662 570 2018 0 0.691 375 2019 0 3. 讨论
3.1 CPUE分析
CPUE能否作为渔业资源丰度指数来表征资源密度的变化一直是渔业资源相关研究中争议的焦点[22-23]，但不可否认的是，通常假定CPUE即为资源丰度指数，与资源量、资源密度有呈正比的线性关系，并被广泛应用于渔业资源研究和渔业管理中[24-26]。不同情况下CPUE的计算方法有所区别，一般分为3类[27]：1) 直接用渔获量之和除以总捕捞努力量；2) 首先划定好空间分辨率 (本文为0.5°×0.5°)，用小区域内的总渔获量除以区域内的总捕捞努力量；3) 先求出每个点要素对应的CPUE值，然后划分好空间分辨率，对区域内的所有CPUE求均值。目前在西北太平洋灯光围网相关研究中，时常将时间、船的数量等作为捕捞努力量来计算CPUE[8,28-31]，并不以拖网渔船中常用到的渔船功率作为捕捞努力量，这是由灯光围网的作业方式所决定的，对其产量影响较大的是围网所围住的海域面积、灯光的诱集作用、鱼群的密度等，CPUE受年份、月份、纬度、船队、年份与纬度和年份与船队间的交互效应影响[32]，因此本文将作业时间和渔船数量作为捕捞努力量计算CPUE。
日本鲭是西北太平洋灯光围网的主要捕捞对象[8,29]，西北太平洋灯光围网的捕捞情况通常受日本鲭支配。据报道，西北太平洋渔业资源的产量和CPUE均具有明显的季节变化[28-30]，本研究显示渔获产量和CPUE 每年的变化规律基本一致，4—11月基本上呈现先增后降的趋势，本文得出的产量和CPUE月间变化规律与戴澍蔚等[29]对2014—2015年日本鲭的研究结果类似。渔船自4月出航并进行渔场的找寻，因此开始捕捞月份的渔获产量通常较低[29]。庄之栋等[33]研究指出，8—10月西北太平洋日本鲭处于索饵洄游期，相对集中；9—10月处于生物学较大值，产量和CPUE均较大；11月较大的风浪对捕捞产生了一定影响，因此渔获产量和CPUE均受影响[29]。本研究还显示，CPUE在统计年间出现了逐年递减的趋势，而对此并没有可靠的解释，管理措施的实施、渔船数量的变化、一天内捕捞作业的时长等均可能对其产生影响，后续需对此作更深入的研究。
3.2 渔获量及渔获物组成分析
远洋渔业与近海渔业最大的区别在于海域与作业方式，远洋渔业的资源种类较为单一。本研究统计到8种渔获物，以日本鲭、远东拟沙丁鱼、巴特柔鱼、秋刀鱼为主，而日本鲭在产量比重和时空分布上均占绝对优势，这与徐博等[28]的研究结果一致。董秀强等[8]在西北太平洋的灯光围网调查发现，主要渔获物为日本鲭、柔鱼和远东拟沙丁鱼，其中日本鲭占绝对优势，产量占比为81.77%，丰富度指数为0.84。本研究发现，远东拟沙丁鱼的产量比重逐年增加，2019年增至40.52%，正逐渐成为西北太平洋灯光围网的主要捕捞鱼种之一，下一步可加强对远东拟沙丁鱼的相关研究。渔获种类数量在年间和月间均存在一定差异，各渔获种类的产量和CPUE在年间和月间的差异较大，菱鳍乌贼、细鳞乌鲂、日本乌鲂和扁舵鲣仅在个别年份的个别月出现，原因可能是捕捞随日本鲭而发生了移动，而捕捞位置的海洋环境并不是这些鱼种最适的生存条件，也有可能是灯光围网作业方式达到的水层较浅或相应的光照强度、光色等不适合捕捞这些鱼种。相关研究指出，不同种类的鱼类趋光性不同，具有正向趋光性的多为中上层鱼类，如鲐鲹类、沙丁鱼、秋刀鱼、竹䇲鱼等[34]，而具有趋光性的不同鱼种的感光范围有差异，如日本鲭的感光介于0.01~14 lx[35]，秘鲁外海茎柔鱼 (Dosidicus gigas) 的适宜照度为0.2~1.0 lx[36]。因此，集鱼灯的类型可能对渔获种类造成一定影响。
3.3 渔场变动及其影响因素
西北太平洋渔场介于145°E—155°E、35°N—43°N，渔场重心具有明显的季节变化。在统计年份中，每年渔场重心的变化趋势一致，从4月开始逐渐向东北方向移动，8—10月到达最北端，然后向西南方向折返。因西北太平洋灯光围网主要捕捞对象为日本鲭，故渔场重心的变化与日本鲭渔场重心的变化以及日本鲭的洄游路线存在一定的相似性[28-30]。有研究指出，捕捞渔船的作业路线是渔获量重要的影响因素[37]。Sukyung等[38]通过对1970年以来西北太平洋日本鲭的捕捞量、补充量和生物量等捕捞数据，以及温度、盐度和经向风强度等环境数据的研究发现，随着海温的升高，日本鲭的栖息地出现逐渐向北扩展的现象，本文也发现了西北太平洋渔场逐年向东北方向移动的现象，但具体结论还需要更长时间序列和更完善的数据支撑。
渔场变动与环境因素息息相关[38]。水温是影响渔业资源生存状态的重要因素[39]。王良明等[31]通过对西北太平洋进行定点调查得出，春季渔场海表温度 (SST) 介于7~19 ℃，最适SST为11~15 ℃；夏季渔场SST介于8~24 ℃，最适SST为8~12 ℃。Cheunge等[40]指出，日本鲭的栖息水温一般为10~27 ℃，最适栖息水温约为25 ℃。徐博等[28]研究显示日本鲭的最适SST为13~20.18 ℃。Sukyung等[38]研究发现随着海温的升高，日本鲭的栖息地随之发生变化。全球气候变暖导致SST过高，会对日本鲭栖息地造成很大影响[41]。此外，西北太平洋秋刀鱼、柔鱼、金枪鱼等的作业渔场水温与日本鲭有所重合。晏磊等[42]研究认为，秋刀鱼渔场分布于SST 10~17 ℃的海区，最佳捕捞SST为10~13 ℃；唐峰华等[43]研究指出，北太平洋柔鱼最适SST为14~19 ℃；张衡等[44]指出，金枪鱼的渔获量主要分布介于16~23 ℃内。
海流的分布和变化对于渔场的形成和消失有重要影响[45]。本研究发现2014—2019年渔场的重心往东北方向偏移，在经度上东移0.92°，在纬度上北移1.57°。黑潮暖流和亲潮寒流共同影响着西北太平洋的生物地理环境，是渔场空间格局形成和变动的关键因素，尤其是黑潮蛇行的发生对渔场中下层的海水温度有很大影响，而且在黑潮逆流区表层以下观测到小范围不规则水流的存在，这种水流造成了中层水域温度及其他因子的波动，从而对西北太平洋渔业、生态系统以及气候环境等产生重要影响[46-47]。相关研究表明，黑潮暖流和亲潮寒流的强弱变化对于同一海区的SST、温度变化程度影响显著，从而影响渔期爆发的时间及其长短[43]。不同水系、不同水团所形成的锋区和温跃层与具有洄游习性种类的洄游和垂直活动密切相关[48]，例如在日本海和太平洋沿岸，太平洋褶柔鱼 (Todarodes pacificus) 幼体的活动路线随黑潮主轴的移动路径而变化[49]。日本鲭渔场主要是流隔型渔场，洄游路线与海流密切相关，同时受海洋环境影响较大[50]。太平洋年际震荡现象、南方涛动和北极涛动等气候事件也对渔业资源的分布有着重要影响[51]。海流可以改变叶绿素a的浓度，而叶绿素a是影响渔业资源分布的重要因素，是估算海洋生产力的基本指标，其含量通常用于表征浮游植物生物量，从食物链的角度来看，与渔场分布存在间接关系[52]，因此常被用于预测渔场位置[53-54]。唐峰华等[43]指出，可以利用叶绿素a浓度和分布情况辅助水温来分析暖寒流交汇区域的变化情况。长期的寒暖流交汇作用，导致表层及垂直水温的变化，很有可能是驱动渔场整体向东北移动的一个关键因素，但需要结合更深入和大尺度的遥感GIS追踪研究来剖析。渔场的形成也是气象要素、海洋水文特征、饵料、气候变化等其他多种因素互相作用的结果。
-
![]()
图 2 类间相似和类内差异
Figure 2. Subtle differences between species and dramatic changes among same species
![]()
图 6 MF-Net模型不同预处理方式的识别结果
Figure 6. Recognition results based on different pro-processing strategies in proposed MF-Net
![]()
图 7 MF-Net 模型不同block结构的识别性能
Figure 7. Recognition results based on different block structures in proposed MF-Net
![]()
图 8 MF-Net模型中不同下采样策略
Figure 8. Recognition results based on different down sampling strategies in proposed MF-Net
![]()
图 9 基于不同损失函数的识别性能
Figure 9. Recognition results based on different loss functions in proposed MF-Net
表 1 主流识别模型性能对比
Table 1 Comparison of different generic recognition methods
模型
Model浮点运算次数
Floating point operations per second/G参数量
Parameter quantity/MAcc-1准确率
Acc-1 accuracy/%召回率
Recall/%精确率
Precision/%F1分数
F1-scoreResNet-50 4.130 25.60 82.60 72.97 78.09 0.724 ResNet-50 (标签平滑
Label smoothing)4.130 25.60 85.10 76.45 80.27 0.761 GhostNet 0.156 5.18 83.31 75.21 78.85 0.746 ConvNext 15.400 87.50 84.27 76.20 79.62 0.759 MF-Net 1.740 10.40 86.80 78.37 81.80 0.781 
下载: 导出CSV
表 2 蝴蝶数据集下不同长尾模型识别性能
Table 2 Comparison of accuracy with different long-tailed methods on butterfly dataset
模型
ModelAcc-1 准确率
Acc-1 accuracy/%头部类别精度
Many-shot/%尾部类别精度
Few-shot/%DRC 80.90 87.27 69.03 BBN 82.20 88.02 68.97 ResNet-50 80.90 86.09 66.66 GhostNet 82.20 86.55 68.33 ConvNext 82.70 86.58 68.09 MF-Net 83.80 89.40 72.55
下载: 导出CSV
表 3 鱼类数据集下不同长尾识别模型对比
Table 3 Comparison of different long-tailed methods on fish dataset
模型
ModelAcc-1准确率
Acc-1 accuracy/%头部类别精度
Many-shot/%尾部类别性能
Few-shot/%BBN 84.37 89.43 72.55 DRC 83.59 88.73 69.80 MF-Net 86.80 90.17 76.53
下载: 导出CSV
表 4 平衡鱼类数据集下不同识别模型损失对比
Table 4 Comparison of different recognition methods with different losses in balanced fish dataset
模型
Model浮点运算次数
Floating point operations per second/G参数量
Parameter quantity/MAcc-1准确率
Acc-1 accuracy/%召回率
Recall/%F1分数
F1-scoreResNet-50 (交叉熵 Cross entropy) 4.130 25.60 90.32 90.04 0.892 ConvNext (交叉熵Cross entropy) 15.400 87.50 91.85 90.07 0.901 GhostNet (交叉熵Cross entropy) 0.156 5.18 91.34 90.37 0.905 MF-Net (交叉熵Cross entropy) 1.740 10.40 94.50 94.19 0.943 ResNet-50 4.130 25.60 89.80 88.87 0.889 ConvNext 15.400 87.50 92.50 92.24 0.925 GhostNet 0.156 5.18 92.25 92.16 0.923 MF-Net 1.740 10.40 94.05 93.73 0.937
下载: 导出CSV
-
[1] PRIMO A L. Ecology of marine fish larvae[M]//WALTER L F, ANABELA M A, LUCIANA B, et al. Encyclopedia of the UN sustainable development goals, life below water. New York: Springer Nature, 2021: 1-10.
[2] LI D L, WANG Z H, WU S Y, et al. Automatic recognition methods of fish feeding behavior in aquaculture: a review[J]. Aquaculture, 2020, 528: 735508. doi: 10.1016/j.aquaculture.2020.735508
[3] 麦广铭, 陈志劼, 王学锋, 等. 南海北部沿岸鱼类分类学多样性的空间格局[J]. 南方水产科学, 2022, 18(3): 38-47. doi: 10.12131/20210117 [4] CHEN W H, LIU J Y, ZHANG Y P, et al. Current status and accics of research on smart fishery in China: a literature review based on CNKI (2000−2022)[J]. Int J Environ Sustain Protect, 2023, 2(4): 24-32.
[5] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016: 770-778. DOI: 10.1109/CVPR.2016.90.
[6] LIU Z, LI Y T, CAO Y, et al. Swin transformer: hierarchical vision transformer using shifted Windows[C]//2021 IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, QC, Canada, 2021: n9992-10002. DOI: 10.1109/ICCV48922.2021.00986.
[7] ZHUANG P Q, WANG Y L, QIAO Y. Wildfish++: a comprehensive fish benchmark for multimedia research[J]. IEEE T Multimedia, 2021, 23: 3603-3617. doi: 10.1109/TMM.2020.3028482
[8] LIU Z H, JIA X J, XU X S. Study of shrimp recognition methods using smart networks[J]. Comput Electron Agric, 2019, 165: 104926. doi: 10.1016/j.compag.2019.104926
[9] 汪小旵, 武尧, 肖茂华, 等. 水产养殖中智能识别技术的研究进展[J]. 华南农业大学学报, 2023, 44(1): 24-33. doi: 10.7671/j.issn.1001-411X.202204013 [10] YANG X T, ZHANG S, LIU J T, et al. Deep learning for smart fish farming: applications, opportunities and challenges[J]. Rev Aquac, 2021, 13(1): 66-90. doi: 10.1111/raq.12464
[11] RUM S N M, NAWAWI F A Z. FishDeTec: a fish identification application using image recognition approach[J]. Int J Adv Comp Sci Appl, 2021, 12. DOI: 10.14569/IJACSA.2021.0120312.
[12] 李均鹏, 祝开艳, 杨澍. 基于迁移学习的复杂场景海洋鱼类识别方法[J]. 计算机应用与软件, 2019, 36(9): 168-174. doi: 10.3969/j.issn.1000-386x.2019.09.030 [13] 姚润璐, 桂詠雯, 黄秋桂. 基于机器视觉的淡水鱼品种识别[J]. 微型机与应用, 2017, 36(24): 37-39. [14] CHRISTENSEN J H, MOGENSEN L V, GALEAZZI R, et al. Detection, localization and classification of fish and fish species in poor conditions using convolutional neural networks[C]. 2018 IEEE/OES Autonomous Underwater Vehicle Workshop (AUV), Porto, Portugal, 2018: 1-6. DOI: 10.1109/AUV.2018.8729798.
[15] PRAMUNENDAR R A, WIBIRAMA S, SANTOSA P I. Fish classification based on underwater image interpolation and back-propagation neural network[C] 2019 5th International Conference on Science and Technology (ICST), Yogyakarta, Indonesia, 2019: 1-6.
[16] POUYANFAR S, TAO Y D, MOHAN A, et al. Dynamic sampling in convolutional neural networks for imbalanced data classification[C]//2018 IEEE Conference on Multimedia Information Processing and Retrieval (MIPR), Miami, FL, USA, 2018: 112-117. DOI: 10.1109/MIPR.2018.00027.
[17] KANG B Y, XIE S N, ROHRBACH M, et al. Decoupling representation and classifier for long-tailed recognition[J]. arXiv, 2020: 1910.09217v2. DOI: 10.48550/arXiv.1910.09217.
[18] ZHANG S Y, LI Z M, YAN S P, et al. Distribution alignment: a unified framework for long-tail visual recognition[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 2021: 2361-2370. DOI: 10.1109/CVPR46437.2021.00239.
[19] CUI Y, JIA M L, LIN T Y, et al. Class-balanced loss based on effective number of samples[C/OL]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019: 9268-9277. [2023-11-10]. https://openaccess.thecvf.com/content_CVPR_2019/papers/Cui_Class-Balanced_Loss_Based_on_Effective_Number_of_Samples_CVPR_2019_paper.pdf.
[20] ZHOU B Y, CUI Q, WEI X S, et al. BBN: Bilateral-branch network with cumulative learning for long-tailed visual recognition[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2020: 9716-9725. DOI: 10.1109/CVPR42600.2020.00974.
[21] WANG W Q, ZHAO Z C, WANG P Y, et al. Attentive feature augmentation for long-tailed visual recognition[J]. IEEE T Circ Syst Vid Technol, 2022, 32(9): 5803-5816. doi: 10.1109/TCSVT.2022.3161427
[22] PANG S M, WANG W Y, ZHANG R Z, et al. Hierarchical block aggregation network for long-tailed visual recognition[J]. Neurocomputing, 2023, 549: 126463. doi: 10.1016/j.neucom.2023.126463
[23] HAN K, WANG Y H, TIAN Q, et al. GhostNet: more features from cheap operations[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2020: 1577-1586. DOI: 10.1109/CVPR42600.2020.00165.
[24] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016: 2818-2826. DOI: 10.1109/CVPR.2016.308.
[25] PAN F Y, LI S K, AO X, et al. Warm up cold-start advertisements: improving ctr predictions via learning to learn ID embeddings[C]//SIGIR'19: Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval, July 2019: 695-704. DOI: 10.1145/3331184.3331268.
[26] LOSHCHILOV I, HUTTER F. SGDR: Stochastic gradient descent with warm restarts[J/OL]. arXiv, 2017: 1608.03983v5. https://arxiv.org/pdf/1608.03983.pdf.
[27] WOO S, DEBNATH S, HU R H, et al. Convnext v2: Co-designing and scaling convnets with masked autoencoders[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada, 2023: n16133-16142. DOI: 10.1109/CVPR52729.2023.01548.
[28] XU C D, CAI R J, XIE Y H, et al. Fine-grained butterfly recognition via peer learning network with distribution-aware penalty mechanism[J]. Animals, 2022, 12(20): 2884. doi: 10.3390/ani12202884
-
期刊类型引用(5)
1. 贡艺，梁茜，李云凯，刘必林，牛成功. 西北太平洋桡足类稳定同位素特征及其影响因素. 生态学杂志. 2024(02): 505-513 . 
百度学术
2. 刘思源，张衡，杨超，方舟. 西北太平洋远东拟沙丁鱼与日本鲭种群动态特征及其与环境因子关系研究进展. 大连海洋大学学报. 2023(02): 357-368 . 百度学术
3. 刘思源，张衡，杨超，方舟. 基于最大熵模型的西北太平洋远东拟沙丁鱼和日本鲭栖息地差异. 上海海洋大学学报. 2023(04): 806-817 . 百度学术
4. 赵国庆，陈俊霖，张衡，唐峰华，陈云云，贺建文. 西北太平洋公海日本鲭生物学特征研究. 海洋渔业. 2023(04): 385-402 . 百度学术
5. 刘乙蒙，刘洋，刘必林，俞晔伟，宋成辉，王丛丛. Cyt b和12S rRNA基因条形码在灯笼鱼科鱼类物种鉴定中的应用. 中国水产科学. 2023(09): 1112-1126 . 百度学术
其他类型引用(4)
计量
- 文章访问数: 0
- HTML全文浏览量: 0
- PDF下载量: 0
- 被引次数: 9
粤公网安备 44010502001741号
