皮蛋是一种历史悠久的传统蛋制品，其口味独特、营养价值丰富。长期以来，皮蛋成熟度检测仍然依靠人工的感官检测。这些方法繁琐低效，不仅具有破坏性，还造成资源的浪费，不能满足皮蛋行业成熟度快速检测的需求。高光谱成像技术能高效、无损检测禽蛋的内部品质。一些研究强调了使用高光谱技术对鸡蛋内部品质进行无损检测的可能性。华中农业大学工学院陈远哲，王巧华*，范维，刘世伟，林卫国等人以腌制期皮蛋为研究对象，采集不同成熟度皮蛋的高光谱信息，提出二维相关光谱（2DCOS）图像结合深度学习的方法，建立光谱图像与皮蛋成熟度的鉴别模型，以准确预测腌制期皮蛋的成熟度。1腌制期皮蛋原始光谱曲线分析图3为不同成熟度皮蛋样本在腌制过程中的平均光谱曲线。透射率曲线在421、480、614nm和679nm处出现较为明显的波峰、波谷。其中，421nm处与皮蛋内容物色素相关，可以用来监测皮蛋在成熟度过程中颜色的变化；480nm出现第1次透射率波谷，这可能是由于蛋壳中孔洞数量和内膜结构特性对凝胶质量的影响；614nm附近的最高波峰是区分不同腌制期皮蛋的关键波长；此外，在844nm处存在波谷拐点，该波长处主要与蛋白凝胶中的—CH2结构相关，925nm处的波峰主要与水分子的O—H键拉伸的第二泛音有关，这可能是因为在腌制期皮蛋内容物凝固导致水分发生了变化。因此，根据光谱数据的差异，可以对腌制期皮蛋的成熟度进行鉴别。2样本集的划分实验样本共有240枚皮蛋，对于一维光谱数据，为避免随机划分样本的不均衡，利用光谱理化值共生距离法结合光谱信息按照3∶1比例进行训练集、测试集划分，训练集样本为180枚、测试集为60枚。为了对比分析一维光谱数据与二维相关光谱的模型效果，对二维相关光谱图像数据进行样本划分，同时为了增加神经网络的鲁棒性并减少过拟合，采用翻转、镜像等数据增强方式对样本集进行扩充，最终得到同步谱、异步谱和集成光谱图像各2400张，然后按照3∶1∶1的比例划分训练集、验证集和测试集。3一维光谱数据的分析3.1时间序列下一维光谱特征的相关性分析由图4和表1可知，在时间序列下由去除包络线和一阶求导联合变换后（CR-FD）的光谱透射率与腌制时间的相关性整体最高，其相关性曲线表现为正负交叉，同时波峰波谷增多，在512～621、797～1000 nm波段处达到极显著相关水平（P＜0.01），614 nm处的光谱透射率与腌制时间的相关性最高，为0.953。这也和上述分析得出614nm附近的波长是区分不同成熟度关键波长的结论一致；因此，选择512～621、797～1000 nm波段的CR-FD光谱透射率用于一维光谱数据的研究波段。3.2一维光谱特征波长的提取为突出特征波长筛选的优越性，本实验采用无信息变量去除（UVE）法和竞争性自适应重加权采样（CARS）算法对经CR-FD变换后的一维光谱集512～621、797～1000nm（270个波长）筛选特征波长。如图 5a所示，设置噪声矩阵稳定值的 99%作为剔除阈值，光谱变量的稳定值分布在左侧，随机变量的稳定值分布在右侧，以阈值± 2.06为界，两条水平线之间的变量将被剔除，最终经 UVE提取出 23个波长变量。从图 5c1可以看出，随着采样次数增加到 30次，与时间序列高度相关的变量被保留，导致均方根误差下降；在运行 30次之后，直到删除一些敏感波段变量时，导致均方根误差值增加，如图 5c 3所示，经 CARS最终提取 30个最佳波长变量。图 5b、 d分别为波长筛选后的光谱索引图。4二维相关光谱图像的分析4.1 2DCOS的图谱特征分析以腌制时间为扰动因子，表征高光谱信号的敏感强度。根据Noda的二维光谱理论，同步二维相关光谱关于主对角线对称，对角线上的峰称为自相关峰，它的强度反映光谱信号随时间序列变化的强度，与本研究同步谱的自相关峰对比符合这一理论，同时出现的自相关峰与对应的基团变化有关，表明该波长是与时间序列有关的敏感波长，故用作主要的特征波段的研究区域；异步谱是由两侧交叉峰组成，它反映在时间序列变化时各个吸收峰之间的相关程度，辅以用于特征波段范围的选择。图6为所有皮蛋样本随时间序列变化的同步和异步2DCOS图。图6a可以发现，对角线上共出现4个自相关峰，在429 nm和483 nm处存在两个较弱的自相关峰，429 nm附近处的基团振动峰与腌制期皮蛋的凝胶颜色变化有关，且该波长点所对应的峰在原始光谱曲线中并无出现，表明二维光谱能将重叠的峰分辨出，483 nm附近的振动峰与蛋壳结构中的蛋白吸收有关；同时，由图6b可以看出，（486，523）处出现正的交叉峰，表明这两处的基团对时间序列的扰动具有协同作用，在（526，487）处出现负的交叉峰，说明其响应相反；在836 nm处出现较强的自相关峰，原始光谱在该波长附近也有波谷出现，此波长与皮蛋凝胶蛋白的C—H键有关；在625 nm出现了最强的自相关峰，表明该波峰受腌制时间的影响最大，主要归因于对腌制期凝胶蛋白N—H键的强吸收所致；在（604，567）处出现正的交叉峰，其中567 nm与N—H键振动的三级倍频有关，与604 nm对应的基团吸收峰强度相同，表明该处波长也与N—H相关，同时在（571，596）处也出现一个负的交叉峰。据上，自相关峰对应的波长多与凝胶颜色、N—H、C—H键相关，这与皮蛋在腌制期颜色变化、凝胶变化的结果一致，表明429、483、625 nm和836 nm处的光谱信号对皮蛋腌制期的时间序列较敏感，故选择429～836 nm作为皮蛋成熟度二维光谱图像的研究波长范围。4.22DCOS图像的提取本研究选择429～836 nm波段范围计算每个样本的同步、异步和集成光谱。不同腌制时期的同步、异步和集成2DCOS光谱图如图7所示。同步谱揭示了在时间序列下腌制时间作为扰动因子时自相关峰对应基团振动强度变化的相关性，它具有清晰的峰形状和高分辨率，并且在强度、数量和相对位置上不同，这可以表征皮蛋在腌制期不同成熟度的差异，但对模型的性能的影响需要进一步分析。异步光谱图像仅具有交叉峰，这有助于区别不同波段之间的重叠峰，然而在本研究中异步光谱图像较复杂多变，因此无法直观进行分析，这可能是由于皮蛋内部凝胶的复杂特性造成。集成光谱图像是由同步和异步光谱相关强度的乘积得到，与异步光谱相比，它具有更清晰特征的相关光谱。与同步光谱相比，一些特征光谱的信息有所被忽略，需要进一步建立模型进行辨别。5一维光谱建模分析采用UVE和CARS提取变换后CR-FD光谱的特征波长，将分别得到的23个和30个波长变量分别导入到常用的机器学习PLS-DA和SVM分类模型。为了验证模型的性能，加入全波长光谱进行比较分析。由表2可知，降维后的模型准确率虽均高于全光谱，但机器学习对较为复杂的模型拟合效果不佳，本研究使用的机器学习模型训练集的精度高于测试集，出现了过拟合现象。而深度学习引入了局部连接和权值共享机制，在拟合复杂模型时具有明显的优势，故考虑使用2DCOS图像结合深度学习用于皮蛋成熟度的检测。62DCOS模型的建立与预测6.1网络模型的搭建针对皮蛋成熟度之间的差异，通过分析模型的准确率、参数量、识别速率等因素，选用ResNet18为基础网络进行优化改进。同时，2DCOS图像的特征较为复杂，这对数据增强后样本集关键区域的识别要求更高，因此加入注意力机制SE模块提高特征区域的提取，提高网络的分类性能。针对皮蛋成熟度的识别，改进的ResNet网络结构如图8所示。其中输入端是同步光谱、异步光谱和集成光谱图像。输入数据经过一层卷积运算、归一化和非线性激活。然后，将处理后的数据输入7个Identity模块和2个Conv模块组成的18层卷积神经网络进行特征提取。采用全局平均池化减少全连接层的参数并提取关键特征。Flatten层将多维数据转换为一维，最后全连接层将学习到的分布式特征映射到样本标签空间。网络的具体改进内容如下：1）将网络的输入由原来的224×224×3改为300×300×3，以增加网络的预测精度。2）ResNet18共有4个Identity模块和4个Conv模块。为了提升模型的泛化能力以及更好地拟合特征，将Identity模块增加至7个，而Conv模块减少至2个，加上第1阶段和第5阶段的Conv层和全连接层共有20层网络。3）将注意力机制SE模块分别嵌入到ResNet网络的第2、3、4阶段的残差模块。其中在第2和第3阶段嵌入在Identity模块和Conv模块中间，在第3阶段嵌入到Identity模块之前，以此增加网络对关键区域特征的关注度，过滤无用信息提高模型的准确性。改进后的网络模型命名为ResNet20_SE。改进后的ResNet20_SE网络模型参数如表3所示。6.2模型训练实验在
[email protected]、16GB内存、RTX3060GPU、64位Windows11操作系统、Python3.7和Keras框架下进行。Batchsize设置为32，选择epoch迭代次数为200，学习率为0.0001，使用Adam优化器进行计算，对网络模型进行训练和验证。为验证ResNet20_SE的性能，加入原网络ResNet18作为对比。如图9所示，基于不同数据集的交叉熵损失函数训练结果，对比ResNet18网络，在训练200轮的情况下，3个数据集中ResNet20_SE网络都表现出较优的效果，这是由于改进后Conv模块的减少缩减了模型的计算量，使得在保证模型准确率的情况下更快达到收敛效果，同时得益于SE模块的嵌入，网络更加关注于关键区域的识别，最大化地缩小预测值与实际值的差异，使网络获得更小的损失值。结果表明，改进后的ResNet20_SE较原始网络模型具有更好的鲁棒性。其中，同步光谱图像的ResNet20_SE模型的损失值最小，维持在0.01水平；集成光谱次之，相较而言异步光谱最大。6.3模型测试及结果分析选用ResNet20_SE模型分别在3种数据集的480副图像上进行测试，图10为测试结果的混淆矩阵，表4为不同光谱图像分类的精确率和召回率。结果表明，同步光谱对于不同腌制期皮蛋分类的ResNet20_SE模型性能最好，6种腌制期的识别召回率分别为100%、97.50%、96.25%、98.75%、93.75%和97.50%，模型具有较高的识别精度和鲁棒性，这也和验证集损失函数的结论一致。进一步发现，在腌制第22天时，模型将4个同步光谱图像误判为第27天，这是因为在腌制20 d之后，皮蛋凝胶基本凝固，致使样本图像之间差异减小。进一步，选用未数据增强的30副原始同步光谱图像进行可视化检测，采用较优的同步光谱ResNet20_SE模型应用于高光谱图像中，计算每个像素点的数值，采用伪彩色技术对6种不同腌制期成熟度进行赋值判别，并将判别结果进行可视化，结果如图11所示。数值0代表背景，1～6表示被判别的6个腌制期，认定为不同的成熟度。除了22 d的1个样本被误判为27d，其余样本像素点均全部准确识别。该结果验证了使用高光谱成像结合深度学习方法对皮蛋成熟度鉴别的可行性。7一维光谱与2DCOS模型的比较将一维光谱数据建立的PLS-DA、SVM和2DCOS图像建立的ResNet20_SE腌制期成熟度鉴别模型进行对比分析。模型性能如表5所示，其中，传统机器学习下的一维光谱数据的准确率可以达到85%以上，但模型泛化能力弱，存在过拟合现象，不能作为最优模型；而对于ResNet20_SE模型，3种数据集下的整体准确率均达到90%以上，特别是同步光谱下的整体准确率达到97.29%，且单张图像平均检测时间为24.62ms。可以看出，本实验改进的ResNet20_SE模型能较为理想地兼顾识别准确率和检测速率。结论经不同变换下的一维光谱数据可以提高时间序列下腌制时间与光谱变量的相关性。其中，CR-FD变换后的光谱集透射率在512～621、797～1000 nm对腌制时间敏感。而基于2DCOS方法，以腌制时间为扰动因子，429～836 nm作为皮蛋成熟度2DCOS图像的研究波长范围。一维光谱和2DCOS图像所建立的模型结果表明，改进后的ResNet20_SE模型最优，对同步光谱数据集的识别准确率可以达到97.29%，且单张图像平均检测时间为24.62ms，可以满足工厂的实际检测需求。可视化的检测结果可知，使用高光谱成像结合深度学习模型可以对腌制期皮蛋成熟度准确鉴别。本文《二维相关光谱图像结合深度学习用于皮蛋成熟度的高光谱无损检测》来源于《食品科学》2023年44卷第24期286-296页，作者：陈远哲，王巧华，范维，刘世伟，林卫国。https://doi.org/10.7506/spkx1002-6630-20230111-085。点击下方阅读原文即可查看文章相关信息。实习编辑；云南农业大学食品科技学院 李曦明；责任编辑：张睿梅。点击下方阅读原文即可查看全文。图片来源于文章原文及摄图网。为了帮助食品及生物学科科技人员掌握英文科技论文的撰写技巧、提高SCI期刊收录的命中率，综合提升我国食品及生物学科科技人员的高质量科技论文写作能力。《食品科学》编辑部拟定于2024年8月1—2日在武汉举办“第11届食品与生物学科高水平SCI论文撰写与投稿技巧研修班”，为期两天。长按或微信扫码了解详情为提高我国食品营养与安全科技自主创新和食品科技产业支撑能力，推动食品产业升级，助力‘健康中国’战略，北京食品科学研究院、中国食品杂志社、国际谷物科技学会（ICC）将与湖北省食品科学技术学会、华中农业大学、武汉轻工大学、湖北工业大学、中国农业科学院油料作物研究所、中南民族大学、湖北省农业科学院农产品加工与核农技术研究所、湖北民族大学、江汉大学、湖北工程学院、果蔬加工与品质调控湖北省重点实验室、武汉食品化妆品检验所、国家市场监管实验室（食用油质量与安全）、环境食品学教育部重点实验室共同举办“第五届食品科学与人类健康国际研讨会”。会议时间：2024年8月3—4日，会议地点：中国 湖北 武汉。长按或微信扫码了解详情研讨会招商招展联系人：杨红；电话：010-83152138；手机：13522179918（微信同号）
