基于改进残差网络的黑毛猪肉新鲜度识别

　　摘要：为了提高猪肉新鲜度的识别准确率，提出基于改进残差网络和迁移学习的猪肉新鲜度识别方法，首先，根据猪肉的微生物菌体浓度、大肠菌体和pH值，结合国家标准，将猪肉新鲜度分为7个类别；将Resenet-50模型用PfidSet数据集训练，使其具有抽取图像特征的能力；再利用模型迁移和模型微调的思想对Resenet-50模型进行改进，即，用一个3层的自适应网络取代Resenet-50模型的全连接层和分类层；再使用在PfidSet上训练的网络参数初始化改进的Resenet-50模型权重；运用LReLU-Softplus作为自适应网络的激活函数；最后，将改进Resnet50模型在猪肉样品的图像数据集上学习得到的知识，迁移到黑毛猪肉新鲜度识别任务上来；选取7类共计23427幅黑毛猪肉图像组成样本集，从样本集中随机选择80%的样本用作训练集，剩余20%用作测试集。试验结果表明，迁移学习能够明显提高模型的收敛速度和识别性能，数据扩充有助于增加数据的多样性，避免出现过拟合现象；在迁移学习和数据扩充方式下的分类准确率高达94.5%，是一种高效的猪肉新鲜度分类方法。

　　关键词：猪肉新鲜度；迁移学习：LReLU-Sofplus激活函数：改进残差网络

　　引言

　　猪肉在存放过程中，酶的作用以及微生物的污染或宰杀前患病等原因，会造成猪肉自溶、腐败分解等变化，导致猪肉新鲜度下降。猪肉成分的分解，必然使其营养价值降低，而且参与腐败的微生物和毒素，以及腐败后产生的有毒分解物，可能引起食用者中毒和疾病。

　　猪肉质变是个渐进过程，受诸多因素的影响。因此快速地识别猪肉品质和安全性有助于维护消费者的健康和切身利益。

　　猪肉品质的评价指标是颜色、质地、pH值、嫩度、新鲜度等，新鲜度反映微生物、理化和生化特性，是评价肉品质和安全性的重要指标。猪肉的主要成分（蛋白质、脂肪和碳水化合物）被酶和细菌分解，产生气味；猪肉中的蛋白质将逐渐分解为氢、硫化物、氨、乙基硫醇等，产生包括组胺、酪胺、腐胺和色胺有毒小分子；脂肪会分解成醛类化合物和醛酸；碳水化合物会分解醇类、酮类、醛类、烃类和羧酸类酸性气体。在贮藏过程中，这些物质和其他碱性氮化合物一起会影响猪肉的颜色、纹理和形状特征。

　　理化分析挥发性盐基氮（Total volatile basic nitrogen，TVB-N）和微生物种群是猪肉新鲜度检测的常规方法，但是该方法是有损、低效和耗时的。近红外（Near-infrared，NIR）光谱具有快速、简单检测肉品性状的能力，将其与计算机视觉（Computer vision，CV）结合起来评估猪肉新鲜度，已经取得了较好的效果，高光谱结合成像技术也在食品品质检测中得到了应用，利用高光谱图像（Hyperspectral imaging，HSD）技术检测猪肉中细菌总数（Total viable count，TVC），效果良好；用HSI评估硝肉的新鲜度，也获得较好的检测结果。多光谱成像（Multispectral imaging，MSI）和HIS一样是新型的检测技术，它们将图像和光谱结合起来，以获得检测对象的空间信息和光谱信息，实现对猪肉新鲜度高精度的无损检测。将MSI与线性算法相结合，检测有氧包装牛肉在不同贮藏温度下的品质状况，结果表明，其对牛肉腐烂等级有较好的分类效果。MSI与线性偏最小二乘回归（Partial least squares regression，PLSR）相结合，检测熟猪肉香肠中需氧平板数（APC）的快速无损技术，体现出良好的检测能力。

　　近红外、高光谱和多光谱检测设备价格高昂，使得这些设备只能是一种实验室研究设备。因此，为了满足消费者的需要，研究低成本的猪肉新鲜度检测方法尤为重要。

　　随着深度学习和计算机视觉技术的快速发展，开发基于深度学习和计算机视觉的猪肉新鲜度识别系统成为可能。迁移学习是运用在大样本数据集上训练好的模型，再提取小样本特征，为小样本检测对象的识别提供途径。

　　黑毛猪是淮猪的一个品系，是生长于淮北平原的地方优良品种，由于现有淮猪肉不同新鲜度图像样本数量较少，因此对其新鲜度的识别就较难。

　　针对小样本黑毛猪肉新鲜度识别问题，本文提出一种改进残差网络的黑毛猪肉新鲜度识别模型，以兽医病理生物学与疫病防控安徽省重点实验室多年积累的各类猪肉新鲜度图像为样本数据集（Pork freshness image as data set，PfidSet），并完成分类标注。运用残差网络（Residual networks，ResNet）ResNet-50在该数据集上进行识别训练，构建残差网络ResNet-50的参数模型；然后运用迁移学习和模型微调的思想，将训练好的ResNet-50模型迁移到黑毛猪肉图像数据集（Iberico pork image data set，Ipidset）中微调，实现在黑毛猪肉图像样本较少的情况下完成黑毛猪肉新鲜度的识别。

　　1  试验数据

　　黑毛猪肉新鲜度分级的主要依据是微生物菌群总量、大肠菌群和pH值。大肠菌群的计数方法是根据GB/T 4789.32-2002《食品大肠菌群快速检验标准》；微生物菌落总数计数是根据GB 47892-2010《食品微生物菌落总数测定标准》：pH值是根据GB5009.237-2016《食品测定标准》。因此，黑毛猪肉图像样本的设计思路是：采用正常宰杀、未经冷冻处理的黑毛猪后腿部位肌肉和脂肪组织，拍照保存为新鲜的猪肉样本图像。把新鲜猪肉样本分为A，B.C共3组。其中A组样本由14块肉组成，每两块放进一个密封袋，共7份；B组样本由12块肉组成，每两块肉放进一个密封袋，共6份；C组样本由10块肉组成，每两块放进一个密封袋，共5份。

　　将3组样本放进-20℃环境保存，1d后，拿出标签为A的全部样本放进4℃环境继续保存1d，再取A组样本的第1份猪肉样本编，分别统计其微生物菌群总量和大肠菌群，检测pH值。

　　然后，从-20℃冷冻的环境中取出保存两天的B组肉样本放在4℃环境保存1d后，再取出A组样本的第2份样本和B组样本的第1份样本分别编号，分别统计其微生物菌群总量和大肠菌群，检测pH值。

　　最后，把C组样本全部从保存3d的-20℃环境中取出，放进4℃环境保存1d，再取出A组样本的第3份、B组样本的第2份和C组样本的第1份样本，分别编号，分别统计其微生物菌群总量和大肠菌群，检测pH值。

　　以后每天取出A、B.C各一份猪肉样本，统计微生物总数和检测pH值，全部样本检测需要7d。不同新鲜度猪肉样本制备流程图如图1所示。

　　1.2  新鲜度分类标准

　　依据国家规定，把被检测猪肉的pH值在5.6-6.2之间，稀释度在1/10000的条件下，微生物菌体浓度在2.46-16.2CFU/mL之间、大肠菌菌体浓度在3.48-5.97 CFU/mL之间规定为新鲜肉：pH值在6.2-6.7之间，稀释度在1/10000的条件下微生物菌体浓度在16.8～370.43 CFU/mL之间，大肠菌菌体浓度在9.24～93CFU/mL之间规定为次鲜肉；pH值大于6.7，稀释度在1/1000的条件下微生物菌体浓度在410～3070CFU/mL之间、大肠菌菌体浓度在240～1100CFU/mL之间规定为腐败肉。

　　把次鲜猪肉中微生物菌体浓度在16.2-28.4CFU/mL之间、大肠菌菌体浓度在5.97-9.2CFU/mL之间且pH值在6.1-6.3之间规定为次鲜肉一级；微生物菌体浓度在28.4-142CFU/mL之间、大肠菌菌体浓度在9.2-28CFU/mL之间且pH值在6.2-6.5之间规定为次鲜肉二级；微生物菌体浓度在142-370CFU/mL之间、大肠菌菌体浓度在28-93CFU/mL之间且pH值在6.4～6.7之间规定为次鲜肉三级。

　　把腐败猪肉中微生物菌体浓度在370-1040CFU/mL之间、大肠菌菌体浓度在93-240CFU/mL之间且pH值为6.7-6.8之间规定为腐败肉一级；微生物菌体浓度在1040-1420CFU/mL之间、大肠菌菌体浓度在240-290CFU/mL之间且pH值为6.8-7.0之间规定为腐败肉二级；微生物菌体浓度1420-3020CFU/mL之间、大肠菌菌体浓度在290～1100UFC/mL且pH值大于7.0规定为腐败肉三级。猪肉新鲜度分类标准如表1所示。

表1  猪肉新鲜度分类标准

　　1.3  样本图像获取与增广

　　在每次检测黑毛猪肉样本微生物菌体浓度、大肠菌菌体浓度和pH值前，采用高清晰摄像头拍摄被检测样本，拍摄时选择单一背景颜色、光线明亮适中，摄像头略为背光，拍摄的图片以JPG或PNG格式保存。待实验完成后，根据微生物菌体浓度、大肠菌菌体浓度和pH值，对照1.2节的分类标准，把A，B.C组猪肉样本图像分别标记，归到7个类别的相应类别中。最终把所有7类图像以等级名称 名放在samples文件夹中。7类样本图像如图2所示。

　　利用边缘的最小外接矩，裁剪样本为224像素×224像素，使之缩小，样本裁剪前后如图3所示，每个样本约11KB.对样本分别运用仿射变换、透视变换和旋转进行增广处理，其中初始图像7823幅和增广图像15604幅。

　　2  试验方法

　　深度残差神经网络（ResNet）是由残差学习模块重复堆积而形成的一个完整网络，由于其引入残差模块，解决模型在训练时的梯度弥散问题，增强了模型的特征学习能力，以及模型的识别性能。残差模块如图4所示。

　　设x为输入，经过卷积层W1、W2运算后输出为F（x，W1，W2），激活函数为ReLU，因此，残差模块单元的最终输出y可表示为式，

　　y=F（x，W1，W2）+WSx      （1）

　　式中，W1、W2—卷积神经网络1，2层所要学习的权重参数；WS—将变量x从输入残差模块维度变换到输出维度的方阵。x跨层后与F（x，W1，W2）融合，成为下个残差模块的输入。

　　当WS为1表示残差模块的输入与输出维度相同；当WS不为1表示残差模块的输入与输出维度不相同，需要通过WS将残差模块的输入与输出维度变换到相同的维度。当y-x=0，表示为恒等映射；当y-x≠0，表明残差网络就需要学习输入输出的差别部分。深度残差神经网络在训练时，深层的误差通过捷径传播到浅层，减轻梯度弥散现象。ResNet-50被本文选为图像的特征提取器，来学习图像的抽象特征。

　　2.2  迁移学习

　　在监督学习方式下，需要大量数据训练残差网络模型，然而，目前带标签的黑毛猪肉新鲜度图像数据较少，难以满足训练深度网络模型的需求。

　　迁移学习是在给定源领域Ds和任务Гs，以及一个目标领域Dt和任务Гt的条件下，使用Ds和Гs中已有的知识去改进Dt对目标预测函数f（·）的学习。因此，迁移学习就是将源领域Ds中解决任务Гs时获得的知识，迁移到Dt领域，再结合Гt的样本训练数据，构造出较强泛化能力的模型。

　　为了改善黑毛猪肉新鲜度图像识别精度和ResNet-50模型的泛化能力，采用基于中层表达的迁移学习方法，将迁移学习和深度学习结合，先利用PfidSet对ResNet-50网络进行预训练，使其具有抽取图像特征的能力，并将训练好的网络参数作为网络模型的初始参数；然后，改进ResNet-50网络，利用7类黑毛猪肉图像对改进的ResNet-50进行微调，实现黑毛猪肉新鲜度图像自动识别。

　　2.3   ResNet-50模型的改进

　　为了使PfdSet训练后的ReseNet-50模型更具有泛化能力，采用一个3层的自适应网络取代ReseNet-50模型的全连接层和分类层，再运用LRelu-Softplus作为网络的激活函数。

　　ReLU非线性映射函数为

　　图5a为其示意图。当输入x≤0时，ReLU输出0，该单元处于未激活状态。

　　LReLU线性整流单元的表达式为

　　取a=0.01，图5b为其示意图，当输入X＜0时，输出负值，神经元仍处于激活状态，避免了神经元的坏死。

　　Sofplus激活函数为

　　f（x）=1n（ex+1）（4）

　　从图5c可见函数变化平缓，其值与ReLU接近，具有较高的模型识别性能和较好的泛化性，并且其规避了ReLU函数强制性稀疏的缺点。但是Sofplus函数存在一个与ReLU一样的问题，即输出偏移现象，这会影响网络的收敛性。

　　虽然LReLU函数解决ReLU函数会导致神经元死亡的问题，但函数光滑度不高。Softplus函数具有优良的光滑特性，可是该函数的输出偏移会影响网络的收敛性。考虑到LReLU和Softplus函数的特点，结合这2个函数特点，本文设计一种改进的激活函数，即LReLU-Sofiplus函数，公式为

　　其中α是个常数，接近于0，初始值设为0.25，图5d为其示意图。

　　本文提出的改进残差网络的黑毛猪肉新鲜度识别模型是基于迁移学习和LReLU-Sofplus激活函数的残差网络模型，即Proposed（LReLU-Sofiplus），其结构如图6所示，其中，M1，M2、M3、M4分别为ResNet-50所示模型中的四个残差块，自适应网络N1层的神经元有1000个；N2层有256个神经元；有7个神经元在N3层，每层神经元的激活函数采用LReLU-Softplus，在深度神经网络的训练过程中，加入dropout（“丢弃”）机制，以一定的概率“暂时丢弃”一些神经元，减少神经元之间的依赖性，提高模型的泛化能力，取Dropout为0.8。

　　试验软硬件环境主要配置：主板为华硕Z170，CPU为Intel Core i7-6700k，硬盘为三星SSD 950 PRO256GB+希捷ST2000 2.0TB，显卡为GeForce GTX1080，内存为金士顿DDR464GB，操作系统为Windows10企业版，Caffe系统是Windows10版，模型训练参数见表2.

表2  模型训练参数

　　训练与测试用的黑毛猪肉新鲜度图像数据共有23427幅，其中初始图像7823幅，扩展图像15604张，如表3所示。

　　按照4：1的比例随机分配训练集和测试集，按照9：1的比例分配训练与验证集。利用可以度量真实样本分布与预测样本分布差异大小的交叉熵代价函数，监督本文提出的Proposed（LReLU-Sofiplus）模型训练，图7为训练时的模型损失和模型准确率变化曲线，其中模型训练和验证损失曲线是图7a，图中横坐标为训练遍历次数，纵坐标为模型损失值。可以发现经过800代遍历，训练和验证集上的模型损失均趋向0值。图7b为训练和验证时模型识别准确率变化曲线，横坐标为遍历次数，纵坐标为模型识别准确率。也可以发现经过800代遍历后，训练集的识别准确率趋向于99.7%，验证集的准确率最高达到95%。可见，本文设计的基于改进残差网络和迁移学习的猪肉新鲜度识别模型具有较好的肉品图像识别性能。

表3  初始图像和扩展图像数量

　　本文利用混淆矩阵来定量评估各类之间的混淆程度，矩阵的行和列分别代表真实和预测情况，矩阵中任意一个元素xij代表将第i种类别预测为第j种类别的图片数占该类别图像总数的百分比。对角线元素值分别表示各种黑毛猪肉新鲜度识别的准确率，其它位置为错分率。表3为混淆矩阵，分析表4可知，新鲜猪肉的识别效果最好，具有99%的准确率，次鲜三级和腐败一级的识别准确率最差，为91%；各类黑毛猪肉新鲜度的识别总体准确率为94.5%，可见，本文设计的Proposed（LReLU-Sofplus）模型对黑毛猪肉新鲜度的识别具有较高准确率。

　　同时，将Proposed（LReLU-Softplus）模型，与仅使用PfidSet数据集训练的ResNet-50（PfidSet）模型、仅使用IPIDSET数据集训练的ResNet-50（IPIDSET）模型和基于迁移理论与ReLU激活函数的改进ResNet-50模型，即，Proposed（ReLU）进行比较，表5是比较结果。表5中模型的识别准确率均是在测试集上获得，分析表5可得，Resnet-50（IPIDSET）的识别准确率最差，这是由于IPIDSET的样本数量较少；综合表4和表5可知，仅使用PfidSet数据集训练模型会出现过拟合现象。本文提出的Proposed（LReLU-Softplus）模型是利用PfidSet数据集预训练模型，然后迁移到IPIDSET数据集上微调模型，要优于仅使用PfidSet或IPIDSET训练的模型。此外，本文通过对Resnet-50模型的改进，减少了模型的运算量和训练时间，而且模型识别准确性能相对于未改进的Resnet-50模型也有较好的提高。网络中利用LReLU-Sofplus激活函数对模型的效率影响，较利用ReLU激活函数明显，模型的识别准确率也有所提高。

表4  混淆矩阵

表5  模型性能比较

　　为了解决小样本黑毛猪肉新鲜度识别问题，本文使用PfidSet源数据制作了包含7类各个品种的猪肉新鲜度图像数据集，构建基于中层表达的迁移学习模型，利用一个3层的自适应网络取代Resenet-50模型的全连接层和识别层，并使用7类黑毛猪肉图像数据对模型进行微调，实现对7类新鲜猪肉图像的有效识别。试验结果表明，Proposed（LReLU-Sofplus）模型适合黑毛猪肉新鲜度识别，各类新鲜度猪肉总体识别准确率为94.5%。为黑毛猪肉新鲜度的识别提供了一种新模型。