基于形状特征的苹果分级方法研究
摘要:
苹果的输出值通过后处理和后工程处理能够有所改善。把提高生产后的苹果价值的过程称为水果的商品化处理。生产后的苹果等级阶段是苹果商品化的重要关联。但目前,中国苹果的自动打分技术与外国的相反。国产苹果等级方法主要包括等级和机械等级,它有很多缺点:不稳定等级标准,不充分的适应性,容易损坏苹果,低等级效率等。因此,为了检测苹果的分类,采用形状特征可以提高苹果的品质和生产率。
形状匹配的密钥是描述形状并发现用于构筑鲁棒特征向量的适当方法,完成相似形状的匹配或不同形状的分类。力矩不变量是表示目标整体形状的非常重要的特征。作为统计的全球信息,不变力矩成为了形状特征研究的热点。首先,总结了不变力矩的理论和计算方法。作为识别特征,不变力矩具有变换、旋转、比例不变性的特性。当图像比例、旋转和其他变化发生时,由于我们要处理的数字图像是离散的,并且在不变矩阵在二维连续函数下定义,它常常影响最终匹配的结果,从而引起特定的数字错误。因此,根据以往的表面力矩计算法,介绍了具体的改进方法,以减少对形状特征提取的数字误差的影响。使用新方法获得的不变力矩构筑形状的特征向量,描述了形状之间的相似性。实验表明,经过改良的不变力矩具有更高的稳健性和完整率。最后,为了通过最小距离分类器和bayes分类器来分类苹果,提出了基于与苹果核心区域周边比组合的距离变换的不变力矩。纹理特征由支持向量机学习和训练的共享矩阵提取。
关键词:形状特征;苹果分级;研究
Abstract:
The output value of apple can be improved by post-processing and post-engineering treatment. The process of increasing the value of apples after production is called commercialization of fruits. Grade stage of apple after production is an important correlation of apple commercialization. But at present, the automatic scoring technology of Chinese apples is contrary to that of foreign ones. Domestic apple grading methods mainly include grading and mechanical grading, which have many shortcomings: unstable grading standards, insufficient adaptability, easy damage to apples, low grade efficiency and so on. Therefore, in order to detect the classification of apples, the use of shape features can improve the quality and productivity of apples.
Shape matching keys are the appropriate methods to describe shapes and find robust eigenvectors to complete matching of similar shapes or classification of different shapes. The moment invariant is a very important feature to represent the overall shape of the target. As the global information of statistics, invariant moment has become a hotspot in shape feature research. Firstly, the theory and calculation method of invariant moment are summarized. As a recognition feature, invariant moment has the characteristics of transformation, rotation and scale invariance. When the image scale, rotation and other changes occur, because the digital image we are dealing with is discrete and the invariant matrix is defined in a two-dimensional continuous function, it often affects the final matching result, thus causing specific digital errors. Therefore, according to the previous surface moment calculation method, specific improvement methods are introduced to reduce the influence of digital error on shape feature extraction. The feature vectors of shapes are constructed by using the invariant moments obtained by the new method, and the similarity between shapes is described. Experiments show that the improved invariant moment has higher robustness and integrity. Finally, in order to classify apples by minimum distance classifier and Bayes classifier, the invariant moment of distance transformation based on the combination of the ratio with the periphery of apple core region is proposed. Texture features are extracted from the shared matrix of support vector machine learning and training.
Key words: shape characteristics; apple grading; research
目录
第一章绪论
1.1课题研究背景及意义
阿格罗福雷斯特利是国家经济的重要组成部分,与社会各方面都有直接关系。作为代表性的农产品,苹果成为了其中最受欢迎的水果之一,其富含抗氧化剂和健康的重要营养成分。据联合国粮农组织统计,2014年中国苹果年产量达到492万吨,占全球出口总量的48%。但是,作为世界上最大的苹果生产国,中国的苹果出口量在总产量的5%以下。主要原因是苹果质量不均,这将难以满足欧美市场的进口要求。另一方面,随着生活水平的提高,国内消费者对苹果质量的要求也在提高。智利,新西兰和其他国家的苹果进口量大幅增加。由于缺乏品质检测和识别技术,苹果初期生产者主要通过手动等级来倾斜苹果。但是,手册等级不仅生产率低、成本高,还受身体条件、情绪变动等人道因素的影响。评分精度发生很大变化,难以提高标准。通过引进苹果等级技术,食品加工厂的少数使用了机械分离器,提高了生产效率。但是,几乎所有的机械分类机都缺乏对苹果外部部件的检测,只能根据其大小和重量来分类水果,其分类结果还很难满足欧美的进口要求。目前,我国大部分苹果生产商采用高品质、低品质的混合销售模式。总结一下,中国苹果产业需要一种非常全面、高效、可靠的自动等级方法。
1.2国内外研究现状
1.2.1常见水果分选机
为了提高生产效率,国内的苹果生产者开始使用机械等级装置,代替手动等级,但它不仅有意改善等级速度,而且不受工作环境、劳动时间、劳动强度的影响。现有的机械式苹果分类机,根据其大小和重量主要分类苹果。根据不同机械构造,可大致分为鼓控器、音轨控制器、间隙梯度控制器、自动开口扩展控制器。
大厅/灰色鼓控器:主要组件是使用水果重量与回转鼓离心力的不同,将水果放在画面上的鼓。在滚动鼓时,重量(大)水果沿着鼓斜的卡车滚动。由于鼓的离心力,不同大小的水果可以通过不同的孔或网格孔来完成排序任务。音轨切换器:水果级别通过控制音轨之间的间隙来排序。清除兰斯从入口和出口开始小幅增加。如果水果较小,当间隙较小的时候,它会掉到保险柜里;水果会比间隙小,水果会向前进,掉到相应大小的保险柜里。清除梯度选别机:主输送线由具有不同间隔的等级梯度辊构成。每卷轴以轴为中心旋转,不同大小的水果通过间隙逐渐增加。当辊之间的间隙足够大时,对应大小的苹果落在相应的子传送带线上,从而完成水果尺寸选择。车门自动放大器:主要由几个相等的直径的圆筒状的篮子组成。篮子被同样大小的孔填埋,远离玄关的桶孔很大。另一方面,水果会和圆筒的自行前线一起运输。另一方面,当水果比油门的孔小的时候,通过油门那个掉到油门上。概括起来,机械苹果选别机主要通过调整不同的间隙来进行苹果选别。因此,对于非球形的苹果,容易发生误分类。同时,机械苹果的选择可以识别苹果的大小,不能区分苹果的外部或内部质量的差异。那个还是比较粗糙的分类装置。为了应对水果的各种形状,达到水果等级所需的更高的必要条件,专家开发了太阳能和光电分类机。排序计量:水果通过连续的节奏控制被运送到计量托盘,水果自动加重,完成重量排序。计量选别机能实现各种形状的苹果的重量等级,不仅提高了选别效率,还能减少苹果的摔跤。但是,计量选别机无法实现不同质量苹果的尺寸分类,结构复杂,生产成本高。
光电计量器:与机械和重量分离器相比,光电分离器可以实现对所有种类水果的非破坏性检查。其优点是,苹果的内部和外部品质可分类,如糖类、纤维内容和病理变化等,内部质量、颜色、缺陷等,光分类机可利用多种光源收集苹果的质量信息。一般光源为可见光[2]、近红外光[8]、高光[9]、以及[11]激光。可通过机器视觉系统将苹果图像信息转换为二维或三维矩阵,然后通过矩阵计算使苹果计算之外的部件质量倾斜。眼睛看不见的光的反射光谱和投影光谱与酸味、甜味、淀粉、可溶性固体等苹果的内部特性参数有着回归的关系,因此可以通过看不见的光得到苹果的内部部件质量。
1.2.2苹果定向机构研究现状
由于苹果花萼/苹果轴及其表面缺陷在图像处理中难以识别,通常需要在图像采集前进行苹果定位,以降低视觉算法的难度,提高处理速度,提高苹果分级算法的精度。目前,商用苹果分拣机的导向机构采用双圆锥辊结构。当苹果沿着输送线移动时,它通过下部的圆锥滚子驱动旋转。收集苹果表面的完整信息。然而,由于苹果初始位置和姿态未知,这种方向获取方法容易忽略或迭代苹果的表面信息,影响苹果分类的准确性。苹果的定位机构,首先将苹果调整到苹果轴的倾斜状态,进行苹果旋转和图像采集操作,完成苹果轴的表面,然后在苹果旋转完成后将苹果轴恢复到苹果轴的垂直形状。定向采集的整个过程相对复杂,苹果的下跌可能会影响某些苹果分级的效率。为WhitelockDP等人设计了定向测试装置定向装置。是水平部署130cm通道,同时定位苹果图像信息,将苹果水平放置。实验结果表明,最大直径和最大直径(如蛇果)适用于比例较大的苹果。蒋伟东利用皮带与苹果之间的摩擦力带动苹果旋转,改善了苹果的定向机理,提高了定向的成功率。虽然定位机构相对简单,但定位时间较长。综上所述,现有的苹果定位机制基本上可以实现苹果的定位功能,但是一个定位机制可以针对不同的应用程序品种、低姿态定位、长定位时间等原因,准确快速地收集苹果的全部信息。
1.3论文主要研究内容
仔细研读论文题目,查阅相关的资料,了解苹果在形状特征提取方面以及分级检测方法的相关内容;学习图像预处理、形状特征提取和分级检测方法的基本原理以及应用;主要研究形状特征提取的方法,针对苹果的分级检测,选择最优的形状特征进行分析;根据论文要求编写MATLAB的程序,仔细调试修改后进行仿真;
第二章特征的选择及提取
通过对苹果图像的提取和分割,介绍了苹果图像的特征提取过程。图像特征种类繁多,但一般可分为三类:颜色特征、形状特征和纹理特征。本章首先简要介绍了图像的三个基本特征:颜色、形状和纹理特征。然后重点介绍了苹果分类中常用的特征方法的现状及其相应的分类结果。
2.1颜色特征
颜色是一种广泛应用于基于内容的图像检索的视觉特征。此外,图像功能对复杂的背景、比例、方向、视图和图像大小都很稳定。常见的颜色特征包括颜色直方图、颜色聚集向量、颜色矩、含义颜色标记等。全局颜色分布不能反映图像中局部颜色像素的空间分布,但颜色密集型分量法可以通过颜色直方图来包含空间颜色信息。颜色矩是彩色图像颜色特征的一种简洁表示。大部分的颜色分布信息都是通过一个较低的三阶矩来收集的:第一阶矩收集平均颜色,第二阶矩收集标准偏差,第三阶矩收集颜色畸变。
2.2形状特征
形状特征是目标特征的重要参数,常见的有以下几种:区域面积、周长、圆形度、外接矩形、离心率等。在数字图像中,假设得到的为二值图像,则区域面积可定义为目标区域所包含的像素的个数,假设目标区的像素为,背景的像素为,则区域面积为图像中所有像素为1的个数之和,即()。在数字图像中,水平和垂直方向上相邻的两个点之间的距离为1,对角线则为,按上述定义可累加得到目标的周长。另外一种计算周长的方法是通过8链码计算。圆形度用来描述目标形状的圆形程度,定义为,其中,P为周长,A为面积,当目标位圆形是,C的值为1如果为复杂的形状是,C值较大。除上述之外的形状特征,还有其他形状特征描述符,如,基于轮廓的形状特征描述符;基于区域的形状特征描述符[31]。基于轮廓的形状特征描述符有很多种,如欧氏距离形状描述符、基于小波的形状描述符、基于三角测量的描述符、最小外接圆或基于椭圆形状描述符等。基于区域的形状描述符主要考虑物体形状的所有内部和边界的像素,其最重要的特征是基于矩。基于矩的形状特征分类中有不同种类的矩,如:几何力矩、Hu不变矩、Zernike矩、径向Chebyshev矩等,这些矩基本上都具有平移、旋转和尺度的不变性。
形态学特征是基于线性尺寸的测量,除上述特征外,还有将诸如周长(P),长轴直径(M),短轴直径(m)和面积(A)等形状特征进行组合后得到新的形状特征算子,Medina等在其文章中提到了用上述基本参数测量的基础上,组合得到以下10个形状因子:
2.3纹理特征
纹理是图像描述的重要部分,但是没有任何纹理的正确描述。一般地,可以认为纹理主要描述图像像素的灰度级别的空间分布模式。目前,一般使用的纹理特征包括灰度级共享矩阵(glcm)、局部二进制模式(lbp)等。1973年。灰度级共享矩阵获得根据二次法的纹理特征。灰色等级共享矩阵通过位移d和方向来计算图像中的灰色值组合之间的结合概率。灰度级共享矩阵可以通过不对称的方法来计算,但它通常被定义为对称。对比度、熵、能源、均质性、相关等静态参数由灰度级共振矩阵得出。
第三章基于距离变换的特征方法
从上一章的验证实验可以看出,苹果的分类中使用的现在的功能无法实现苹果的好分类。在此,提出基于距离变换的特征提取法。首先,本章介绍了采用的特征方法。根据苹果核的距离转换提取一次力矩不变量。据实验表明,通过距离转换计算不变量的分类效果比通过灰色图像直接计算力矩不变量要好。另一方面,仅使用苹果核的分类效果比使用苹果核时的效果更好。在本论文中,欧几里德距离转换适用于苹果的核心。此外,提取的形状特征也包括苹果核心区域的周边比率。结合上述三个特点,可以分类苹果。
3.1欧氏距离变换
数字图像的距离转换用于在作为基准点的图像上点(像素)的系列中从图像上的其他点计算最短距离。距离变换在许多图像处理领域非常重要,在手写识别、k最近傍分类等多个领域被应用。这里,基准点为苹果核的概略。假设图像中的物体的边界是连续闭合曲线C,目标O是C的内侧,则对应的目标距离转换图针对目标O的任意点,计算点与轮廓C之间的最近的距离,将得到的距离值转换为灰度值。通过两点(i 1,j 1)、(i 2,j 2)获得物体的距离转换图。欧几里德距离转换公式为:
3.2不变矩
得到距离变换图后,计算不变矩,不变矩有Hu首先提出,广泛用于图像处理和模式识别中,用来表示一个物体的特征,其定义如下:一幅图像的几何矩定义如下其中F(x,y))为图像像素函数,阶数为((p+q)=。然后,得到中心矩的定义:其中,xc,yc为图像的质心,正态化中心矩则为:其中,。
然后得到七个不变矩的公式如下:
3.3其他形状特征
除上述的特征外,还用到的形状特征有苹果核圆形度RN和苹果核面积周长比NCR。其中,nP和nA分别为苹果核的周长和面积。
在这里,要说明的是为什么没有用苹果核圆形度这个形状特征,在上一章的验证实验中,有用到苹果核圆形度这个形状系数来区分苹果,因而在这里没有用苹果核圆形度这个形状特征。
3.4纹理特征
在实验中,借助提取的三个特征后,对不能分类的苹果提取灰度共生矩阵特征,一共提取五个特征,灰度共生矩阵的定义参考前面的实验二,在这里,取d=1以及不同的q值:0°,45°,90°,135°,对不同的q值得到的矩阵及转置矩阵取平均值作为最终结果,以此实现旋转不变性。所用的五个特征如下:
第五章 苹果特征提取算法及其分级研究
由于外界因素及本身品质的差异,苹果的大小、形状、纹理及颜色等方面往往会有很大的差别。所以,在苹果分级过程中,苹果的各类特征是其分级指标中不可或缺的。在前面章节中,已经为苹果特征提取阶段奠定了基础,因此本章节内容则是对苹果进行各类特征的提取和识别。
5.1苹果大小分级检测
在苹果的大小分级标准中,关于苹果的大型果、中型果和小型果的果径分级参数在不同的分级标准中规定不同,根据GB10651-89所规定的标准中,关于苹果大小等级的分级参数如表5.1所示。
表5.1按照苹果最大横切面进行大小分级的直径参数
等级 | 优等果/mm | 一级果/mm | 二级果/mm | 等外果/mm |
大型 | ≥80 | ≥75 | ≥70 | <70 |
中型 | ≥65 | ≥60 | ≥55 | <55 |
小型 | ≥60 | ≥55 | ≥50 | <50 |
由上表中可以看出,不同等级苹果最大横切面直径一般以每5mm为一个等级,相差较大,所以本文通过计算苹果轮廓区域的直径来对苹果进行大小分级。较为常见的计算闭合区域直径的方法有当量直径法,最小外接矩形法等,本文中研究了一种快速的最大内切圆法来计算苹果直径。很多研究人员使用当量直径法,该算法是利用苹果边界的像素周长换算为当量直径,然后用当量直径来描述苹果的大小尺寸。这种方法虽然计算很简单,但是精度不高,所以本文具体对比分析了另外两种计算直径大小的算法。
5.1.1最小外接矩形法
本文中研究了旋转法和边界法这两种计算苹果最小外接矩形的方法,并对这两种算法简要进行描述及对比分析。
(1)旋转法求最小外接矩形
用最小外接矩形法计算水果的直径,其设计思路是根据水果的形心描绘出水果的外界矩形,然后再让水果的边缘围绕形心进行顺时针或者逆时针旋转,每旋转一次便计算一次随之改变的外接矩形面积,在旋转360°后把所有的水果的外接矩形面积作比较,其中面积最小的矩形便是此水果的最小外接矩形,其最小外接矩形的长即为其果径。这种方法通常每旋转3°。首先基于苹果图像中所有的边缘像素点数列出一个数组,同时定义矩形直角的4个位置变量为X1,X2,Y1,Y2,并分别设置X1,X2,Y1,Y2的初始值为1,-1,1,-1,然后逐次的计算出旋转后的矩形四个直角点的新位置坐标,旋转角度设为θ,计算公式如式(5.1)所示:
(5.1)
式中,(xi,yi)表示旋转前的像素点坐标,其中i=1,2,.....;(ix¢,iy¢)表示旋转后该点的新坐标,θj代表旋转角度,j=1,2,......,M为旋转次数,θ=360/M。将ix¢与X1,X2作比较,将iy¢与Y1,Y2作比较,若ix¢≤X1,则X1=ix¢;若ix¢≥X2,则X2=ix¢。若iy¢≤Y1,则Y1=iy¢;若iy¢≥Y2,则Y2=iy¢。在边界数据数组中再取一点,重复上述比较赋值步骤,直到所有边界数据都完成,最后将X1,X2,Y1,Y2进行连线便组成了一个苹果的外界矩形,然后计算所有矩形的面积,选择出面积最小的矩形即为苹果的最小外接矩形。
(2)边界法计算苹果最小外接矩形
利用自定义的相关函数对苹果目标进行边界像素的标记,输出一个mx1的数组B,其中m代表连通区域的个数。在数组B内,每一行是一个nx2的矩阵,而n内每一行则表示连通区域边界像素的位置坐标,n为边界像素的个数。然后函数的第二输出是一个标记矩阵L,L是一个二维非负整数数组,表示连续区域,例如第k个区域包含了L中所有为k值的元素。L所代表的像素和孔的数量可以用表达式max(L(:))来计算,L中的零值元素则是代表背景像素。然后利用循环算法对所标记的像素进行描边连接,便可以输出苹果的最小外接矩形,其计算过程的主要流程图如图5.1所示。在这两种求取最小外接矩形的方法中,旋转法的计算较为复杂,需要大量的循环步骤导致运行时间长,而边界法相对来说就更为简单直接,得出的最小外接矩形结果如图5.2所示。
图5.1边界法计算最小外接矩形流程图
(a)单一苹果的最小外接矩形(b)多个苹果目标的最小外接矩形
图5.2苹果轮廓的最小外接矩形
在图5.2中,计算了两种情况下的苹果最小外接矩形,根据结果显示,所求的最小外接矩形是符合要求的,可以进行大小分级。用最小外接矩形的长和宽代表苹果的横径和纵径,因此最小外接矩形的长和宽的比值便成为苹果的形状系数,并以该系数作为判断苹果大小的指标。
5.1.2最大内切圆法
利用最大内切圆的方法对苹果直径进行计算,用本文提出的方法确定最大内接圆中心的基本原理如下:首先,随机画一个圆,圆的中心是两个相交弦的垂直平分线的交点,它们在测量的轮廓上具有相同的一个端点。例如P3P1和P3P2是两条相交的弦,OA是弦P3P1的垂直平分线,OB是弦P3P2的垂直平分线,O是OA和OB的交点,如图5.3(a)所示。圆的半径便是从中心O到P1、P2、P3三点中任意一点的距离,而且这三个点形成了一个锐角三角形。其次,检查整个测量轮廓是否在初始圆之外。最后,将这两个相交弦的一个端点替换为点Pmin,如果不是在圆外,则继续下一个计算循环,直到所测量的整个轮廓在圆外。同时在循环过程中,这两条相交弦的三个端点必须始终形成一个锐角三角形,例如用点Pmin代替图5.3(a)中的P3。当测量的整体轮廓在圆外时,最后一个圆便是该轮廓的最大内切圆,如图5.3(b)所示。
(a)在圆上随机取三点(b)选取新圆上的三点
图5.3求取最大内切圆的示意图
至于圆度误差评估,除了最小二乘圆的方法外,目前还没有可用的公式可以直接计算参考圆的中心。因此,需要建立数学模型,从中推导出计算参考圆中心的公式。
在图5.3中,假设点O和Os分别是测量系统的中心和最大内切圆的圆心,Ps1、Ps2和Ps3是被测轮廓与最大内切圆接触的三个接触点。那么可以建立决定最大内切圆中心以及评估圆度误差的数学模型如式(5.2)所示:()()
ì=
ï=-ïïí=-+-ïïï=-+-î(5.2)
式中,n在轮廓上测量的点的最大数量;dSi表示从测量轮廓上的点Pi到点OS的距离(i=1,2,...,n);fS是根据最大内切圆评估圆度误差值。在图5.3中,假设点Pi(i=1,2,3)、A、B和O的坐标值分别为Xi和Yi,XA和YA,XB和YB,X和Y。通过交叉弦法确定最大内切圆的中心的公式,可以推导出如式(5.3)所示:()()()()()()()()()()()()()()()()()()()()()()î
(5.3)
该算法没有收敛问题和最优化方法的线性化误差,为精确求解最大内切圆提供了很大的便利。对于原始三点的选择,只影响程序运行的时间,但与最终结果无关,结果的精确度只与最后一个结果有关。同时,该方法的计算过程消除了原理性的误差,并且在经过两三次的计算后便可以得出结果,计算速度快。该方法的基本步骤总结作如下:
(1)在苹果的边缘上随机选定三个点,这三点的连线必须可以形成一个锐角三角形;
(2)这三个初始点在同一标准圆的边界上,根据圆心公式计算出该标准圆的圆心位置坐标,并输出苹果边缘上的各点到该圆心的距离数值序列{di}(i=1,2,...,n),然后判断该参考圆的半径是否为距离id序列中的最小距离;
(3)果参考圆的半径不是{di}中最小的距离,则用序列中的最短距离所对应的被测轮廓点来代替之前所选的初始三点其中之一,并同时保证新的三点连线同样能构成锐角三角形;
(4)重复上述计算和过程,直至参考圆的半径就是{di}中的最小距离,最后一次计算所得圆心即为被测轮廓最大内切圆的圆心。该方法的计算流程如图5.4所示。
图5.4求取最大内切圆流程图
通过上述计算得出的圆心做为被测轮廓线的最大内切圆圆心,通过该算法得到的苹果轮廓最大内切圆结果如图5.5所示。在图5.5中,所得到的每个苹果轮廓的最大内切圆是标准圆,所以很容易求得最大内切圆的直径,从而可以求出苹果的像素直径。同时,该算法也可以对一幅图像中多个苹果目标轮廓分别求取其最大内切圆。
(a)单个苹果的最大(b)多个互不重叠苹果的(c)多个局部重叠苹果内切圆最大内切圆的最大内切圆
图5.5苹果轮廓的最大内切圆示意图
通过对最小外接矩形法和最大内切圆法求取苹果大小的实验结果对比分析,由最大内切圆法获得的直径数据更为精确,且最小外接矩形法不适用多苹果目标局部重叠时的情况,因此本文采用最大内切圆法来进行对苹果大小的分级。根据各等级的苹果直径参数区间作为分级判断的标准,便可以实现苹果大小的分级操作。但是,基于最大内切圆求得的直径是苹果图像的像素直径,所以需要找出像素直径和实际直径二者之间的关系来进行数据转换。
5.1.3实验数据分析
根据最大内切圆方法对苹果图像求取其最大内切圆,获得的20组样本苹果最大内切圆像素直径数据(单位为pixel)和对应的苹苹果际直径(单位为mm)数据如下表所示。
表5.2 20组苹果样本的像素直径与实际直径数据表
样本编号 | 最大内切圆像素直径/pixel | 苹苹果际直径/mm |
1 | 1216.72 | 85 |
2 | 2225.03 | 89 |
3 | 3237.56 | 92 |
4 | 218.76 | 84 |
5 | 181.22 | 71 |
6 | 236.96 | 92 |
7 | 198.43 | 79 |
8 | 187.89 | 75 |
9 | 158.74 | 65 |
10 | 176.10 | 72 |
11 | 205.36 | 79 |
12 | 210.46 | 81 |
13 | 231.56 | 91 |
14 | 168.74 | 67 |
15 | 173.69 | 69 |
16 | 195.46 | 77 |
17 | 192.73 | 76 |
18 | 185.21 | 73 |
19 | 214.79 | 83 |
20 | 221.73 | 87 |
根据表5.2中的像素直径和实际直径数据,令x轴表示像素直径,Y轴表示苹果的实际直径,可以得出其散点分布图,如图5.6所示。
图5.6苹果样本数据的像素直径与实际直径关系分布图
从样本数据的散点图分布可以看出,苹苹果际直径数值和最大内切圆测得的像素直径数据之间存在某种线性相关性,因此,可以通过数据拟合得出二者之间的函数关系,得出如式(5.4所示的方程:D=0.3548d+7.7375(5.4)
式中,D表示苹果的实际直径数值,其单位是pixel,d表示通过最大内切圆法得到的像素直径,其单位是mm。利用所得的拟合关系方程来对样本数据进行对比分析,其计算结果如表5.30
表5.3通过最大内切圆法所得苹果直径与实际直径数据对比表
苹果样本 | 像素直径/pixel | 估测直径/mm | 实际直径/mm | 误差/mm |
1 | 216.72 | 84.6267 | 85 | -0.3733 |
2 | 225.03 | 87.5750 | 89 | -1.4250 |
3 | 237.56 | 92.0205 | 92 | 0.0205 |
4 | 218.76 | 85.3505 | 84 | 1.3505 |
5 | 181.22 | 72.0318 | 71 | 1.0318 |
6 | 236.96 | 91.8076 | 92 | -0.1924 |
7 | 198.43 | 78.1377 | 79 | -0.8623 |
8 | 187.89 | 74.3983 | 75 | -0.6017 |
9 | 158.74 | 64.0562 | 65 | -0.9438 |
10 | 176.10 | 70.3313 | 72 | -1.6687 |
11 | 205.36 | 80.5964 | 79 | 1.5964 |
12 | 210.46 | 82.3348 | 81 | 1.3348 |
13 | 231.56 | 89.8918 | 91 | -1.1082 |
14 | 168.74 | 67.6045 | 67 | 0.6041 |
15 | 173.69 | 69.3603 | 69 | 0.3603 |
16 | 195.46 | 77.0840 | 77 | 0.0840 |
17 | 192.73 | 76.1154 | 76 | 0.1154 |
18 | 185.21 | 73.4474 | 73 | 0.4474 |
19 | 214.79 | 83.9420 | 83 | 0.9420 |
20 | 221.73 | 86.4042 | 87 | -0.5958 |
根据表5.3所得的数据,把估测直径与实际直径在同一幅图中进行显示,以方便二者之间的对比,其结果如图5.7所示。
图5.7估测直径与实际直径对比图
为了更明显的可以看出估测直径与实际直径之间的误差关系,把误差数据值加入对比图中,其结果如图5.8所示。
图5.8最大内切圆法检测直径误差分析图
根据表5.1中苹果直径参数分级标准,是以5mm为等级差进行分级,表5.3中的数据表明,利用最大内切圆法获得的苹果直径的误差是在1.7mm以内,符合按照直径分级苹果的要求。
5.2苹果形状分级检测
5.2.1欧氏距离变换法描述形状
为了可以清晰的提取苹果的边缘形状信息,利用欧氏距离变换的方法可以完成对苹果的形状特征描述。该方法首先需要获得苹果边缘的半径序列,其步骤如下:
(1)利用前面章节的算法获取苹果的边缘后,使用边界跟踪算法对苹果边缘进行边界跟踪标记,从随机某一像素点开始跟踪标记,然后按照顺时针方向移动标记,从而得到边界序列点(xi,yi)(i=0,1,2,...,n-1)。
(2)计算任意闭合曲面X的中心点(xc,yc),对其闭合的边界线Y使用格林公式得出离散后的中心点坐标计算公式,如式(5.5)所示。
(3)根据闭合曲线中心点的坐标,可以得出半径序列。为了更通用性的分析形状特征,可以将半径序列进行归一化处理,得出序列ri的离散欧氏距离变换F(ω),如式(5.6)和(5.7)所示。
的模便是欧氏距离系数,其公式如式(5.8)所示。
www
(5.8)
对采集的苹果样本边缘进行边界跟踪,并对随之获取的半径序列进行傅里叶变换的离散化,然后分析频率ω的变化与欧氏距离系数值之间的关系。若ω>M(M
5.2.2基于圆度值法分析形状特征
实际上,人们在购买苹果的时候,会优先选择圆形度较好的苹果,所以可以用苹果圆形度是作为其形状的描述指标。标准圆的周长和面积计算公式如式(5.9)和(5.10)所示。
(5.9)式中,L为圆的周长,Lr为根据周长求得的圆半径。
(5.10)式中,S为圆的面积,Sr为根据面积求得的圆半径。圆形的参数有周长L和面积S,对于同一个圆来说,根据周长计算得到的半径Lr和根据面积计算得到的半径Sr是相等的,但是研究发现,同一个苹果的Lr和Sr却是明显的不相等,造成这一原因是因为苹果的形状不规则,并不是标准的圆形,不同形状等级苹果的圆度值数据如表5.5所示。
表5.5不同形状等级苹果的圆度值数据
优等果 | 一级果 | 二级果 | 等外果 |
0.8402 | 0.8387 | 0.8253 | 0.8087 |
0.8439 | 0.8356 | 0.8231 | 0.8138 |
0.8457 | 0.8322 | 0.8252 | 0.7843 |
0.8525 | 0.8341 | 0.8221 | 0.8126 |
0.8603 | 0.8378 | 0.8237 | 0.7974 |
0.8914 | 0.8404 | 0.8301 | 0.8206 |
由表5.5可以看出,不同形状等级的苹果其圆度值是等级分明的,优等果的圆度值大于0.84,一级果的圆度值基本介于0.83和0.84之间,二级果的圆度值基本介于0.82和0.83之间,等外果的圆度值基本小于0.82。所以本文以圆度值metric来作为判断苹果的圆形度的依据。圆度值公式如下式(5.11)所示:===
(5.11)式中,S表示闭合边缘区域的面积,L表示闭合边缘的周长,Lr是根据周长计算得到的半径,Sr是根据面积计算得到的半径。根据前面章节所得到苹果边缘来进行该边缘圆度值的计算,圆度值的大小位于[0,1]区间内,轮廓越接近标准圆形,其圆度值越接近1。对两种情况下的苹果样本进行圆度值计算的结果如图5.9所示。
(a)单个苹果的圆度值(b)多个苹果的圆度值
图5.9苹果形状的圆度值检测示意图
图5.9中的数字表示该苹果的圆度值,本文使用的圆度值法也可以完成同一图像中多个苹果的圆度值计算。相对于对细小零件的形状测量,苹果的形状分级并不是需要非常精确的数据,是允许有一定变化范围的,而采用圆度值metric的计算公式方法,也能够较好地描述人们对苹果形状的满意度,与欧氏距离变换提取形状特征的方法相比,利用圆度值来描述苹果形状的方法计算简单,运行速度快,结果相对精确,符合实时分级的需求。根据圆度值对苹果进行形状分级,本实验选取500个红富士苹果作为样本,分别进行人工分级和机器分级,结果如表5.6所示。
表5.6苹果样本在形状方面进行人工分级和机器分级结果表
等级 | 人工分级数 | 机器分级数 | 错误个数 |
优等果 | 122 | 112 | 10 |
一等果 | 131 | 144 | 13 |
二等果 | 134 | 122 | 12 |
等外果 | 113 | 122 | 9 |
通过对表5.6结果的统计分析,机器分级形状的平均正确率达到了91.2%。
第六章 总结与展望
6.1研究总结
针对我国苹果产量大,但是自动分级技术还是相对于国外来说较为落后,本课题研究的是基于机器视觉技术的苹果分级检测的算法,使用这些算法可以完成对苹果大小、形状、纹理、颜色等方面的特征提取以及后续的分级处理,在对一些处理算法进行分析对比之后,选择出适合苹果特点的算法来进行一系列的图像处理。在算法中加入了一些较为新颖的图像细节优化处理,使得结果更加稳定理想,并在Matlab平台中进行算法的验证分析。而且本文中的算法不仅适用于检测一幅图像中的单一目标,当一幅图像中有多个苹果目标时也可以进行识别处理,为将来研究苹果分拣机器人或采摘机器人提供前期的算法基础支持,具有一定的应用研究价值,并在Matlab平台中进行了算法验证。在大小方面,需要利用苹果的直径来进行大小的分级,首先分别求得了苹果的最小外接矩形和最大内切圆,最小外接矩形计算较为复杂,且求取苹果直径的精度不如最大内切圆法,所以结合实际选用了最大内切圆法来计算苹果边缘的像素直径。然后根据实验样本的数据拟合出像素直径与苹苹果际直径二者之间的关系方程,利用该方法求得的苹苹果际直径误差在1.7mm以内,符合苹果直径等级区间的标准。在形状方面,分析了欧氏距离变换描述法和圆度值法,欧氏距离计算相对于圆度值法尤为复杂,而且不同形状等级的苹果其圆度值是等级分明的,因此选用圆度值法更适合苹果的形状分级。
6.2研究展望
本文对研究了苹果分级的检测算法,虽然取得了一定的成果,但是完整的苹果自动分级系统仍然是一个比较复杂的流程,所做的研究工作还存在很大空间的提升,所以需要继续做更深入的研究,未来需要开展的工作有如下方面:(1)需要进一步的研究实际作业环境下的苹果分级检测,并不能仅局限于实验室的简单环境,在实际的操作环境中才可以不断改进优化算法。同时也需要在特征提取完成分级之后,继续研究分级执行装置的设计。(2)未来的研究中需要继续对苹果表面的缺陷情况进行研究分析,使得坏果在分级中可以直接被剔除,从而提高工作效率,让苹果分级系统更加完整。(3)本文研究的算法可以继续在其他类型的水果中进行实践,找出它们之间的共通之处,让算法更具有通用性,可以更好的应用到各类水果分级中。
参考文献
[1]司永胜, 乔军, 刘刚, et al. 基于机器视觉的苹果识别和形状特征提[J]. 农业机械学报, 2009, 40(8):161-165.
[2]李秀智. 基于机器视觉的苹果形状分级系统研究[D]. 南京农业大学, 2003.
[3]谢锋云, 周建民, 江炜文, et al. 基于隐马尔科夫模型的苹果分级方法研究[J]. 食品与机械, 2016(7):29-31.
[4]郭志涛, 袁金丽, 岳大为, et al. 基于L-M神经网络的苹果形状快速分级[J]. 农业网络信息, 2007(7).
[5]孙斐. 基于机器视觉的苹果分级检测算法研究[D].
[6]马垚. 基于机器视觉的苹果定向和分级方法研究[D].
[7]李先锋, 朱伟兴, 花小朋, et al. 基于D-S证据理论的决策级多特征融合苹果分级方法[J]. 农业机械学报, 2011, 42(6).
[8]王亚良, 计时鸣, 张利, et al. 基于模糊算法的苹果无损分拣技术研究[J]. 浙江工业大学学报, 2003, 31(5):549-552.
[9]蒋益女, 徐从富. 基于分类器的苹果梗蒂识别技术比较研究[J]. 计算机仿真, 2010, 27(7):210-213.
[10]侯大军, 朱伟兴, 董国贵, et al. 基于图像处理的苹果形状特征的提取研究[J]. 微型机与应用, 2009, 28(14):54-57.
[11]侯文军. 基于机器视觉的苹果自动分级方法研究[D]. 南京林业大学, 2006.
[12]张健, 张莉华. 基于改进二进制粒子群算法的苹果多特征提取分级研究[J]. 浙江农业学报, 2016, 28(9):1609-1615.
[13]侯大军. 基于机器视觉的苹果特征选择和分类识别系统[D]. 江苏大学, 2010.
[14]向光蓉. 基于图像识别的苹果分级研究[D]. 大连海事大学, 2003.
[15]梁明, 孟大伟. 多特征图像融合的苹果分级方法应用研究[J]. 计算机仿真, 2012, 29(7):256-259.
[16]蔡健荣, 许月明. 基于主动形状模型的苹果果形分级研究[J]. 农业工程学报, 2006, 22(6):123-126.
[17]李先锋. 融合形状和颜色特征的苹果等级检测[J]. journal6, 2006, 46(35):202-204.
[18]夏卿, 李先锋. 基于改进PSO算法和LS-SVM的苹果分级检测[J]. 计算机与现代化, 2012, 1(5):161-163.
[19]王福杰. 运动水果的形状描述方法与在线检测技术[D]. 浙江大学, 2013.
[20]薄丽丽. 基于机器视觉苹果检测算法的研究[D]. 河南科技大学.