图像特征综述

前言:

        关于集合:在计算机科学领域,离散数学是非常重要的学科,在图像处理领域,这种重要性更加直观。


一:特征可靠性的来源:

1. 数据离散化:       

        系统观测理论:物理世界存在某一实体,若对其进行描述和解析,需要观测系统及系统所提供的接口。作为图像分析系统的接口,实现的功能是完成实体的图像化,即是实体的可视化。

        实体与人的视觉交互是其研究价值的根本,可视化是必须的;若实体不能具体可视化,即只可称之为数据,则可排斥出图像研究领域,即实体完整描述必须完成可视化。

        离散图像——图像可视化的实现:所有完成图像数据可视化的介质都只能完成图像数据离散的描述:古老的CRT为阴极射线激发荧光粉生成光斑点,画面本质上是离散的,CRT以推出大多数应用领域,可以暂且不谈;等离子为等离子激发稀有气体发射紫外线,紫外线激发荧光粉发出可见光,以粉为点;LED以液晶分子的阵列转换改变透视特性来显示色彩,图像描述为像素;OLED为有机自发光,以自发光有机分子作为原子像素。

        图像准确性:图像的介质转换以离散数据的方式进行,和图像真实定义(形状特性等)产生偏差,在信息接收到额过程中,再次从离散数据归结为图像数据,这个过程就是 拟合。对于拟合过程来说,拟合数据越多,拟合越精确,因此图像数据描述定义和显示设备 都进行着像素大战。


      可拟合性的基础:图像像素排列的硬规则。

      (1):图像的硬性规则描述

                 矢量图像:严格的说,矢量图像仅仅是一种图像数据描述,其可视化是其定义无法实现的。即矢量图像只给出了定义和方法级别的描述,而未给出其实现的描述。

                 点阵图像:图像的点阵排列规则是图像像素可拟合性的基础。

                       两种常用方式:正方形点阵和 六边形 蜂窝状点阵

                 蜂窝状点阵:优点是在描述线的相交时是无歧义的;确定是描述垂直时时有歧义的;

                 正方形点阵:虽然在描述线的相交时出现问题,但其对垂直的描述是 无歧义的,因此对正交可以很好的描述,与欧式空间坐标系更能相符合,为描述方式的主流。

      (2):正交离散坐标系

           正交离散坐标系为欧式离散坐标系,其可描述性为欧式离散空间,即多维整数空间,所有图像的描述最后必定归结为多维整数空间的描述。

     

2. 图像特征描述   


 (1):特征的直线特性:y=ax+b的参数描述,可以把直线的点集数据规约到二维,两条直线的距离 和相似度 表示为 两个方程的 距离和相似度。

                     S1:( f1: y=a1x+b1 )     S2: (f2: y=a2x+b2 )

                     Dis(S1,S2) ——>Dis(f1,f2)——>Dis( (a1,b1),   (a2,b2)  )  

           直线来源:点集的直线拟合。

           拟合准确性:拟合的方差和偏差等数值描述。

           特征准确性:集合到集合的距离表示为函数和函数的距离,如何保证这个映射的同态性。


(2):特征的曲线特性:y=a1x^n+ a2x^(n-1)......+ (aN-1) x + aN的参数描述,可以把直线的点集数据规约到N维,两条曲线的距离 和相似度 表示为 两个方程的 距离和相似度。          

          参考数值计算的相关知识...............


(3):二维图像特征描述:参考局部图像特征描述概述      

           图像在数学中的专业术语为二维张量,即可以嵌入二维欧式空间,表示为二维张量空间中的一个坐标。而图像特征典型为可以嵌入一维欧式空间中的N维向量,理解为对应了N维向量空间中的一个坐标。

           图像的特征提取过程,即是把二维图像从二维张量空间降维到一维向量空间,转化到N维向量空间,每个图像映射到N维向量空间的一个点上。这就带来了特征提取的本本质要求:压缩的近邻特性,即是在张量空间近似的图像其压缩映射到向量空间仍然保持近邻。

           这就表明了特征提取过程的数学描述:一个从二维张量空间到N维向量空间的hash映射,而且必定是压缩近邻hash的。

           这就隐含了特征提取的一般原则: 尺度不变性/相似性,旋转不变性/相似性,明暗不变性/相似性等要求。但也明确显示了一个特征提取的一般缺点:近邻hash映射的压缩损失。

           比如HOG特征提取的一般过程,对每个图片(假如64*40)块划分Cell和patch,在每一个cell里面计算梯度直方图,收集到一个1008维的特征向量里。依据特征提取的原理,相似图片的特征也必须相近。在计算HOG每个Cell直方图时,使用了梯度,这就保证了光线不变性和少量的旋转不变性。

           至于如何分类,那是模型的问题了,后面是适应某个问题的特定模型,比如SVM、RFs、logistics回归等。模型把N维向量再次压缩到0维空爱的离散个点上,完成分类识别。

           CNN走的更远,直接抛弃了图像信息从二维空间到向量空间的转换,这就直接舍弃了特征提取过程。直接使用Pooling和conv把图像从二维空间逐层变换,从N*N的图像,逐层压缩到二维空间的1*1的最终表示层,从二维空间直接跨越到0维。这就融合性地完成了传统方法特征提取和模型分类的整个过程。


3.三维图像特征

         三维图像在三维空间内进行表示,增加的纬度信息给图像特征提取开拓了空间,并降低了约束。对于可获得精确Z轴信息的三维图像,其特征缩放不变性即尺度 便不需要再考虑;其增加的Z轴信息,也使图像离散描述扩展到三维空间,特征提取面向于三维整数集合。

        

         图像三维特征综述:基于三维形状的三维图像检索


4.后记

         使用CNN对三维图像进行模式识别,是否该使用三维递进的网络结构呢?