统计模式识别的原理与方法

 统计模式识别的原理与方法

1 统计模式识别的原理与方法简介

1.1 模式识别

什么是模式和模式识别?

广义地说,存在于时间和空间中可观察的事物,如果可以区别它们是否相同或相似,都可以称之为模式;狭义地说,模式是通过对具体的个别事物进行观测所得到的具有时间和空间分布的信息;把模式所属的类别或同一类中模式的总体称为模式类(或简称为类)。而“模式识别”则是在某些一定量度或观测基础上把待识模式划分到各自的模式类中去。

模式识别的研究主要集中在两方面,即研究生物体(包括人)是如何感知对象的,以及在给定的任务下,如何用计算机实现模式识别的理论和方法。前者是生理学家、心理学家、生物学家、神经生理学家的研究内容,属于认知科学的范畴;后者通过数学家、信息学专家和计算机科学工作者近几十年来的努力,已经取得了系统的研究成果。

一个计算机模式识别系统基本上是由三个相互关联而又有明显区别的过程组成的,即数据生成、模式分析和模式分类。数据生成是将输入模式的原始信息转换为向量,成为计算机易于处理的形式。模式分析是对数据进行加工,包括特征选择、特征提取、数据维数压缩和决定可能存在的类别等。模式分类则是利用模式分析所获得的信息,对计算机进行训练,从而制定判别标准,以期对待识模式进行分类。

有两种基本的模式识别方法,即统计模式识别方法和结构(句法)模式识别方法。统计模式识别是对模式的统计分类方法,即结合统计概率论的贝叶斯决策系统进行模式识别的技术,又称为决策理论识别方法。利用模式与子模式分层结构的树状信息所完成的模式识别工作,就是结构模式识别或句法模式识别。

模式识别已经在天气预报、卫星航空图片解释、工业产品检测、字符识别、语音识别、指纹识别、医学图像分析等许多方面得到了成功的应用。所有这些应用都是和问题的性质密不可分的,至今还没有发展成统一的有效的可应用于所有的模式识别的理论。

1.2 统计模式识别

统计模式识别的基本原理是:有相似性的样本在模式空间中互相接近,并形成“集团”,即“物以类聚”。其分析方法是根据模式所测得的特征向量Xi=(xi1,xi2,…,xid)T(i=1,2,…,N),将一个给定的模式归入C个类ω1,ω2,…, ωc中,然后根据模式之间的距离函数来判别分类。其中,T表示转置;N为样本点数;d为样本特征数。

统计模式识别的主要方法有:判别函数法, k近邻分类法,非线性映射法,特征分析法,主因子分析法等。

在统计模式识别中,贝叶斯决策规则从理论上解决了最优分类器的设计问题,但其实施却必须首先解决更困难的概率密度估计问题。BP神经网络直接从观测数据(训练样本)学习,是更简便有效的方法,因而获得了广泛的应用,但它是一种启发式技术,缺乏指定工程实践的坚实理论基础。统计推断理论研究所取得的突破性成果导致现代统计学习理论——VC理论的建立,该理论不仅在严格的数学基础上圆满地回答了人工神经网络中出现的理论问题,而且导出了一种新的学习方法——支撑向量机]。

2 统计模式识别的研究进展

2.1 类条件概率分布的估计

考虑将待识样本X∈Rd判别为C个不同类ω1,ω2,…, ωc中的某一类。由贝叶斯定理,X应判为具最大后验概率的那一类。由于类条件概率分布未知,故通常假定分布为某一带参数的模型如多维正态分布(当多维正态分布中均值向量和协方差矩阵已知时,由此分布得到的二次判别函数是最优的),而表示分布的参数则由训练样本进行估计。当训练样本不充足时,分布参数包含估计误差影响识别精度。

为了提高分类精度,在参考文献中,Ujiie H等人提出了这样一个方法。首先,将给定数据进行变换(带指数函数的变换),使得变换后的数据更近似于正态分布,不论原数据所服从的分布如何,而且在理论上找到了最优变换;然后,为了处理这些变换后的数据,对传统的二次判别函数进行了修改;最后,提出了变换的一些性质并通过实验表明了该方法的有效性。

为了避免分类精度的降低,通过研究特征值的估计误差,提出了各种方法,但对特征向量的估计误差却考虑得不多。Iwamura M等人经过研究得出特征向量的估计误差是造成分类精度降低的另一个因素,因而在参考文献9中提出了通过修改特征值以弥补特征向量的估计误差的方法。

2.2 线性判别法

用户喜欢...

使用隔离反激式拓扑设计开关模式电源

由于所有的电子系统都需要某种功率,所以电源的特性和理解都很明确。尽管如此,由于移动设备到线路供电硬件等应用的尺寸更小,效率更高,可靠性更高以及功率完整性更​​高,电源设计...


论图像识别的预处理技术

图像识别中,图像质量的好坏直接影响识别算法的设计与效果精度,那么除了能在算法上的优化外,预处理技术在整个项目中占有很重要的因素,然而人们往往忽略这一点。 图像预处理,将...


图像识别的原理、过程、应用前景,精华篇!

图像识别技术是信息时代的一门重要的技术,其产生目的是为了让计算机代替人类去处理大量的物理信息。随着计算机技术的发展,人类对图像识别技术的认识越来越深刻。图像识别技术的过...


Unity应用架构设计(2)——使用中介者模式解耦ViewModel之间通信

当你开发一个客户端应用程序的时候,往往一个单页会包含很多子模块,在不同的平台下,这些子模块又被叫成子View(视图),或者子Component(组件)。越是复杂的页面,被切割出来的子模...


语音识别的下一攀登高峰是“人文境界”?

自从深度学习大热,广泛应用于语音识别以来,字幕中的单词错误率急剧下降。尽管如此,语音识别并没有达到人文水平,它仍会出现一些故障。承认这些然后采取措施来解决这些问题对于语...


游戏开发中的人工智能(三):移动模式

接上文 游戏开发中的人工智能(二):追逐和闪躲 本文内容:许多游戏中经常出现固定模式的移动,比如守卫的巡逻行为,宇宙飞船的降落等。开发者可以将移动模式技术应用于特定行为的...


和传统模式说再见,看机器学习如何走向深度学习?

主流的科技公司已在积极地把自己定位成AI或者机器学习公司:谷歌把“AI先行”作为公司战略,Uber自带机器学习的血统,而各种AI研究实验室更是层出不穷。 这些公司都在想尽办法说服世界...


语音识别的前世今生 | 深度学习彻底改变对话式人工智能

“语音识别”的终极梦想,是真正能够理解人类语言甚至是方言环境的系统。但几十年来,人们并没有一个有效的策略来创建这样一个系统,直到人工智能技术的爆发。 在过去几年中,人们...


解惑!卷积神经网络原来是这样实现图像识别的

图像识别是非常有趣和具有挑战性的研究领域。本文阐述了卷积神经网络用于图像识别的概念、应用和技术。 什么是图像识别,为什么要使用它? 在机器视觉领域,图像识别是指软件识别人...


(原)【PIC32学习笔记】PIC32 SPI简介(主/从模式)

SPI串行同步接口(有时钟脉冲) 串行外设接口(Serial Peripheral Interface,SPI)模块是用于同外部外设和其他单片机器件进行通信的同步串行接口。这些外设可以是串行EEPROM、移位寄存器、显示...


(原) 解读Unity中的CG编写Shader系列3——表面剔除与剪裁模式

在上一个例子中,我们得到了由mesh组件传递的信息经过数学转换至合适的颜色区间以颜色的形式着色到物体上。这篇文章将要在此基础上研究片段的擦除(discarding fragments)和前面剪裁、后面剪...


(Mips)大端模式小端模式、主机序网络序、入栈地址高低问题

一、大端模式小端模式 所谓的“大端模式”,是指数据的低位(就是权值较小的后面那几位)保存在内存的高地址中,而数据的高位,保存在内存的低地址中,这样的存储模式有点儿类似于...


MIPS系列笔记-大端模式小端模式、主机序网络序、入栈地址高低问题

一、大端模式小端模式 所谓的“大端模式”,是指数据的低位(就是权值较小的后面那几位)保存在内存的高地址中,而数据的高位,保存在内存的低地址中,这样的存储模式有点儿类似于...


HTC这么说:虚拟现实是一个智能手机级别的大市场

在CES大会上,HTC曾宣称不再自我局限于一家智能手机公司,他们的目标是通过向诸如可穿戴设备、互联设备以及娱乐领域的拓展,提供针对个人用户的科技服务。那时,HTC 并没有做任何产品...


程序员差别的本质

当我开始在阅读《技术的本质》的时候,我就开始在思考这样一个问题,我们在使用技术还是工具。 技术与工具 在某百科上说 一项技术是关于某一领域有效的科学(理论和研究方法)的全部...


特别的 Minecraft 给特别的 HoloLens

微软正变得越来越酷,而这并不是我们第一次有如此感慨。支撑起微软全新形象的一部分动力是颇具未来感的黑科技产品 HoloLens。在此前的展示中,微软更多地演示了 HoloLens 在设计、建筑、...