close
当前位置: 物联网在线 > 技术文库 >

神经网络学习之M-P模型

所谓M-P模型,其实是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型。
下图是生物神经元结构。

 神经网络学习之M-P模型

大家可以查一查一些生物方面的书籍,了解一下这个神经元是如何工作的。我们可以概括出生物神经网络的假定特点:
1. 每个神经元都是一个多输入单输出的信息处理单元;
2. 神经元输入分兴奋性输入和抑制性输入两种类型;
3. 神经元具有空间整合特性和阈值特性;
4. 神经元输入与输出间有固定的时滞,主要取决于突触延搁

M-P模型

按照生物神经元,我们建立M-P模型。为了使得建模更加简单,以便于进行形式化表达,我们忽略时间整合作用、不应期等复杂因素,并把神经元的突触时延和强度当成常数。下图就是一个M-P模型的示意图。

 神经网络学习之M-P模型

那么接下来就好类比理解了。我们将这个模型和生物神经元的特性列表来比较:

 神经网络学习之M-P模型

结合M-P模型示意图来看,对于某一个神经元j (注意别混淆成变量了,在这里j 只是起到标识某个神经元的作用),它可能接受同时接受了许多个输入信号,用 χi 表示。

由于生物神经元具有不同的突触性质和突触强度,所以对神经元的影响不同,我们用权值 ωij 来表示,其正负模拟了生物神经元中突出的兴奋和抑制,其大小则代表了突出的不同连接强度。

θj表示为一个阈值(threshold),或称为偏置(bias)。

由于累加性,我们对全部输入信号进行累加整合,相当于生物神经元中的膜电位(水的变化总量),其值就为:

神经元激活与否(外接专用水管流出与否)取决于某一阈值电平(水位高度),即只有当其输入总和超过阈值θj 时,神经元才被激活而发放脉冲,否则神经元不会发生输出信号。整个过程可以用下面这个函数来表示:

yj表示神经元j的输出,函数f称为激活函数 ( Activation Function )或转移函数 ( Transfer Function ) ,net'j(t)称为净激活(net activation)。
若将阈值看成是神经元j的一个输入x0的权重w0j,则上面的式子可以简化为:

 神经网络学习之M-P模型

若用X表示输入向量,用W表示权重向量,即:

 神经网络学习之M-P模型

则神经元的输出可以表示为向量相乘的形式:

 神经网络学习之M-P模型

若神经元的净激活net为正,称该神经元处于激活状态或兴奋状态(fire),若净激活net为负,则称神经元处于抑制状态。
由此我们可以得到总结出M-P模型的6个特点:
1. 每个神经元都是一个多输入单输出的信息处理单元;
2. 神经元输入分兴奋性输入和抑制性输入两种类型;
3. 神经元具有空间整合特性和阈值特性;
4. 神经元输入与输出间有固定的时滞,主要取决于突触延搁;
5. 忽略时间整合作用和不应期;
6. 神经元本身是非时变的,即其突触时延和突触强度均为常数。

前面4点和生物神经元保持一致。

结合公式来看,输入χij的下标 i=1,2,...,n,输出 yj 的下标j 体现了第1个特点“多输入单输出”;

权重值 ωij 的正负体现了第2个特点中“突触的兴奋与抑制”;

θj 代表第3个特点 中的阈值,当 net'j(t)−Tj>0 时,神经元才能被激活;

为了简单起见,对膜电位的计算net'j(t) 并没有考虑时间整合,只考虑了空间整合,即只对每条神经末梢传来的信号根据权重进行累加整合,而没有考虑输入输出间的突触时延,体现了第5个特点。

这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model ),也称为神经网络的一个处理单元( PE, Processing Element )。

常用激活函数

激活函数的选择是构建神经网络过程中的重要环节,下面简要介绍常用的激活函数。

 神经网络学习之M-P模型


(责任编辑:ioter)

用户喜欢...

神经网络入门指南

人工神经网络(ANN)是一种从信息处理角度对人脑神经元网络进行抽象从而建立的某种简单模型,按不同的连接方式组成不同的网络。其在语音识别、计算机视觉和文本处理等方面取得的突破...


深度卷积神经网络在目标检测中的进展

近些年来,深度卷积神经网络(DCNN)在图像分类和识别上取得了很显著的提高。回顾从2014到2016这两年多的时间,先后涌现出了R-CNN,Fast R-CNN, Faster R-CNN, ION, HyperNet, SDP-CRC, YOLO,G-CNN, SSD等越来...


一步一步学用Tensorflow构建卷积神经网络

摘要: 本文主要和大家分享如何使用Tensorflow从头开始构建和训练卷积神经网络。这样就可以将这个知识作为一个构建块来创造有趣的深度学习应用程序了。 0. 简介 在过去,我写的主要都是...


初学者必读:卷积神经网络指南(一)

摘要: 何为卷积神经网络,它来自何方?又要走向何处?跟着作者的节奏,一起来开始探索CNN吧。 卷积神经网络听起来像一个奇怪的生物学和数学的组合,但它是计算机视觉领域最具影响力...


理解神经网络中的Dropout

dropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃。注意是暂时,对于随机梯度下降来说,由于是随机丢弃,故而每一个mini-batch都在训练不...


了解神经网络,你需要知道的名词都在这里

近日,Mate Labs 联合创始人兼 CTO 在 Medium 上撰文《Everything you need to know about Neural Networks》,从神经元到 Epoch,扼要介绍了神经网络的主要核心术语。 理解什么是人工智能,以及机器学习和深...


【科普】卷积神经网络(CNN)基础介绍

本文是对卷积神经网络的基础进行介绍,主要内容包括卷积神经网络概念、卷积神经网络结构、卷积神经网络求解、卷积神经网络LeNet-5结构分析、卷积神经网络注意事项。 一、卷积神经网络...


人工神经网络(Artificial Neural Network)算法简介

人工神经网络,简称神经网络,是一种模仿生物神经网络的结构和功能的数学模型或者计算模型。其实是一种与贝叶斯网络很像的一种算法。之前看过一些内容始终云里雾里,这次决定写一篇...


卷积神经网络(CNN)的简单实现(MNIST)

卷积神经网络(CNN)的基础介绍见 ,这里主要以代码实现为主。 CNN是一个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立神经元组成。 以MNIST作为数据库,仿照LeNet-5和tin...


使用 parsim 轻松实现 Simulink 模型并行仿真

很久以前,我曾写了一系列帖子重点介绍并行运算,以及并行运算需要考虑的种种情况。在 R2017a 里,新增加了一个功能 parsim,让这一切都变得简单多了。我们来看看这个新的 parsim 是怎么工...