close
当前位置: 物联网在线 > 技术文库 >

初学者必看!深度学习入门指南

 初学者必看!深度学习入门指南

前言

机器学习技术为现代社会的许多领域提供了强大的技术支持:从网络搜索到社交网络的内容过滤,再到电子商务网站的产品推荐。机器学习技术正越来越多的出现在消费级产品上,比如照相机和智能手机。 机器学习系统可用于识别图像中的对象,将语音转换成文本,选择搜索结果的相关项,以及匹配新闻、帖子或用户感兴趣的其他东西。 类似的应用越来越多,它们都使用了一种叫做深度学习的技术。

深度学习(也称为深层结构学习、层次学习或深度机器学习)是基于对数据中的高级抽象进行建模的算法,它属于机器学习的分支。最简单的例子,你可以有两组神经元:接收输入信号的神经元和发送输出信号的神经元。当输入层接收到输入时,它将输入的修改版本传递给下一层。在深层网络中,输入和输出层之间有很多层(层并不是由神经元构成,这里只是为了帮助你思考),这些层允许算法使用多个处理层,这些层包含了多个线性和非线性变换。

近来,深度学习技术使得机器学习发生了革命性的变化,并出现了很多伟大的成果。 它们大大改进了语音识别、视觉对象识别、对象检测以及许多其他领域(如药物发现和基因组学)的技术。 “深度学习”这个术语最早由Dechter(1986)引入机器学习,由Aizenberg等人(2000)引入人工神经网络(NN)。 深度学习的进一步普及得益于由Alex Krizhevsky发明的被称为“AlexNet”的卷积网络架构的出现。“AlexNet”在2012年的ImageNet比赛中击败了其他所有的图像处理算法,开创了在图像处理中使用深度学习架构的先河。

深度学习架构

1. 生成式深度架构,旨在描述用于模式分析或合成目的的观测数据或可见数据的高阶相关特性,以及描述可见数据及其关联类的联合统计分布的特征。在后一种情况下,使用贝叶斯规则可以将这种类型的架构变成辨别式深度架构。

2. 辨别式深度架构,旨在直接提供模式分类的辨别力,通常通过描述基于可见数据种类的后验分布来描述。

3. 混合式深度架构,其目的是辨别,但通常辅以通过更好的优化或规则化的生成架构的结果,或者是其辨别标准被用来学习类别1中的任何一个深度生成模型的参数

尽管深度学习架构的分类很复杂,但在实践中经常用到的有深度前馈网络、卷积网络和循环网络。

深度前馈网络

前馈网络,通常被称为前馈神经网络或多层感知器(MLP),它是典型的深度学习模式。

前馈网络的目标是逼近某个函数f。例如,对于一个分类器,y=f(x)表示的是将输入x映射到类别y。前馈网络定义了一个映射 y=f(x;θ),并学习能产生最佳逼近函数的参数θ的值。

简单来说,网络可以定义为输入、隐藏和输出节点的组合。数据从输入节点流入,在隐藏节点中进行处理,然后通过输出节点产生输出。信息流经从x评估的函数,通过用于定义f的中间计算,最后到输出y。该网络中没有反馈连接,其中模型的输出反馈到自身,因此模型被称为前馈网络。该模型如图[1]所示。

图[1]:前馈神经网络

图[1]:前馈神经网络

卷积神经网络

卷积神经网络

在机器学习中,卷积神经网络(CNN或ConvNet)是一种前馈人工神经网络,其神经元之间的连接模式是受动物视觉皮层组织的启发而发明出来的。

个别皮质神经元对受限区域的刺激响应称为感受野。不同神经元的感受野部分重叠,这使得这些感受野像瓦片一样平铺。

单个神经元对其感受野内的刺激的反应可以用卷积运算近似地数学化。卷积网络的灵感来自于生物学,是多层感知器的变体。它在图像和视频识别、推荐系统和自然语言处理中具有广泛的应用。

LeNet是第一个卷积神经网络,它推动了深度学习领域的发展。自1988年以来,Yann LeCun的这项开创性工作多次成功迭代后成为了LeNet5。当时的LeNet架构主要用于字符识别,如阅读邮政编码、数字等等。

图[2]:一个简单的卷积神经网络模型

图[2]:一个简单的卷积神经网络模型

ConvNet有四个主要组件,如图2所示:
1.卷积层
2.激活函数
3.池化层
4.完全连接层

卷积层


(责任编辑:ioter)

用户喜欢...

【原创深度】WISP为农村地区提供高速互联网接入

互联网为人们的生活提供了便利。在城市中,人们可以通过电缆或光纤接入互联网,轻松获得超百兆带宽的下载速度。然而,这轻而易举就能够得到的资源,在很多农村地区,是无论付出什么...


深度解析FPGA四大设计要点

FPGA的用处比我们平时想象的用处更广泛,原因在于其中集成的模块种类更多,而不仅仅是原来的简单逻辑单元(LE)。早期的FPGA相对比较简单,所有的功能单元仅仅由管脚、内部buffer、LE、RAM构...


深度卷积神经网络在目标检测中的进展

近些年来,深度卷积神经网络(DCNN)在图像分类和识别上取得了很显著的提高。回顾从2014到2016这两年多的时间,先后涌现出了R-CNN,Fast R-CNN, Faster R-CNN, ION, HyperNet, SDP-CRC, YOLO,G-CNN, SSD等越来...


【原创深度】CBRS——无线领域的下一代领军技术

经过多年努力,联邦通信委员会(FCC)终于展示了其国家宽带计划——公民宽带无线电服务(CBRS)。它没有像5G技术和物联网那样受到重视,但其影响力仍不容小觑。如果CBRS运行成功,它将...


Movidius 为深度学习增添优势

Neural Compute Stick ( 神经计算棒),让人工智能在低功率嵌入式应用中成为现实。 人工智能 (AI),与核聚变清洁能源一样,数十年来被人们认为将对社会产生深远的影响,凭借近年来取得的科技进...


初学者必读:卷积神经网络指南(一)

摘要: 何为卷积神经网络,它来自何方?又要走向何处?跟着作者的节奏,一起来开始探索CNN吧。 卷积神经网络听起来像一个奇怪的生物学和数学的组合,但它是计算机视觉领域最具影响力...


【原创深度】僵尸网络引发物联网安全大战:再谈嵌入式安全

贸泽电子 Majeed Ahmad 物联网(IoT)僵尸网络(botnet)的兴起已经成为智能家庭,智慧城市和工业网络化等新兴产业的安全威胁。僵尸网络的分布式拒绝服务(DDoS)攻击已有时日,而且针对物联...


pcb layout初学者如何理解差分信号

随着半导体技术和深压微米工艺的不断发展,IC的开关速度目前已经从几十M H z增加到几百M H z,甚至达到几GH z。在高速PCB设计中,工程师经常会碰到误触发、阻尼振荡、过冲、欠冲、串扰等信号...


【原创深度】压电马达的驱动设计

对大多数电气工程师而言,“电动机”是指电磁旋转运动单元。当需要线性运动而不是旋转运动时,工程师会考虑添加机械转换装置或者使用线性感应马达。然而,由于控制、公差、反向间隙...


23种深度学习库排行榜:TensorFlow、Keras、caffe占据前三

作者:John.Lau,来源: 大数据与云计算核心技术 我们对23种用于数据科学的开源深度学习库作了排名。这番排名基于权重一样大小的三个指标:Github上的活动、Stack Overflow上的活动以及谷歌搜...