机器学习(Machine Learning)
机器学习是人工智能(Artificial Intelligence)的核心。它和统计学有着密不可分的关系。作为对比,让我们先来看一看这两个领域的区别。
传统的统计学的特点:
- 低维数据;
- 数据中有大量噪点(Noise);
- 数据中没有复杂的结构,且所有结构均可以被简化为一个相对简单的模型;
- 面临的主要问题是如何从数据中分辨出正确的结构。
人工智能的特点:
- 需要处理高维度的数据(超过100维的数据);
-
如果我们正确处理的话,数据中的噪点将不足以遮蔽数据的结构;
- 数据中存在大量的结构,且这些结构过于复杂,所以无法用简单的模型代替。
- 面临的主要问题是如何找到一种方法来描述复杂的结构从而可让机器来学习。
神经网络的发展历史
神经网络作为机器学习的一门重要技术,已经经历了数十年的发展。下面对它做一个简单的归纳。
第一代神经网络
感知器(~1960)
感知器(Perceptrons)使用一层手编(Hand-coded)特征,通过学习如何给这些特征加权来识别对象。
感知器的优点:调整权值的学习算法很简洁。
感知器的缺点:感知器一些先天的缺陷,导致它们可以学习的东西大大地受限。
Vapnik和他的同事们发明了大名鼎鼎的支持向量机(SVM),改进了感知器的一些缺陷(例如创建灵活的特征而不是手编的非适应的特征),并得到了广泛的应用。但是归根到底,它还是一种感知器,所以无法避免感知器的先天限制。
第二代神经网络
BP(反向传播,Back-propagate)神经网络(~1985)
BP神经网络通常使用梯度法来修正权值。
BP并不是一种很实用的方法。原因有三:
- 它需要被标记的训练数据,但是几乎所有的数据都是未标记的。
- 学习时间不易衡量,在多层网络中,速度非常慢。
- 它陷入局部极小点而不收敛的情况极大。
第三代神经网络
最近的神经科学研究表明,和人类的许多认知能力相关的大脑皮层,并不显式地预处理感知信号,而是让它们通过一个复杂的模块层次结构,久而久之,就可以根据观察结果呈现的规律来表达它们。
这一发现促进了深机器学习(DML, Deep Machine Learning)的发展。DML关注的恰恰正是是信息表达的计算模型,和大脑皮层类似。
目前DML领域有两种主流的方法:
- Convolutional Neural Networks
引用
[1] Y. Bengio, “Learning deep architectures for AI", Found. Trends Mach. Learn., vol. 2, no. 1, pp. 1–127, 2009.
[2] Itamar Arel, Derek C. Rose, and Thomas P. Karnowski, "Deep Machine Learning—A New Frontier in Artificial Intelligence Research", IEEE Comput. Intell. Mag., vol. 5, pp. 13-18, 2010.
- 大小: 35 KB
- 大小: 49.6 KB
- 大小: 12.8 KB
- 大小: 43.3 KB
分享到:
相关推荐
一起来了解神经网络的发展历史,一起来了解神经网络的发展历史一起来了解神经网络的发展历史一起来了解神经网络的发展历史一起来了解神经网络的发展历史
人工神经网络发展历史与训练算法概述.pdf
在人工神经网络发展历史中,很长一段时间里没有找到隐层的连接权值调整问题的有效算法。直到误差反向传播算法(BP算法)的提出,成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。 BP (Back ...
神经网络发展历史。BP神经网路,Hotfield神经网络,反向传播算法等
在人工神经网络的发展历史上,感知机(Multilayer Perceptron,MLP)网络曾对人工神经网络的发展发挥了极大的作用,也被认为是一种真正能够使用的人工神经网络模型,它的出现曾掀起了人们研究人工神经元网络的热潮。...
首先回顾了卷积神经网络的发展历史,介绍了卷积神经网络的基本结构和运行原理,重点针对网络过拟合、网络结构、迁移学习、原理分析四个方面对卷 积神经网络在近期的研究进行了归纳与分析,总结并讨论了基于卷积神经...
该文首先概述了卷积神经网络的发展历史,然后分别描述了神经元模型、多层感知器的结构.接着,详细分析了卷积神经网络的结构,包括卷积层、池化层、全连接层,它们发挥着不同的作用.然后,讨论了网中网模型、空间变换网络...
介绍人工神经网络的历史及发展,神经网络的实现。
该文首先概述了卷积神经网络的 发展历史,然后分别描述了神经元模型、多层感知器的结构.接着,详细分析了卷积神经网络的结构,包括卷积层、 池化层、全连接层,它们发挥着不同的作用.然后,讨论了网中网模型、空间...
我们首先介绍了推荐系统和图神经网络的背景和发展历史。对于推荐系统,一般来说,现有工作的分类分为四个方面: 阶段、场景、目标和应用。对于图神经网络,现有的方法包括谱模型和空间模型两大类。
简述神经网络的发展历史,对神经网络的知识做了充分的调查,使用的是MindMaster软件画的思维导图。
人工神经网络的发展已有近六十年的历史,当前神经网 络研究在理论、应用方面都取得了令人瞩目的进展。前向多层神经网络被证明具有较强的功能,误差反传训练(E达CkPro环堪ation,BP)算法是这种网络的典型算法,BP网络...
本文从卷积神经网络的发展历史开始,详细阐述了卷积神经网络的网 络结构、神经元模型和训练算法。在此基础上以卷积神经网络在人脸检测和形状识别方面的应用为例,简 单介绍了卷积神经网络在工程上的应用,并给出了设计...
从卷积神经网络的发展历史开始,详细阐述了卷积神经网络的网络结构、神经元模型和训练算法。在此基础上以卷积神经网络在人脸检测和形状识别方面的应用为例,简单介绍了卷积神经网络在工程上的应用,并给出了设计思路...
纵观当代新兴科学技术的发展历史,人类在征服宇宙空间、基本粒子,生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到,探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异
在人工神经网络发展历史中,很长一段时间里没有找到隐层的连接权值调整问题的有效算法。直到误差反向传播算法(BP算法)的提出,成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。 BP...
此文件是讲述深度学习中的发展历史以及深度学习中神经网络的学习机制入门。
人工神经网络- 贾志刚• 人工神经网络历史• 人工神经网络发展• 代码层面演示• 总结1.人工神经网络历史• 人工智能技术兴起不发展• 生物绅胞结构启发• 心理