科普一下神经网络的原理

神经元的概念

1.感知器:神经网络的基本构件

感知器可以被理解为一个二进制模型,它基本上模仿了一个生物神经元。1905年,科学家弗兰克·罗森布拉特受到沃伦·麦卡洛克和沃尔特·皮茨早期研究的启发,首次提出了这个概念,并于1960年提出。感知器模式化一个决策模型,该模型可以根据给定的一组二进制输入输出不同的结果。这些输入可以有不同的权重来说明它们的重要性,因此我们的想法是计算一个二进制输入的加权和,它恰好大于或小于一个特定的阈值,这个阈值与实际的感知器本身密切相关。

感知器模式

感知器也可以用一个简单的代数公式表

定义感知器的代数表达式2.S形神经元

S形神经元是一个比感知器稍微复杂一点的模型。与只能保存0或1值的感知不同,乙状结肠神经元可以保存0到1之间的范围,所以它可以保存无限的数字。它的优点是我们极大地增加了输出规模,因此模型在数值上变得更加稳定,因为输入权重的微小变化会导致输出的微小变化。在之前的模型中,无论我们如何微小地调整输入的权重,输出都会突然在0和1之间切换,而对于S形神经元,我们在输出变化中达到了一定程度的平滑。

为了更清楚地说明,这里的神经元扮演的是一个函数的角色,它接受所有输入的加权和,并输出0到1之间的一个数字。一旦加权和大于阈值,神经元就会被激活。内部阈值通常被认为是一个特定于每个神经元的偏差。

总而言之,一个S形神经元计算器输入的加权和,应用一个函数,将结果压扁在0到1之间的数字范围内,最后将得到的结果与其阈值进行比较,以便“点亮”或“熄灭”。

网络层

1.什么是图层

基本上,将多个神经元平行或串联地堆叠在一起就构成了一个层。但正如你可能明显预期的那样,这其中的意义远不止是随意堆积神经元。每个网络都是为特定的任务而构建的,因此它有不同的层,以不同的方式组装。但是,通常有三种类型的层通常用于多种体系结构模式:输入层、隐藏层和输出层。

输入层:输入层是直接与网络外部原始数据交互的第一层。这样一个层的主要兴趣是规范化外部数据格式,以便它可以被安装到下一层和整个网络。不管给定给网络的数据的性质如何,输入层都会对该数据进行转换,以生成一组特定的数字,即张量,它表示每个特定的输入。网络只处理数字。

输入层结构

 

隐藏层:隐藏的层没有什么神秘的。既不是输入层也不是输出层的层称为隐藏层。这些层在网络架构中非常重要。他们负责检测与数据相关的特定模式,这将帮助网络学习如何识别或将输入数据分类到特定类别。

以一种更科学的方式,这些层涉及到生成抽象级别的过程。这意味着,网络能够检测和学习的逻辑模式越多,它的“抽象能力”就越强,从而导致系统从简单的原始数据泛化为高级概念。

同样的泛化过程在我们的大脑中本能地发生,甚至没有注意到。从狗的图片中,我们立刻想到了动物,因为对于狗的形象,我们已经学习了与生理特征相关的特定模式,这有助于区分狗和猫。从某种意义上说,从狗的形象到对狗所代表的概念的高层次理解的整个过程是通过多层抽象的组合而建立起来的。

每个网络根据它要解决的问题的性质来定义它的隐藏层,因此可以使用多种设计。一个体系结构可以很好地适应特定的问题,但在另一个体系结构上不能很好地执行。

这些层的有趣之处在于,一层的激活模式会导致下一层的特定模式等等。这意味着每一层都负责检测数据中的奇异模式。在卷积神经网络将图像分类为目标标签的情况下,它们在其隐藏层中实现了一种机制,可以令人信服地将像素合并为边缘,将边缘合并为模式,最后将模式合并为数字。

输出层:在对前一层进行连接以处理模式检测的复杂任务之后,输出层的激活意味着将输入数据标记到目标类别中。因为神经网络在完成所有中间工作之后的主要作用是正确地将给定的内容与预期的内容匹配,因此,就神经元而言,输出层的大小与数据中不同的标签或类的数量相同。例如,一个用于对狗和猫进行分类的网络在输出层必然有两个神经元,分别给出两种可能性的正确性概率。

输出层中最常用的激活函数是Softmax,它计算每个目标类在所有可能的目标类上的概率分布。

神经网络结构

阿兹莫夫研究所的神经网络园可以使用的网络架构种类繁多。但是请始终记住,体系结构取决于问题的类型和目的。实际上有很多设计模式或架构已经被证明更适合特定的问题集。网络架构是一个活跃的研究领域,每年都有许多这样的论文发表。

一般来说,神经网络有5大类:

1、前馈神经网络:这些神经网络是最简单人工神经网络形式之一,其中的数据被馈送到网络,并只在一个方向移动。数据通过输入节点并在输出节点上退出。这个神经网络可以有,也可以没有隐含层,这就是为什么我们叫它前馈网络。

2、径向基函数神经网络:径向基函数是一组常用的用于距离计算的函数,它们考虑点相对于中心的距离。RBF神经网络采用径向基函数作为激活。网络的输出是输入的径向基函数和神经元参数的线性组合。

3、递归神经网络:递归神经网络(RNN)是一种广泛应用于语音识别和自然语言处理(NLP)的人工神经网络。RNNs的设计目的是识别数据的顺序特征并使用模式来预测下一个可能的场景。

4、卷积神经网络:卷积神经网络类似于前馈神经网络,其中神经元具有可学习的权值和偏差。卷积神经网络在图像识别、目标检测、人脸识别、图像分析等领域有着广泛的应用。

手写体数字的卷积神经网络示例5、模块神经网络:模块神经网络有一组不同的独立工作的网络,它们对输出有贡献。每个神经网络都有一组输入,与其他构建和执行子任务的网络相比,这些输入是唯一的。

我希望这篇文章有助于使理解神经网络背后的数学概念变得不那么神秘,并且我敢肯定,通过一些实践,您可以轻松地熟悉这些概念。

来源:

https://baijiahao.baidu.com/s?id=1662688200330331244&wfr=spider&for=pc

发表评论

电子邮件地址不会被公开。 必填项已用*标注