7-神经元

Charlie
  2023-11-07 19:03 2023-11-07 19:03 创建   2024-07-05 12:55:04 2024-07-05 12:55:04 更新    

1. Hebb法则

连接强度的调整值与输入输出的乘积成正比，经常出现的模式增强神经元的连接

2. MP神经元模型

image.png

输入：X
权重：W
输出：激活函数

偏置单元：

单个神经元实现and/or，但不能实现xor

3. 激活函数

单位跃阶函数

  • Sigmoid函数：
    • 容易造成梯度消失，无法扩展模型深度
    • 导数为其本身的函数
    • 饱和激活函数

ReLU、Leaky ReLU

4. 感知机

早期的前馈式人工神经网络

4.1. 有监督的学习机制

image.png

当期望输出与实际输出不一致时，更新

4.2. 学习算法

假设样本线性可分

  1. 权值初始化
  2. 输入样本对
  3. 计算输出
  4. 根据感知机学习规则调整权值
  5. 回到2输入到下一堆样本，直到所有样本的实际输出值与期待输出相等

image.png

5. 线性可分性

5.1. 决策边界

鉴别函数定义的超平面

5.2. 多分类的决策边界

每一个输出神经元定义一条决策边界
多个神经元就决定多分类的决策边界

5.3. 感知机收敛理论

给定线性可分的数据集，感知机可以在有限次迭代中收敛到一个决策边界

定义式分离超平面与最接近的数据点之间的距离，则迭代次数的界为

5.4. 感知机局限

单层神经网络，不能解决非线性问题

  • 标题: 7-神经元
  • 作者: Charlie
  • 创建于 : 2023-11-07 19:03:00
  • 更新于 : 2024-07-05 12:55:04
  • 链接: https://chillcharlie357.github.io/posts/97787735/
  • 版权声明: 本文章采用 CC BY-NC-SA 4.0 进行许可。
评论
此页目录
7-神经元
  1. 1. Hebb法则
  2. 2. MP神经元模型
  3. 3. 激活函数
  4. 4. 感知机
    1. 4.1. 有监督的学习机制
    2. 4.2. 学习算法
  5. 5. 线性可分性
    1. 5.1. 决策边界
    2. 5.2. 多分类的决策边界
    3. 5.3. 感知机收敛理论
    4. 5.4. 感知机局限