13-考试复习

1. 基本概念

• 基本概念
  • 分类
  • 回归
  • 维数灾难
  • 欠拟合
  • 过拟合
  • …

评价指标[[2023Fall/机器学习/0-introduction#2.2. 评价指标|0-introduction]]
距离度量函数
计算度量
生成式/判别式模型

2. 👍KNN

KNN思想、概念、算法流程

降低计算复杂度，大概看一下

3. 👍无监督学习

聚类概念
聚类准则：聚类好坏判断，度量

三类聚类方法

k-means

评价指标

4. 树学习

概念

• 决策树
  • 构造
  • 构造时如何选择节点
    • 熵，信息增益
    • ID3：熵
    • C4.5：信息增益
    • CART: Gini指数

5. 集成学习

集成学习的原理，怎么不同的弱分类器结合成强分类器

Bias-Variance tradeoff

基本的集成学习方法原理：Bagging, Boosting
比较难的几个看一看就行

6. 概率学习

概率学习

• 高斯混合模型
• 基本概念
  • 带约束的数学优化问题
  • 不带约束的最小二乘优化问题

最大似然估计，期望最大化
理论推导不要求

7. svm

传统机器学习里最代表性的算法
不会考推导

除了二分类、线性，非线性也需要了解

8. 神经元

神经元

一些基本概念

感知机

9. 神经网络

神经网络需要深入掌握

输入，隐藏层，输出层

前向，反向传播计算

10. 深度学习

近现代的卷积

核心概念，关键模块

11. 演化学习

典型的遗传算法，

遗传的变异、选择

模式理论大概了解即可

12. 维度约简

• 降维算法
  • LDA
  • PCA
  • ICA

13. 强化学习

一定会出现

MDP
动态规划

探索
值函数、奖赏、测略

基于模型，不基于模型

Morte Carle方法
时间差分

Bootsraps
Sampling

Q-learning
TD

epsiode的概念