(一)机器学习算法实现

1、线性回归

• 梯度下降算法
• 一元线性回归
• 多元线性回归
• 岭回归
• 正规方程法

2、逻辑回归

• 二分类问题
  • 随机梯度下降算法
  • 牛顿法
• 多分类问题
  • 一对多策略
  • softmax实现多分类(未写)

3、线性判别分析

• 二分类的LDA算法
• 多分类的LDA算法

4、决策树

• ID3算法(信息增益)
• C4.5算法(增益率)
• CART分类算法(基尼指数)
• 预剪枝
• 后剪枝（未写）
• CART回归算法-回归决策树

5、感知机

• 原始形式
• 对偶形式

6、支持向量机

• 硬间隔
• 软间隔
• 核方法：线性核、高斯核
• 使用SMO算法求解alpha、b

7、支持向量回归

• 引用别人的(为看懂，待学习)

8、集成学习

• 序列化方法
  • Boosting-AdaBoost
• 并行化方法
  • Bagging
  • Random Forest

(二)相关操作

1. 矩阵操作
2. 向量操作