总结机器学习的算法原理，整理常见问题，并手写代码，搭建自己的算法库
- SVM
- 完整推导了SVM的数学过程
- 基于Platt的论文和《机器学习实战》完成SMO算法
- KNN
- 实现线性搜索的KNN算法
- 实现基于KDtree的KNN算法
- 总结sklearn中GridSearchCV的使用
- 线性回归
- 实现了基于全局的线性回归算法
- 实现了局部加权线性回归(Locally weighted linear regression)算法
- 算法的评定指标
- 回归算法的评价指标
- 分类算法的评价指标
- 数值最优化方法
- 简单实现梯度下降法
- 简单实现牛顿法
- 简单实现坐标下降法
- 决策树
- 实现ID3决策树
- 实现C4.5决策树
- 实现CART分类树
- 实现CART回归树
- 使用sklearn中的决策树解决分类和回归问题
- 集成算法
- 实现基于决策树桩的Adaboost算法
- 实现损失函数为ls的GBDT算法
- 实现基于l2正则项的XGBoost算法
- 使用sklearn中的VotingClassifier和BaggingClassifier
- 使用sklearn中的RandomForest
- 使用sklearn中的GBDT
- 使用sklearn中的XGBoost和xgboost开源包
8.PCA
- 实现基于梯度上升的PCA
- 实现基于协方差矩阵的PCA
- 逻辑回归
- 贝叶斯
- 感知机模型