MachineLearning_SummaryAndCode

机器学习基础代码库

总结机器学习的算法原理，整理常见问题，并手写代码，搭建自己的算法库

目录

1. SVM

• 完整推导了SVM的数学过程
• 基于Platt的论文和《机器学习实战》完成SMO算法

2. KNN

• 实现线性搜索的KNN算法
• 实现基于KDtree的KNN算法
• 总结sklearn中GridSearchCV的使用

3. 线性回归

• 实现了基于全局的线性回归算法
• 实现了局部加权线性回归(Locally weighted linear regression)算法

4. 算法的评定指标

• 回归算法的评价指标
• 分类算法的评价指标

5. 数值最优化方法

• 简单实现梯度下降法
• 简单实现牛顿法
• 简单实现坐标下降法

6. 决策树

• 实现ID3决策树
• 实现C4.5决策树
• 实现CART分类树
• 实现CART回归树
• 使用sklearn中的决策树解决分类和回归问题

7. 集成算法

• 实现基于决策树桩的Adaboost算法
• 实现损失函数为ls的GBDT算法
• 实现基于l2正则项的XGBoost算法
• 使用sklearn中的VotingClassifier和BaggingClassifier
• 使用sklearn中的RandomForest
• 使用sklearn中的GBDT
• 使用sklearn中的XGBoost和xgboost开源包

8.PCA

• 实现基于梯度上升的PCA
• 实现基于协方差矩阵的PCA

9. 逻辑回归
10. 贝叶斯
11. 感知机模型