README.md

Advanced-algorithm-combing

课程设计：黑桃，刘广月，于鸿飞

组队学习说明：通过查阅相关文献，对机器学习算法进行梳理

任务路线：RF--->GBDT--->XGB--->LightGBM

组队学习周期：10天

定位人群：有概率论、矩阵运算、求导、泰勒展开等基础数学知识；

难度系数：中

每个任务完成大概所需时间：2-3h

任务预览（2天）

1. 集成学习概念
2. 个体学习器概念
3. boosting bagging
4. 结合策略(平均法，投票法，学习法)
5. 随机森林思想
6. 随机森林的推广
7. 优缺点
8. sklearn参数
9. 应用场景

任务分配

【Task1 随机森林算法梳理】2天

【参考框架】欢迎有自己的框架

1. 集成学习概念
2. 个体学习器概念
3. boosting bagging
4. 结合策略(平均法，投票法，学习法)
5. 随机森林思想
6. 随机森林的推广
7. 优缺点
8. sklearn参数 9.应用场景

参考：

西瓜书

cs229吴恩达机器学习课程

李航统计学习

谷歌搜索

公式推导参考：http://t.cn/EJ4F9Q0

参考答案

【Task2 GBDT算法梳理】2天

1. 前向分布算法
2. 负梯度拟合
3. 损失函数
4. 回归
5. 二分类，多分类
6. 正则化
7. 优缺点
8. sklearn参数
9. 应用场景

参考：

西瓜书

cs229吴恩达机器学习课程

李航统计学习

谷歌搜索

公式推导参考：http://t.cn/EJ4F9Q0

参考答案

【Task3 XGB算法梳理】3天

1. 算法原理
2. 损失函数
3. 分裂结点算法
4. 正则化
5. 对缺失值处理
6. 优缺点
7. 应用场景
8. sklearn参数

参考：

西瓜书

cs229吴恩达机器学习课程

李航统计学习

谷歌搜索

公式推导参考：http://t.cn/EJ4F9Q0

参考答案

【Task4 LightGBM算法梳理】(3days)

【参考框架】欢迎有自己的框架

1. LightGBM
2. LightGBM的起源
3. Histogram VS pre-sorted
4. leaf-wise VS level-wise
5. 特征并行和数据并行
6. 顺序访问梯度
7. 支持类别特征
8. 应用场景
9. sklearn参数
10. CatBoost(了解)

参考：

西瓜书

cs229吴恩达机器学习课程

李航统计学习

谷歌搜索

公式推导参考：http://t.cn/EJ4F9Q0

参考答案