Здесь я буду выкладывать свои результаты изучения курса Воронцова
Константина Вячеславовича по матетматическим основам машинного обучения.
Курс: https://bit.ly/1bCmE3Z
Пройденные темы:
- Основные понятия и примеры прикладных задач;
- Линейный классификатор и стохастический градиент;
- Нейронные сети: градиентные методы оптимизации;
- Метрические методы классификации и регрессии;
- Метод опорных векторов;
- Многомерная линейная регрессия;
- Нелинейная регрессия.
Реализованные алгоритмы:
-
Стохастический градиент:
- Стохастический градиент (Stochastic Gradient);
- Stochastic Average Gradient;
- Momentum;
- Nesterov's accelerated gradient.
-
Метод обратного распространения ошибки:
- Back Propagation;
- SAGProp (Stochastic Average Gradient);
- RMSProp (Running Mean Square);
- AdaDelta (Adaptive Learning Rate);
- Adam (Adaptive Momentum);
- Nadam (Nesterov-accelerated adaptive momentum).
-
Метрические методы классификации и регрессии:
- Метод k ближайших соседей;
- Метод k взвешенных ближайших соседей;
- Метод окна Парзена фиксированной ширины;
- Метод окна Парзена переменной ширины;
- Формула ядерного сглаживания Надарая-Ватсона;
- Формула Н-В + LOWESS (LOcally WEighted Scatter plot Smoothing).