Рецензия на лекции первого семестра ШАД: Машинное обучение.
Этот пост является Appendix к более художественному посту о моем опыте изучения Воронцовского курса.
1 лекция: Основные понятия и примеры прикладных задач
Количество просмотров: 130 995
Оценки лекции: хардкор-4, практичность-10, актуальность-10.
Мое мнение о лекции: Эта лекция обязательна к просмотру любому ML-щику, тут за 1,5 часа все основные вещи рассказываются.
Важные понятия для понимания лекции: методы оптимизации, понятие функционала, эмпирический риск.
Полезные ссылки: Текст лекций 1 семестра, Презентация
2 лекция: Метрические методы классификации
Количество просмотров: 39 434
Оценки лекции: хардкор-5, практичность-6, актуальность-9.
Мое мнение о лекции: Метрические методы — традиционно самые простые в понимании и имплементации, но совершенно не популярные во фреймворках. Вторую половину смотреть только тем, кто сам пишет модификации метрических алгоритмов..
Важные понятия для понимания лекции: метрика Минковского, расстояние Левенштейна, понятие метрического пространства, понимание функций argmax / sign, линейная алгебра (азы), МНК, ядра функций.
Полезные ссылки: Презентация
3 лекция: Логические методы классификации и решающие деревья
Количество просмотров: 19 438
Оценки лекции: хардкор-7, практичность-9, актуальность-10.
Мое мнение о лекции: В этой лекции разобрано сразу несколько способов построения деревьев, даже тех, которых вы никогда не встретите в своей жизни. Лектор идет далеко и показывает всевозможные техники выращивания, ветвления, усечения, сбора в ансамбль. Местами небольшой перекос под нужды Яндекса.
Важные понятия для понимания лекции: матлогика: предикаты, конъюнкции, дизъюнкции; пороговые функции; функции свертки нескольких критериев в один; теория информации: энтропия; понятие жадного алгоритма.
Полезные ссылки: Текст лекции, Презентация
4 лекция: Градиентные линейные методы классификации
Количество просмотров: 14 909
Оценки лекции: хардкор-8, практичность-7, актуальность-10.
Мое мнение о лекции: В этой лекции вы увидите много псевдокода и еще больше теорем и доказательств. Это лекция о простейших линейных моделях является камнем преткновения. Если вы пришли поглядеть на линейную регрессию и не готовы говорить о тюнинге SGD, вам будет очень тяжело. Вторая половина лекции обрушится на головы нехилым заплывом в тервер.
Важные понятия для понимания лекции: Вычислительные методы, методы оптимизации, МНК, задание кусочно-линейных функций, доопределение функций, градиентный спуск, понятие сходимости, принцип максимума правдоподобия, априорное распределение, принцип максимума апостериорной вероятности, распределение Гаусса и Лапласа.
Полезные ссылки: Презентация
5 лекция: Метод опорных векторов
Количество просмотров: 14 031
Оценки лекции: хардкор-9, практичность-7, актуальность-8.
Мое мнение о лекции: Неожиданный подход к SVM как к двухслойной нейросети удивляет, раскрытие полного семейства алгоритмов, использующих опорные вектора — поразителен, я уверен, что вы и не подозревали как можно отбирать признаки в таких алгоритмах..
Важные понятия для понимания лекции: мультиколлинеарность, гиперплоскость, зайчатки линалгебры, условия Каруша-Куна-Таккера и двойственная задача математического программирования, функция Лагранжа, лагранжиан и седловые точки; гильбертово пространство и ядра функций.
Полезные ссылки: Презентация
6 лекция: Многомерная линейная регрессия
Количество просмотров: 9 784
Оценки лекции: хардкор-6, практичность-5, актуальность-7.
Мое мнение о лекции: Данная лекция была максимально насыщена универовской терминологией 1–2 курсов и полна матричных преобразований. Скучновато, долговато, все разжевано. Но без нее следующая лекция будет местами непонятной.
Важные понятия для понимания лекции: МНК, дисперсия, максимум правдоподобия, система уравнений, обращение и транспонирование матрицы, частные производные, сингулярное разложение, понятие плохо обусловленной матрицы.
Полезные ссылки: Презентация
7 лекция: Нелинейная и непараметрическая регрессия, нестандартные функции потерь
Количество просмотров: 7 024
Оценки лекции: хардкор-7, практичность-6, актуальность-8.
Мое мнение о лекции: Любите сводить нелинейщину к линейщине? Много матричных преобразований, замен, гессиан и увуля, вы уже в линейном мире. В любом случае эта лекция венчает трек из 3 лекций про линейные модели, на этом с ними будет покончено, чтобы никогда вам не пригодится в проде.
Важные понятия для понимания лекции: градиент, гессиан, функционал, функционал среднеквадратичного отклонения, метод Ньютона-Рафсона, МНК, сплайны, ядерное сглаживание; экспоненциальное семейство распределений.
Полезные ссылки: Презентация
8 лекция: Прогнозирование временных рядов
Количество просмотров: 18 571
Оценки лекции: хардкор-5, практичность-4, актуальность-6.
Мое мнение о лекции: Не самая хардкорная лекция о временных рядах, методы представлены самые простые, и в целом, эту лекцию можно смотреть как вводную лекцию по временным рядам отдельно. В проде у вас скорее всего будут более сложные модели. Для меня это был еще один повтор лекций по эконометрике.
Важные понятия для понимания лекции: МНК, авторегрессия, экспоненциальное скользящее среднее, формула Надарая-Ватсона, знание функции argmin, сглаживание.
Полезные ссылки: Презентация
9 лекция: Байесовские методы классификации
Количество просмотров: 6 972
Оценки лекции: хардкор-8, практичность-9, актуальность-10.
Мое мнение о лекции: Дальше идут три лекции, которые больше всего подвергаются изменениям от года к году. В первом видео дается сразу ворох теорем и кусков выводов. Без этих выводов и вправду тяжело даются следующие два. Моей ошибкой было сначала пропустить эти выводы, пришлось к ним вернуться. Параллельно хорошо рассказывается идея скользящего контроля. После этой лекции понимаешь, на какой почве зыбких допущений стоит много рабочих техник в ML.
Важные понятия для понимания лекции: понятие плотности распределения и независимой случайной величины, условная вероятность, функция правдоподобия, принцип максимума апостериорной вероятности, эмпирические оценки; понятие четности, нормированности, невозрастания, неотрицательности функции; понятие ядра, понятие Парзеновского окна; многомерное нормальное распределение; понятие квадратичного дискриминанта и линейного дискриминанта Фишера
Полезные ссылки: Презентация
10 лекция: Байесовская теория классификации и методы восстановления плотности
Количество просмотров: 3 459
Оценки лекции: хардкор-7, практичность-10, актуальность-9.
Мое мнение о лекции: Эта лекция на 30% состояла из повтора предыдущей, а вот затем пошли конкретные практические техники, я бы сказал, это была одна из самых полезных лекций, с точки зрения работы в проде с байесовскими классификаторами.
Важные понятия для понимания лекции: То же, что и ранее плюс понятие разделяющей поверхности (линейной или нелинейной), мультиколлинеарности, регуляризации; ковариационная матриц; распределение Стьюдента; понятие жадного алгоритма.
Полезные ссылки: Презентация
11 лекция: Логическая регрессия. Восстановление смеси плотностей
Количество просмотров: 3 809
Оценки лекции: хардкор-8, практичность-8, актуальность-7.
Мое мнение о лекции: Мне показалось излишним подача HEM или SEM или даже SHEM модификаций EM-алгоритма, кажется их никто нигде особо не использует (но надо проверить). Однако, тот же EM, рабочая лошадка ML, был очень хорошо показан и объяснен.
Важные понятия для понимания лекции: То же, что и ранее плюс понятие локального экстремума и метода простых итераций для его поиска; лагранжиан оптимизационной задачи; гауссовские плотности.
Полезные ссылки: Презентация
12 лекция: Поиск ассоциативных правил
Количество просмотров: 3 490
Оценки лекции: хардкор-5, практичность-9, актуальность-9.
Мое мнение о лекции: Это была самая простая, как в плане алгоритмов, так и в плане подачи лекция во всем курсе. Однако, методы описанные в ней, одни из самых популярных и лекция практически целиком закрывает потребность в теории на эту тему. Можно сразу садиться и программировать, хоть локальную, хоть распределенную версии.
Важные понятия для понимания лекции: конъюнкция, дизъюнкция, понятие поддержки; условная вероятность; свойство антимонотонности; поиск в ширину, построение префиксного дерева, рекурсивный обход дерева.
Полезные ссылки: Презентация
