Рецензия на лекции второго семестра ШАД: Машинное обучение.
Этот пост является Appendix к более художественному посту о моем опыте изучения Воронцовского курса.
1 лекция: Обобщающая способность. Методы отбора признаков
Количество просмотров: 2 945
Оценки лекции: хардкор-6, практичность-6, актуальность-7.
Мое мнение о лекции: Данная лекция стала прелюдией ко второму семестру, да еще и с заменой Воронцова на какого-то менее харзиматичного парня, который коротко напомнил содержание первой лекции первого семестра и опять же коротко затронул некоторые методы отбора признаков, такие как PCA
Важные понятия для понимания лекции: монотонность функции, понятие жадного алгоритма, конъюнкция, дизъюнкция, алгоритм DFS (поиск в глубину), генетические и эволюционные алгоритмы.
Полезные ссылки: Текст лекции с.10–20 Презентация с.34–56
Количество просмотров: 20 680
Оценки лекции: хардкор-7, практичность-2, актуальность-7.
Мое мнение о лекции: Видео лекции из 2014 года может показаться бесполезным человеку, который решит использовать нейросети из коробки в 2019, но это только на первый взгляд. Все современные конструкции, слои, дропауты, реккурентики и функции активации достаточно подробно рассматриваются с точки зрения мат.моделей. Впрочем, именно по этой теме вы легко найдете много контента и за пределами этого курса.
Важные понятия для понимания лекции: линейность, МНК, логические функции, ДНФ, КНФ, суперпозиция функций, дифференцирование функций, частные производные, вычисление градиента, стохастический градиент с импульсом Нестерова (да и само понятие импульса), гессиан, понятие аппроксимации функции.
Полезные ссылки: Презентация
3 лекция: Композиции классификаторов
Количество просмотров: 4 150
Оценки лекции: хардкор-6, практичность-9, актуальность-9.
Мое мнение о лекции: Это первая часть трехчасового трипа в композиции алгоритма, здесь мы стартуем с линейных композиций, потом значительная часть внимания уделяется всевозможным видам бустинга (с некоторыми из них вы наверняка еще не сталкивались, но догадывались, что так тоже можно комбинировать), а также вы узнаете о неких пнях, впрочем, смотрите сами. Немного времени посвящено бэггингу и методу случайных подпространств, ничего сверхъестественного тут не рассказывается.
Важные понятия для понимания лекции: понятие корректирующей операции, функции argmin, argmax, sign; гладкая аппроксимация; понятие линейной комбинации алгоритмов. Полезным будет знакомство с алгоритмами из Теории Выборов.
Полезные ссылки: Текст лекции Презентация
4 лекция: Композиции классификаторов (продолжение)
Количество просмотров: 2 098
Оценки лекции: хардкор-9, практичность-6, актуальность-7.
Мое мнение о лекции: Во второй части немного больше хардкора, показаны разные, это одна из самых матанистых лекций всего курса и если у вас было с этим плохо, не стремитесь к просмотру данной лекции, отложите до лучших времен. Самой ценной для меня частью был расказ про смеси алгоритмов и области компетенций — вроде бы очевидная вещь, но узнал я о ней только теперь, из лекции.
Важные понятия для понимания лекции: интеграл функции, квадратичная функция, нормальное распределение, дисперсия, ковариация, интерполяция, понятие непрерывной монотонной функции.
Полезные ссылки: Презентация
Количество просмотров: 3 149
Оценки лекции: хардкор-6, практичность-8, актуальность-8.
Мое мнение о лекции: Лекция неплохая, лектор — снова не Воронцов, но преза сделана на коленке (по содержанию, все в целом ок), хотелось бы найти лекцию вот с этой презой. Я не рекомендую это видео как введение в тему активного обучения, для закрепления остаточных знаний — оно подойдет.
Важные понятия для понимания лекции: математический аппарат в начале лекции чем-то мне напомнил теорию игр в применении к проведению аукционов, также полезно быть знакомым с понятием дивергенции, энтропии, априорными и апостериорными распределениями, формулой Байеса.
Полезные ссылки: Презентация
6 лекция: Методы обучения ранжированию
Количество просмотров: 2 770
Оценки лекции: хардкор-7, практичность-9, актуальность-8.
Мое мнение о лекции: Глубоко практическая лекция для тех, кому надо завтра идти в Yandex, Google, Bing и работать в Поиске. Особенно мне зашли применения элементов классических алгоритмов, таких, как SVM к решению задач ранжирования. Ordinal Classification SVM — это просто космос.
Важные понятия для понимания лекции: понятие полного и частичного порядка на объектах, инверсия порядка, отдельные элементы теории игр и функции выигрышей, задача квадратичного программирования.
Полезные ссылки: Презентация
7 лекция: Коллаборативная фильтрация
Количество просмотров: 4 632
Оценки лекции: хардкор-7, практичность-8, актуальность-9.
Мое мнение о лекции: Эта лекция является логичным продолжением предыдущей лекции, где элементы ранжирования используются для построения рекомендаций. Надо сказать, что за прошедшие 5 лет, ничего революционного в этой сфере не произошло, в библиотеках в основном имплементированы те же методы, что и рассматриваются в лекции, поэтому контент годный и весьма полезный.
Важные понятия для понимания лекции: понятие близости двух объектов, матричное разложение, корреляция Пирсона, тест Фишера, хи квадрат, SVD, понятие ранга матрицы, МНК.
Полезные ссылки: Презентация
8 лекция: Методы кластеризации
Количество просмотров: 5 621
Оценки лекции: хардкор-8, практичность-7, актуальность-6.
Мое мнение о лекции: Методы кластеризации в лекции даны самые известные, показаны общие схемы вроде EM-алгоритма и некоторые интересные адаптации. В лекции отлично показано, что “развалить множество точек на кластеры” можно весьма по-разному. К сожалению, на практике, особенно на больших данных, большая часть алгоритмов, вроде DBSCAN, деградируют очень быстро, при этом лекция требует достаточно большой концентрации внимания.
Важные понятия для понимания лекции: компактные множества, центр масс, понятие границы множества, гауссиана, дисперсия, градиентный шаг, карты Кохонена, дендрограммы.
Полезные ссылки: Презентация
9 лекция: Обучение с подкреплением
Количество просмотров: 9 453
Оценки лекции: хардкор-7, практичность-4, актуальность-3.
Мое мнение о лекции: Лекция снова начинается с теоретико-игровой постановки задачи о многоруком бандите и это уже тренд. Для основ Reinforcement Learning в современном понимании этого слова этой лекции будет уже недостаточно, какие-то куски теории являются неиспользуемыми тупиками, но это опять же можно понять только из текущего настоящего. В этом смысле довольно архивно-историческая лекция.
Важные понятия для понимания лекции: агенты, премии, выигрышные стратегии и прочие основы теории игр; жадная стратегия, реккурентные формулы, регрессия из эконометрики, марковские процессы, уравнения Беллмана, метод временных разностей.
Полезные ссылки: Презентация
10 лекция: Вероятностные тематические модели коллекций текстовых документов
11 лекция: Вероятностные тематические модели коллекций текстовых документов (продолжение
Количество просмотров: 2 519
Оценки лекции: хардкор-9, практичность-9, актуальность-10.
Мое мнение о лекции: В этой теме Воронцов садится на своего конька, так как он именно этому топику и посвятил свою научную жизнь, это придает особенный шарм этой и последующей лекции. Эти две лекции сложно отделить друг от друга, поэтому напишу об обеих: более мощного и хардкорного рассказа о поиске топиков я лично не видел, если это ваша рабочая тема — настойчиво рекомендую к просмотру, поможет все разложить по полочкам, а количество и качество дополнительных материалов к лекции — ощеломляющее.
Важные понятия для понимания лекции: формула полной вероятности, максимизация правдоподобия, корректно поставленная по Адамару задача, условия Кароша-Куна-Такера, распределение Дирихле, разреженные матрицы, корреляция Спирмена.
Полезные ссылки: Текст лекции Презентация
12 лекция: Методы частичного обучения
Количество просмотров: 2 993
Оценки лекции: хардкор-7, практичность-8, актуальность-7.
Мое мнение о лекции: Здесь рассматриваются частичное и трансдуктивное обучение, а также рассматривается применение идей частичного обучения к таким популярным алгоритмам, как K-Means или SVM. Примеры, конечно, рассматриваются из очень идеального мира и оторванные от реальности (например, я никогда в реале не видел данные, к которым можно применить Hard Margin SVM).
Важные понятия для понимания лекции: оценка расстояния между двумя распределениями, дивергенция Кульбака-Лейблера, хи-квадрат, расстояние Хелингера, кросс-энтропия.
Полезные ссылки: Презентация
