-
- Основы байесовского вывода в машинном обучении: сопряжённые априорные распределения и полный анализ обычной монетки.
- Байесовский анализ линейной регрессии: от метода наименьших квадратов до баейсовских предсказаний. Байесовская оптимизация гиперпараметров.
- Статистическая теория принятия решений и основы классификации.
- Модельный и байесовский подходы к классификации: откуда берётся логистическая регрессия.
- Метод опорных векторов.
- EM-алгоритм: суть, вывод, применения.
- EM-алгоритм II
- Скрытые марковские модели
- Вероятностные графические модели: введение.
- Вероятностный вывод: сэмплирование
- Развёрнутый пример: SIR-модели в эпидемиологии
- Тематическое моделирование: от наивного Байеса до LDA
-
- Базовое динамическое программирование.
- Продвинутое ДП
- Базовая теория чисел
- Базовая теория чисел
- Продвинутая теория чисел
- Продвинутая теория чисел
- Запросы на отрезках - 1
- Запросы на отрезках - 2
- NP-полные задачи
- Потоки - 1
- Потоки - 2
- Грамматики и парсинг
- Продвинутые строки - 1
- Продвинутые строки - 2
- Продвинутая вычислительная геометрия
- FFT
- Персистентные структуры данных
- Алгоритмы во внешней памяти
-
- Валидация идей: от экспертных оценок до проверок на основе данных
- Валидация идей: от экспертных оценок до проверок на основе данных
- Эксперименты на основе исторических данных: преимущества и ограничения, дизайн, примеры
- Эксперименты на основе исторических данных: преимущества и ограничения, дизайн, примеры
- Эксперименты на основе реального времени: АБ-тестирование (сложный дизайн)
- Принятие решений на основе результатов экспериментов, связь со статистикой и проверкой гипотез
-
- Понятие о численных методах оптимизации.
- Понятие о численных методах оптимизации.
- Связь оптимизации и анализа данных, статистики
- Унимодальные функции одной переменной. Метод градиентного спуска.
- Унимодальные функции одной переменной. Метод градиентного спуска.
- Нижние оценки сложности детерминированных методов первого порядка
- Нижние оценки сложности детерминированных методов первого порядка
- Задачи оптимизации на множествах простой структуры.
- Задачи с регуляризацией, проксимальный оператор. Метод условного градиента
- SGD и методы редукции дисперсии. Условия сильного (SGC) и слабого (WGC) роста
- SGD и методы редукции дисперсии. Условия сильного (SGC) и слабого (WGC) роста
- Каталист. Новый вариант адаптивного SGD, адаптивные покомпонентные методы и адаптивные методы для задач распределённой оптимизации
- Адаптивные стохастические методы: Adagrad, Adadelta, RMSprop, Adam. Нижние оценки сложности в стохастической оптимизации первого порядка и оптимальные стохастические методы
- Метод Ньютона и квазиньютоновские методы
- Концепция генетических алгоритмов. Метод иммитации отжига, дифференциальная эволюция
-
- Определение CV. История. Полносвязные сети. Градиентный спуск
- Определение CV. История. Полносвязные сети. Градиентный спуск
- Пайплайн машинного обучения. Современные методы оптимизации.
- Пайплайн машинного обучения. Современные методы оптимизации.
- Сверточные сети. Функции активации.
- Сверточные сети. Функции активации.
- Архитектуры сетей для классификации
- Архитектуры сетей для классификации
- Регуляризация и аугментация
- Нейросетевые детекторы 1
- Нейросетевые детекторы 2
- Сегментация
- Рекуррентные сети в CV
- Metric Learning
- Обработка видео
- Few-shot and Semi-supervised learning
- GAN 1. [простой пример]
- GAN 2. (dcgan)
- Деплой в продакшен
- AI PRM
- Подведение итогов
-
- DL intro and recap
- Text representations. Word embeddings
- Language models. Recurrent Neural Networks.
- Convolutional Neural Networks for text processing
- Machine Translation and Attention in Encoder-Decoder architecture
- Attention and Self-attention
- Contextual embeddings
- Self-critical Sequence Training
- Q&A systems. Bi-directional attention flow (BiDAF)
- Speech recognition, knowledge distillation, course outro.
-
- Введение в обработку изображений на мобильных устройствах
- Базовые понятия обработки изображений
- Фильтрация изображений и выделение краев
- Сопоставление (matching) изображений
- Глобальные дескрипторы
- Обработка изображений лиц на мобильных устройствах
- Прикладные задачи обработки изображений
- OCR на мобильных устройствах
-
- Введение в сетевой анализ
- Модели формирования сетей
- Анализ вершин и связей
- Престиж и структурная схожесть в сетях
- Сообщества в сетях
- Диффузии и случайные блуждания на графах. Моделирование эпидемий
- Распространение влияния и диффузия инноваций
- Модели векторизации сетей. Обучение без учителя, кластеризация, визуализация
- Графовые нейронные сети. Обучение с учителем. Обучение со слабой разметкой. Классификаций вершин и предсказание связей.
- Извлечение информации и представления информации графами знаний. Векторизация графов знаний, дополнение знаний и семантические технологии
-
- Обзор Conversational AI | Система распознавания речи
- Строим чатбота на Rasa NLU | Звук: основы
- Rasa и DialogFlow | Классические подходы к распознаванию речи
- Bot Frameworks
- Глубокое обучение в диалоговых ассистентах
- Навыки голосовых ассистентов (Alexa, Bixby, Google Assistant, Siri) Часть 1 | CTC, продолжение
- Conversational AI в контактных центрах. DialogFlow CX. Архитектура RNN-T: инференс
- Разбор практических задач RND крупных компаний в области обработки речи
- Conversational AI Design
- RNN-T loss
- Чатботы для мессенджеров
- Практика создания навыка для Маруси End2End
- Подведение итогов. Краткий обзор пройденного материала.
-
- Введение в HPC
- Терминал, переменные окружения, линковка, Makefile, виртуализация
- Pthreads, openmp
- Навыки работы на суперкомпьютере
- Библиотека MPI для работы на распределенных серверах
- Multiprocessing and MPI in Python
- CUDA, CUDA Libraries examples, основные примитивы
- Python profiling + Numba
- CUDA in Python (PyCuda, Cupy, возможно numba с GPU)
- Тренды в HPC, дополнительные главы (parallel I/O, визуализация)
-
- Напоминание байесовских методов в машинном обучении
- Вариационный байесовский вывод. Вероятностная модель смеси распределений
- Дважды стохастический вариационный вывод. Масштабируемый метод релевантных векторов. Репараметризационный трюк.
- Байесовские нейронные сети. Вариационный дропаут.
- Гауссовские процессы в задачах восстановления регрессии и классификации
- Вариационный автокодировщик. Нормализационные потоки
- Дважды стохастические модели с дискретными латентными переменными
- Обобщение Gumbel Softmax трюка
- Конкурирующее обучение. Неявные вероятностные модели. Конкурирующие автокодировщики
- Продвинутые методы Монте-Карло с марковскими цепями. Масштабирование методов МСМС
-
- Введение в Большие Данные
- Hadoop экосистема и MapReduce
- SQL поверх больших данных
- Инструменты визуализации при работе с Большими Данными
- Введение в Scala
- Модель вычислений Spark: RDD
- Распараллеливание алгоритмов ML
- Spark Pipelines
- Approximate алгоритмы для больших данных
- Spark для оптимизации гиперпараметров
- Потоковая обработка данных (Kafka, Spark Streaming, Flink)
- Архитектуры в продакшн
-
- Обучение с подкреплением: введение
- Марковские процессы принятия решений (MDP)
- Методы Монте-Карло, on-policy и off-policy обучение.
- Policy gradient, алгоритм REINFORCE
- Естественный градиент
- От AlphaGo через AlphaZero к MuZero
- Современные примеры применений RL
- Таксономия порождающих моделей в глубоком обучении.
- Нормализующие потоки (normalizing flows).
- Порождающие соперничающие сети (GAN)
- Условные GAN’ы
- GAN’ы для дискретных объектов
-
- Предсказание оттока пользователей Delivery Club
- Предсказание оттока пользователей Delivery Club
- Рекомендации ресторанов Delivery Club
- Мульти-модальные рекомендации ресторанов
- Cross-sell товаров в продуктовом магазине
- Ситимобил: Предсказание отклика водителя на предложенный заказ
- Персональный гид: оптимальные маршруты по городу специально для вас
- Анализ поведения человека с помощью носимых устройств
- PovarGan. Text2Image - превращаем рецепт в картинку готового блюда
- ML-гороскоп: может ли ИИ быть астрологом?
- Генератор новостей
- Приложение для хранения коллекций цитат из книг (с функцией распознавания текста).
- Прогнозирование хэштегов по фотографиям в профиле социальной сети
- Доменная адаптация без учителя для распознавания лиц
- Доменная адаптация в задаче распознавания лиц для преодоления проблемы расовой предвзятости
- Глубокое многозадачное мета-обучение
- Трансформации стиля в глубокой речевой связи
- Разработка виртуального секретаря для бронирования услуг по телефону
- Разработка мобильного OCR-движка
- Определение троллинга в сообщениях на Ответы Mail.ru
- Детектирование ботов в социальной сети ВКонтакте
- Сравнение сообществ ВКонтакте
- Сервис анализа взаимосвязей участников социальных сетей по фотографиям
- Бот-комментатор для платформы Reddit
- Разработка моделей прогнозирования движения для беспилотных автомобилей в рамках Kaggle соревнования «Lyft Motion Prediction for Autonomous Vehicles»
- Нейро Телеграмм-канал: нейро-пирожки
- Нейро Телеграмм-канал "Memes 2020"
- Прогноз показателей сотовой сети для ПАО МегаФон
- Разработка алгоритмической торговой системы для рынка ценных бумаг
- Анализ фондового рынка ММВБ
- Советник для инвестора
-
- Введение в майнинг данных и интерпретируемое машинное обучение.
- Частые множества (товаров) и ассоциативные правила.
- Компактное представление частых множеств и ассоциативных правил
- Поиск частых последовательностей (Sequence Mining)
- Майнинг графовых данных
- Обучение на основе правил
- Локальная интерпретация признаков на основе индексов влияния
-
- Вводное занятие
- Java collection framework, реализации структур данных и оценка алгоритмической сложности. equals&hascode
- Generics, Написание гибкого API
- Reflection, Annotations, Dynamic proxy
- ClassLoaders
- Lambda. Stream API, функциональное программирование
- Многопоточность и синхронизация
- Java memory model
- Паттерны проектирования объектно-ориентированного дизайна
- JVM, JOL, Объекты в памяти, оптимизации JIT, алгоритмы GC
-
- Вводное занятие. Память. Компиляция. Ассемблер. С и C++
- Память в С++. Функции
- Функции, структуры и классы
- Классы, наследования
- Шаблоны, исключения, полиморфные классы, виртуальные функции, аллокаторы
- Move семантика, STL-контейнеры, итераторы
- Умные указатели, вывод типов
- Вывод типов, начала метпрограммирования и compile-time вычислений.
- Метапрограммирование и compile-time вычисления, SFINAE
- Функциональные объекты, полезные утилиты языка.
-
- Вводная лекция, цели и задачи курса, программа. Виды обучения, виды задач, базовые концепции.
- Простые алгоритмы, связь с математикой, логика
- Оценка качества в машинном обучении
- Обучение с учителем, линейные модели
- Обучение с учителем, модели на основе деревьев и композиции
- Обучение с учителем, нейросетевые модели
- Обучение без учителя, алгоритмы на основе близости, графовые алгоритмы, EM, encoders
- Рекомендательные системы: content based, CF, hybrids
- Предпроектное исследование: постановка задачи, сбор данных и зарос на данные, дескриптивный анализ данных, оценка потенциального эффекта
- Оптимизация модели: feature engineering, pipelines, fall-backs, hybrid models
- Валидация модели: baselines, качество, стабильность, ключевые признаки и explainability, калибровка модели, fairness & bias
- Чек-лист дата саентиста: классические ошибки и как их избежать
-
- Сортировки и O-нотация
- Сортировки 2 и порядковые статистики
- Алгоритмы поиска
- Базовые структуры данных
- Хеш-таблицы
- Базовое динамическое программирование
- Запросы на отрезках
- Деревья поиска - 1
- Деревья поиска - 2
- Графы - 1. Введение
- Графы - 2. Кратчайшие пути
- Графы - 3. Остовные деревья
- Графы-4. Потоки
- Базовые алгоритмы на строках
- Грамматики и Парсинг
- Базовая вычислительная геометрия
-
- Реляционная алгебра
- Реляционное (логическое) исчисление
- Введение в SQL
- Продвинутый SQL
- Устройство баз данных индексы и структуры данных
- Pandas, scipy, numpy: basics
- Pandas, scipy, numpy
- Добиваем задачи по pandas vs SQL и переходим к Pyspark -- изучаем работу с big data
- Данные в сети: парсим JSON с jq, bash/zsh scripting, включая R scripts
- Логические языки запросов, Answer Set Programming и Knowledge Graph в Wikidata
-
- Определение CV. История. Основные задачи. Представление изображений и аугментация.
- Архитектуры современных CNN. Transfer learning
- Детект (1): rcnn, mtcnn
- Детект (2): fpn, single shot
- Задача сегментации. UNet, FPN. Проблемы памяти.
- Рекуррентные сети в компьютерном зрении
- Metric learning
- Tracking (SORT, DeepSORT, Kalman)
- Adversarial nets (Adversarial loss, GAN, Domain adaptation)
- Разбор первого домашнего задания
- Глубокое нейронные сети для обработки видео
- Meta learning & Semi-supervised learning
- Generative Adversarial Networks, part 2
- Деплой на серверах и мобильных устройствах
- Разбор второго домашнего задания и подведение итогов
-
- Понятие о численных методах оптимизации.
- Матрично-векторное дифференцирование. Субдифференциал.
- Связь оптимизации и анализа данных, статистики
- Линейная регрессия, логистическая регрессия, SVM: как решать такие задачи и не только?
- Двойственность и SVM. Задачи с регуляризацией.
- Задачи минимизации на множествах специального вида
- Стохастический градиентный спуск и его вариации +Оптимизация для Deep Learning
- Седловые задачи, вариационные неравенства и обучение GAN
- Оптимизация для распределённого и федеративного обучения
-
- NLP Intro. Word embeddings
- Convolutional Neural Networks in text processing. Relations to n-gramm approach.
- Memory in Recurrent neural networks. Vanishing and exploding gradient. PoS tagging
- Machine Translation and Attention in Encoder-Decoder architecture
- Attention, Self-attention
- Transformer overview, Neural Machine Translation practice
- Context based embeddings, BERT
- Question Answering. Bi-directional attention flow (BiDAF)
- Reinforcement Learning brief introduction.
- Model-free learning, Q-learning in RL
- Self-critical Sequence Training, RL methods in NLP
- Knowledge distillation & Generative modeling
- Нерассмотренные темы, возможные варианты развития NLP и как расти в области дальше.
-
- Основы байесовского вывода в машинном обучении: сопряжённые априорные распределения и полный анализ обычной монетки.
- Байесовский анализ линейной регрессии: от метода наименьших квадратов до баейсовских предсказаний. Байесовская оптимизация гиперпараметров.
- Статистическая теория принятия решений и основы классификации.
- Модельный и байесовский подходы к классификации: откуда берётся логистическая регрессия.
- Метод опорных векторов.
- EM-алгоритм: суть, вывод, применения.
- EM-алгоритм II
- Скрытые марковские модели
- Вероятностные графические модели: введение.
- Вероятностный вывод: сэмплирование
- Развёрнутый пример: SIR-модели в эпидемиологии
- Тематическое моделирование: от наивного Байеса до LDA
- Дополнительная лекция (тематическое моделирование)
-
- DL введение, нейрон, cross-entropу, градиентный спуск. Numpy GD logreg
- FC-сеть, backprop, SGD, производные по матрицам. Numpy Backprop SGD FC.
- Методы оптимизации в глубоком обучении
- Свертки и сверточные нейронные сети. PyTorch CNN.
- Recap. Bias/Variance. Train/Val/Test. Inference speedup. Pytorch Lightning. Optuna.
- Рекуррентные архитектуры, работа с памятью (+ RNN dropout, layernorm).
- General recap & overview. Memory in LSTM/GRU
-
- Основы цифровой обработки сигналов
- Представление сигналов в спектральной области
- Цифровые фильтры. Цифровая обработка сигналов и машинное обучение
- Введение в ASR. Типы систем. WER. Сравнение с эталоном. DTW.
- Структура традиционной системы распознавания речи.
- Системы распознавания речи на основе GMM-HMM
- Традиционные системы распознавания речи на базе нейронных сетей
- Практика ASR
- End-to-end подходы к распознаванию речи
- Практика ASR
- История развития говорящих машин
- Современные системы синтеза речи на основе DNN
- Нейронные вокодеры
- Современные задачи и проблемы TTS
- Разбор ДЗ
-
- Введение в сетевой анализ
- Модели формирования сетей
- Анализ вершин и связей
- Престиж и структурная схожесть в сетях
- Сообщества в сетях
- Диффузии и случайные блуждания на графах. Моделирование эпидемий
- Распространение влияния и диффузия инноваций
- Модели классификации вершин графа. Векторизация вершин для задачи классификации
- Модели предсказания связей в графе. Векторизация ребер графа для задачи классификации
- Модели векторизации сетей на основе случайных блужданий. Обучение без учителя на графах
- Графовые нейронные сети
- Извлечение информации и представления информации графами знаний. Векторизация графов знаний, дополнение знаний и семантические технологии
- Прикладные аспекты работы с большими графами (1 часть)
- Прикладные аспекты работы с большими графами (2 часть)
- Рекомендательные системы на графах
- Разбор соревнования Link Prediction
-
- Обучение с подкреплением: введение
- Марквские процессы принятия решений (MDP)
- Методы Монте-Карло, on-policy и off-police обучение
- Policy gradient, алгоритм REINFORCE
- Естественный градиент
- От AlphaGo через AlphaZero и MuZero
- Современные примеры применений RL
- Таксономия порождающих моделей в глубоком обучении.
- Нормализующие потоки (normalizing flows)
- Порождающие соперничающие сети (GAN)
- Условные GAN’ы
- GAN’ы для дискретных объектов
-
- Введение в Большие Данные
- Hadoop экосистема и MapReduce
- SQL поверх больших данных
- Инструменты визуализации при работе с Большими Данными
- Введение в Scala
- Модель вычислений Spark: RDD
- Распараллеливание алгоритмов ML
- Spark Pipelines
- Approximate алгоритмы для больших данных
- Spark для оптимизации гиперпараметров
- Потоковая обработка данных (Kafka, Spark Streaming, Flink)
- Архитектуры в продакшн
- Фундаментальные основы распределённой СУБД Apache Cassandra
-
- Введение в НРС
- Терминал, переменные окружения, линковка, Makefile, виртуализация
- Pthreads, openmp
- Навыки работы на суперкомпьютере
- Библиотека MPI для работы на распределенных серверах
- Multiprocessing and MPI in Python
- CUDA, CUDA Libraries examples, основные примитивы
- CUDA in Python (PyCuda, Cupy, возможно numba с GPU)
- Python profiling, binding C+Python, Numba
- Тренды в HPC, дополнительные главы (parallel I/O, визуализация)
-
- Самообучение и регуляризация на основе механизма внимания на графах
- Векторизация графа и эквивариантные эмбеддинги для задач на графах
- Масштабируемые графовые нейронные сети
- Квантизация и дистилляция знаний в графовых нейронных сетях
- Глубокие генеративные графовые модели
- Интерпретируемые объяснения для графовых нейронных сетей
- Графовые нейронные сети для рекоммендательных систем
- Темпоральные и транзакционные графовые эмбеддинги
- Векторизация запросов к графам знаний и машинная логика на основе эмбеддингов
- Комбинаторная оптимизация с помощью графовых нейронных сетей
-
- Введение в обработку изображений на мобильных устройствах
- Нейросетевые методы классификации на мобильных устройствах
- Обработка изображений лиц на мобильных устройствах
- Прикладные задачи обработки изображений (OCR, детектирование, сегментация, перенос стиля)
- Выделение краев и сопоставление изображений
-
- Классическое обучение с подкреплением
- Deep RL с дискретным пространством действий
- On-policy Deep RL с континуальным пространством действий
- On-policy Deep RL с континуальным пространством действий
- Off-policy Deep RL с континуальным пространством действий
- Распределенный RL
- Исследование среды в алгоритмах обучения с подкреплением
- Приближаем RL к реальности
- Альтернативные формулировки задачи RL
- Бонус
-
- Обзор современной робототехники. Robot Operating System
- Локализация. Рекурсивная баесовская оценка положения. Фильтр Калмана, фильтр частиц
- Практика ROS: Жизнь черепашки и написание собственной ноды
- Модель движения. Собственные сообщения и сервисы
- Модели измерения. Действия, сервер параметров и конфиги запусков
- Картирование. Запуск виртуальной модели робота
- Планирование пути. Алгоритмы управления
- Алгоритмы поиска пути на графе (в глубину, в ширину, с постепеннм углублением, по критерию стоимости, жадный, А*)
- А*-поиск в контексте построения траектории. Перерассчет плана при незначительном изменении карты.
- Модель безопасности RSS (или логика безопасного дорожного движения).
- Разбор Д/З про построение траектории
-
- Обзор Conversational AI
- NLU: основные понятия и инструменты
- Ассистенты и навыки
- Дизайн разговорных интерфейсов
- Разработка навыков для Маруси (часть 1)
- Разработка навыков для Маруси (часть 2)
- Глубокое обучение в диалоговых системах
- Генеративные модели
- Постановка задачи по итоговому проекту. Воркшоп по дизайну. Keyword Spotting
- Синтез речи
- Распознавание речи
- Подведение итогов
-
- Функциональное картирование мозга. Модальности, принципы, оборудование. Источник данных ЭЭГ и МЭГ
- Ритмическая активность мозга. Функциональная значимость ритмов. Интерфейсы мозг-компьютер на основе ЭЭГ
- Понятие вызванного потенциала (ВП). Экспериментальные парадигмы по исследованию ВП
- Моторный гомункул. Сенсомоторный ритм. Понятие синхронизации\десинхронизации ритмической активности
- Продвинутые методы анализа сигналов в ИМК. Понятие Риманового многобразия
-
- Сортировки и О-нотация
- Сортировки 2 и порядковые статистики
- Алгоритмы поиска
- Базовые структуры данных
- Хеш-таблицы
- Базовое динамическое программирование
- Запросы на отрезках
- Деревья поиска - 1
- Деревья поиска - 2
- Графы-1. Введение
- Графы-2. Кратчайшие пути
- Графы-3. Остовные деревья
- Графы-4. Потоки
- Базовые алгоритмы на строках
- Грамматики и парсинг
- Базовая вычислительная геометрия
-
- ML Intro. Naive Bayesian Classifier. kNN
- Linear Regression, Regularization
- Linear Classification
- SVM. PCA
- Decision trees and Ensembles
- Gradient Boosting
- Intro to Deep Learning
- Optimization and regularization in Deep Learning
- Recurrent Neural Networks and Language Models
- RecSys
- Unsupervised learning algorithms
- EM algorithm and additional topics
-
- Этапы выполнения программы на языках Си и С++. Вопросы управления памятью на языке Си. Простые и составные структуры данных
- Инструментарий С++-разработчика
- Основы ООП в С++. Объекты, их жизненный цикл и перегрузка операторов
- Взаимодействие объектов в С++. Наследование, виртуальные таблицы и динамическая идентификация типов
- Обработка исключительных ситуаций и основы обобщённого программирования на C++
- Обзор возможностей библиотеки STL
- Основы построения межпроцессного и многопоточного взаимодействия с использованием языков Си и C++
- Введение в коллекцию библиотек Boost и обзор возможностей новых стандартов языка C++
- Идиоматика C++. C++ как мультипарадигмальный язык. Нововведения C++20
- Обзор промышленных ML-библиотек на C++
-
- Введение в Scala. Основные конструкции языка
- ООП в Scala. Pattern matching. Функционалные конструкции. Adt
- Библиотека колекциий в Scala
- Асинхронные операции, обработка исключений, неявные параметры
- Параметрический полиморфизм. Имплиситы
- Основы функционального программирования. Часть 1
- Основы функционального программирования. Часть 2
- ZIO, TF и основной ФП-стэк в Scala
- Функциональные стримы на примере fs2, работа с бд
- Акторы в Scala
-
- Одномерные распределения: от дискретных к непрерывным
- Одномерные распределения: производные от гауссовского
- Многомерные распределения: корреляции
- Определение распределений и их параметров
- Регрессионные модели и выбор наилучшей
- Модели дискретного выбора
- Моделирование ошибок в данных 1
- Моделирование ошибок в данных 2
- Моделирование ошибок в данных 3
- Взаимосвязь и причинность
-
- Реляционная алгебра
- Реляционное (логическое) исчисление
- Введение в SQL
- Продвинутый SQL
- Устройство баз данных индексы и структуры данных
- Pandas, scipy, numpy: basics
- Pandas, scipy, numpy
- Добиваем задачи по pandas vs SQL и переходим к Pyspark -- изучаем работу с big data
- Данные в сети: парсим JSON с jq, bash/zsh scripting, включая R scripts
- Логические языки запросов, Answer Set Programming и Knowledge Graph в Wikidata
-
- Введение
- Майнинг паттернов
- Причинно-следственные связи. Методы объяснения деревьев на основе правил
- LIME, SHAP и другие модели на основе вектора Шепли
- Методы объяснения на основе контрфактуальные и состязательных примеров. Введение в tensforflow 2.
- Методы объяснения нейронных сетей (визуализация слоев, Gradients, DeconvNet, Guided BackPropagation)
- Методы объяснения нейронных сетей, продолжение (LRP, DeepTaylor, PatternNet, PatternAttribution)
- Методы объяснения нейронных сетей, продолжение (DeepLIFT, IntegratedGradients, SmoothGrad и GradCAM)
- Разработка интерпретируемых генеративных сетей (InfoGAN, beta-VAE)
- Защита проектов
-
- Введение в сетевой анализ
- Модели формирования сетей
- Анализ вершин и связей
- Престиж и структурная схожесть в сетях
- Сообщества в сетях
- Диффузии и случайные блуждания на графах. Моделирование эпидемий
- Моделирование эпидемий. Распространение влияния и диффузия инноваций
- Модели классификации вершин графа. Векторизация вершин для задачи классификации
- Модели предсказания связей в графе. Векторизация ребер графа для задачи классификации
- Модели векторизации сетей на основе случайных блужданий. Обучение без учителя на графах
- Графовые нейронные сети
- Разбор соревнования Link Prediction
-
- Основы цифровой обработки сигналов
- Представление сигналов в спектральной области
- Цифровые фильтры. Акустические признаки.
- Цифровая обработка сигналов и машинное обучение
- Введение в ASR. Типы систем. WER. Сравнение с эталоном. DTW.
- Структура традиционной системы распознавания речи.
- Системы распознавания речи на основе GMM-HMM
- Традиционные системы распознавания речи на базе нейронных сетей
- Практика ASR
- End-to-end подходы к распознаванию речи
- ASR
- Semi-supervised|self-supervised обучение
- Голосовая биометрия
- Голосовая биометрия
- Практика по голосовой биометрии
-
- Определение CV. История. Основные задачи. Представление изображений и аугментация.
- Архитектуры современных CNN. Transfer learning
- Архитектура современных CNN
- Детект (1): rcnn, mtcnn
- Детект (2): fpn, single shot
- Задача сегментации. UNet, FPN. Проблемы памяти.
- Рекуррентные сети в компьютерном зрении
- Metric learning
- Tracking (SORT, DeepSORT, Kalman)
- Adversarial nets (Adversarial loss, GAN, Domain adaptation)
- Generative Adversarial Networks, part 2
- Глубокое нейронные сети для обработки видео
- Meta learning & Semi-supervised learning
- Hype train: CLIP + DALL-E, диффузионные модели, ...
-
- Вводная лекция: примеры оптимизационных задач, методы оптимизации
- Знакомство с необходимыми математическими понятиями
- Линейная регрессия, логистическая регрессия, SVM: как решать такие задачи и не только?
- Двойственность и SVM. Задачи с регуляризацией.
- Задачи минимизации на множествах специального вида
- Детальное знакомство со стохастическим градиентным спуском и его вариациями
- Оптимизация для Deep Learning
- Седловые задачи, вариационные неравенства и обучение GAN
- Оптимизация для распределённого и федеративного обучения
- Современные проблемы стохастической оптимизации
- Доклады слушателей
-
- NLP Intro. Word embeddings
- Convolutional Neural Networks in text processing. Relations to n-gramm approach.
- Memory in Recurrent neural networks. Vanishing and exploding gradient. PoS tagging
- Machine Translation and Attention in Encoder-Decoder architecture
- Attention, Self-attention
- Transformer overview, Neural Machine Translation practice
- Context based embeddings, BERT
- Question Answering. Bi-directional attention flow (BiDAF)
- Reinforcement Learning brief introduction.
- Model-free learning, Q-learning in RL
- Self-critical Sequence Training, RL methods in NLP
- Knowledge distillation & Generative modeling
- Нерассмотренные темы, возможные варианты развития NLP и как расти в области дальше.
-
- Введение. Основы байесовского вывода в машинном обучении, байесовский анализ монетки.
- Сопряжённые априорные распределения. Линейная регрессия: метод наименьших квадратов, его вероятностный смысл, функции признаков.
- Линейная регрессия: вероятностный смысл, априорные распределения, оверфиттинг и регуляризация, предсказания.
- Модельный и байесовский подходы к классификации: откуда берётся логистическая регрессия.
- Метод опорных векторов.
- EM-алгоритм: суть, вывод, применения.
- EM-алгоритм II
- Скрытые марковские модели
- Вероятностные графические модели: введение.
- Вероятностный вывод: сэмплирование
- Развёрнутый пример: SIR-модели в эпидемиологии
- Тематическое моделирование: от наивного Байеса до LDA
- Дополнительная лекция (тематическое моделирование)
-
- DL введение, нейрон, cross-entropу, градиентный спуск. Numpy GD logreg
- FC-сеть, backprop, SGD, производные по матрицам. Numpy Backprop SGD FC.
- Методы оптимизации в глубоком обучении
- Свертки и сверточные нейронные сети. PyTorch CNN.
- Данные и метрики. Batchnorm. Pytorch Lightning. Optuna.
- Рекуррентные архитектуры, работа с памятью (+ RNN dropout, layernorm).
- General recap & overview. Memory in LSTM/GRU
-
- Обучение с подкреплением: введение
- Марковские процессы принятия решений (MDP)
- Методы Монте-Карло, on-policy и off-policy обучение.
- Приближённые методы в RL и градиент по стратегиям (policy gradient).
- Естественный градиент
- От AlphaGo через AlphaZero к MuZero
- Современные примеры применений RL
- Таксономия порождающих моделей в глубоком обучении.
- Нормализующие потоки (normalizing flows)
- Порождающие соперничающие сети (GAN)
- Условные GAN’ы
- GAN’ы для дискретных объектов
-
- Введение в Большие Данные
- Hadoop экосистема и MapReduce
- SQL поверх больших данных
- Инструменты визуализации при работе с Большими Данными
- Введение в Scala
- Модель вычислений Spark: RDD
- Распараллеливание алгоритмов ML
- Spark Pipelines
- Approximate алгоритмы для больших данных
- Spark для оптимизации гиперпараметров
- Потоковая обработка данных (Kafka, Spark Streaming, Flink)
- Архитектуры в продакшн
- Фундаментальные основы распределённой СУБД Apache Cassandra
-
- Введение в HPC
- Терминал, переменные окружения, линковка, Makefile, виртуализация
- Pthreads, openmp
- Навыки работы на суперкомпьютере
- Библиотека MPI для работы на распределенных серверах
- Multiprocessing and MPI in Python
- Python profiling, binding C+Python, Numba
- CUDA, CUDA Libraries examples, основные примитивы
- CUDA in Python (PyCuda, Cupy, возможно numba с GPU)
- Тренды в HPC: профилировка памяти и CPU, рандомизированные алгоритмы, тензорные разложения
-
- Самообучение и регуляризация на основе механизма внимания на графах
- Векторизация графов и эквивариантные эмбеддинги для задач на графах
- Семинар 1
- Масштабируемые графовые нейронные сети
- Q&A 2. Векторизация графов и эквивариантные эмбеддинги для задач на графах
- Квантизация и дистилляция знаний в графовых нейронных сетях
- Q&A 3. Масштабируемые графовые нейронные сети
- Глубокие генеративные графовые модели
- Q&A 4. Квантизация и дистилляция знаний в графовых нейронных сетях
- Интерпретируемые объяснения для графовых нейронных сетей
- Разбор ДЗ 1 + Q&A 5. Глубокие генеративные графовые модели
- Графовые нейронные сети для рекоммендательных систем
- Q&A 6. Интерпретируемые объяснения для графовых нейронных сетей
- Темпоральные и транзакционные графовые эмбеддинги
- Q&A 7. Графовые нейронные сети для рекоммендательных систем
- Векторизация запросов к графам знаний и машинная логика на основе эмбеддингов
- Разбор ДЗ 3+ Q&A 8. Темпоральные и транзакционные графовые эмбеддинги
- Комбинаторная оптимизация с помощью графовых нейронных сетей
- Разбор ДЗ 2 + Q&A 10. Комбинаторная оптимизация с помощью графовых нейронных сетей
- Разбор ДЗ 4
-
- Классическое обучение с подкреплением
- Deep RL с дискретным пространством действий
- On-policy Deep RL с континуальным пространством действий
- On-policy Deep RL с континуальным пространством действий
- Off-policy Deep RL с континуальным пространством действий
- Распределенный RL
- Advanced RL: различные направления
- Исследование среды в алгоритмах обучения с подкреплением
- Приближаем RL к реальности: рекомендательные системы
- Бонус
-
- Введение. Основы нейронных сетей
- Детали обучения нейронных сетей. Библиотеки для глубинного обучения
- Методы оптимизации
- Сверточные сети
- Глубинные нейронные сети. Архитектуры глубинных сетей
- Детектирование объектов на изображении
- Рекуррентные сети
- Нейронные сети для обработки естественного языка
- Современные модели распознавания речи
- Соперничающие сети (GAN)
- Вариационные автокодировщики (VAE) и Diffusion Models
- Обучение с подкреплением
-
- Обязательно. Сортировки и O-нотация
- Обязательно. Сортировки 2 и порядковые статистики
- Обязательно. Алгоритмы поиска
- Обязательно. Базовые структуры данных
- Обязательно. Хеш-таблицы
- Обязательно. Базовое динамическое программирование
- Обязательно. Базовые алгоритмы на строках
- Грамматики и Парсинг
- Обязательно. Графы - 1. Введение
- Обязательно. Графы - 2. Кратчайшие пути
- Обязательно. Деревья поиска - 1
- Обязательно. Запросы на отрезках
- Деревья поиска - 2
- Базовая вычислительная геометрия
- Графы - 3. Остовные деревья
- Графы-4. Потоки
-
- ML Intro. Naive Bayesian Classifier. kNN
- Linear Regression, Regularization
- Linear Classification
- Decision trees and Ensembles
- Gradient boosting & additional info on PCA
- Gradient boosting
- Intro to Deep Learning
- Optimization and regularization in Deep Learning
- Recurrent Neural Networks and Language Models
- RecSys
- Unsupervised learning algorithms
-
- Введение в Большие Данные
- Hadoop экосистема и MapReduce
- SQL поверх больших данных
- Инструменты визуализации при работе с Большими Данными
- Введение в Scala
- Модель вычислений Spark: RDD
- Approximate алгоритмы для больших данных
- Потоковая обработка данных (Kafka, Spark Streaming, Flink)
- Фундаментальные основы распределённой СУБД
-
- Этапы выполнения программы на языках Си и C++. Вопросы управления памятью на языке Си. Простые и составные структуры данных
- Инструментарий C++-разработчика
- Основы ООП в C++. Объекты, их жизненный цикл и перегрузка операторов
- Взаимодействие объектов в C++. Наследование, виртуальные таблицы и динамическая идентификация типов
- Обработка исключительных ситуаций и основы обобщённого программирования на C++
- Обзор возможностей библиотеки STL
- Основы построения межпроцессного и многопоточного взаимодействия с использованием языков Си и C++
- Обзор библиотек из Boost и возможностей новых стандартов языка C++
- Идиоматика C++. C++ как мультипарадигмальный язык. Нововведения C++20
- Использование Си/C++ в ML