Курс «Reinforcement Learning»

Актуальная программа курса (29 модулей, по данным школы)

1. Модуль 1. Введение в Reinforcement Learning — Модуль начинается с общего введения, охватывает ключевые особенности обучения с подкреплением, основные алгоритмы. Вы рассмотрите, как построить модель окружения и агента, и примените свои знания на простых сценариях.
2. • Знакомство с Reinforcement Learning
3. • Ключевые понятия RL: агент, среда, награда, политика. Построение среды
4. • Основные алгоритмы RL: Value based
5. • Основные алгоритмы RL: Policy based
6. Модуль 2. Deep Reinforcement Learning — В этом модуле вы рассмотрите введение в глубокое обучение с подкреплением, которое объясняет значимость глубоких Q-сетей, представляет алгоритмы на основе политик. Затем объединяет методы на основе политик и значений с использованием алгоритма Actor-Critic. И, наконец, охватывает то, как нейронные сети могут использоваться для аппроксимации функций вознаграждения и политик.
7. • Введение в Deep Reinforcement Learning
8. • Deep Q-Network (DQN) алгоритм
9. • Deep Policy Gradient (PG) алгоритм
10. • Actor-Critic алгоритм
11. • TRPO -> PPO
12. • DDPG -> TD3 -> LSTM-TD3
13. Модуль 3. Advanced Reinforcement Learning — Модуль содержит более сложные темы и глубже раскрывает пройденный материал. Здесь рассматривается применение алгоритмов к более сложным ситуациям, например наличие фиксированных правил (model-based) или взаимодействие нескольких агентов между собой для достижения общей темы.
14. • Обучение с использованием модели среды (model-based rl)
15. • Model-based, часть 2
16. • Иерархическое обучение с подкреплением
17. • Выбор темы и организация проектной работы
18. • Многоагентное обучение и кооперация агентов
19. • Трансформеры в RL: decision transformers и action transformers
20. Модуль 4. Применение RL в реальных задачах — Модуль посвящен обзору практических примеров применения RL. Вы познакомитесь с игровой индустрией и рассмотрите какие задачи здесь можно решать с помощью RL. Поговорите о робототехнике, поймете какое применение RL находит в рекомендательных системах и более подробно рассмотрите финансовые модели на примере задачи балансировки портфеля активов и задачи кредитного скоринга.
21. • Применение RL в игровой индустрии
22. • Применение RL в робототехнике
23. • RL в рекомендательных системах
24. • RL в задаче скоринга
25. • Применение RL в управлении финансовым портфелем

Сколько зарабатывают в профессии (медиана hh.ru, по 141 вакансиям)

Окупаемость: стоимость курса ≈ 1 мес зарплаты junior-специалиста.

Сравнение с похожими курсами других школ

Стоит ли идти на этот курс

Когда этот курс вам не нужен

Если вы уже работаете с RL на практике и знакомы с основными подходами — PPO, DQN, A3C — программа вряд ли даст много нового: она рассчитана на вход в тему, не на продвинутый уровень. Не стоит идти сюда и с целью быстро сменить профессию: без базы в ML и готовности к шести месяцам реальной нагрузки результата не будет. Если нужна помощь с трудоустройством, ищите программы с явным блоком карьерного сопровождения — в этом курсе его нет.

Как выбрать курс по этому направлению

При выборе курса по RL смотрите прежде всего на то, как устроена практика: хороший курс разбирает реальные среды (Gym, MuJoCo) с работающим кодом, а не ограничивается лекциями про Q-learning. Проверьте, есть ли проектная работа и кто её проверяет: живой ревьюер даёт обратную связь, автотест — нет. Шесть месяцев для среднего уровня — реалистичный срок: RL математически насыщен, и торопиться здесь не получится. Цены на такие программы на русскоязычном рынке разбросаны широко; ориентируйтесь не на дешевизну, а на наличие живой обратной связи по проектам.

Частые вопросы