Глубокое обучение

Глубокое обучение

Учебная программа разработана в целях получения и закрепления теоретических и практических знаний в области технологий анализа больших массивов данных с использованием методов машинного обучения, главным образом, глубокого обучения. Слушатели, полностью выполнившие Учебную программу и успешно прошедшие контроль знаний, получают удостоверение о повышении квалификации установленного образца. Учебная программа посвящена изучению современных, наиболее актуальных разделов машинного обучения при анализе больших массивов сложно-структурированных данных. Учебная программа позволит овладеть базовыми знаниями в области глубокого обучения, узнать основы построения и применения описательных и предсказательных моделей, научиться выбирать и применять алгоритмы машинного обучения для решения прикладных задач.

Программа курса

  • Занятие 1. Классическое и глубокое машинное обучение. Предмет машинного обучения. Основные вехи развития машинного обучения. Обзор задач машинного обучения. Отличия классического и глубокого машинного обучения. Зависимость сложности решения задач машинного обучения от представления данных об объектах. Автоматическое выделение признаков (representation learning). Иерархия признаков объектов реального мира. Сравнительная сложность задач классического и глубокого обучения. Обзор методов глубокого обучения (deep learning). Практическое значение глубокого обучения.

  • Занятие 2. Обзор основ машинного обучения. Задачи оптимизации. Регуляризация. Постановка задачи машинного обучения. Этапы обучения и применения модели. Функционал качества. Сведение задачи обучения к задаче оптимизации. Эмпирические оценки обобщающей способности. Способы проверки обобщающей способности на практике. Примеры задач машинного обучения. Переобучение. Оптимизация как основа задач машинного обучения. Метод градиентного спуска, метод стохастического градиентного спуска и их разновидности. Обобщенная модель линейного классификатора. Примеры линейных классификаторов. Проблемы обучения классификаторов Понятие о регуляризации. Влияние регуляризации на качество моделей.

  • Занятие 3. Регрессионные модели. Модели временных рядов. Задачи классификации и восстановления регрессии. Параметрическая и непараметрическая регрессия. Простые модели машинного обучения: линейная регрессия, многомерная линейная регрессия. Модель Softmax. Пример построения регрессионной модели и оценки погрешности модели. Временные ряды, задачи их анализа и прогнозирования. Автокорреляция. Выявление тренда. Предсказание временного ряда. Способы повышения производительности и ускорения обучения моделей.

  • Занятие 4. Классические искусственные нейронные сети (многослойные перцептроны). Основные понятия и определения. Модель нейрона Мак Каллока – Питтса. Функции активации нейронов. Нейронная реализация логических функций. Известные результаты о приближении произвольных функций нейронными сетями. Сведение задачи обучения искусственной нейронной сети к задаче оптимизации. Приложение метода градиентного спуска к обучению сети. Метод обратного распространения ошибки. Эвристические методы повышения качества и скорости обучения нейронных сетей: варианты инициализации весов, варианты порядка предъявления объектов, прореживание сети, добавление новых нейронов.
    Перспективные платформы, способные становиться как открытыми, так и закрытыми. Пример – платформа Toda-Algorand.
    Практическая часть: Ознакомление с документацией на платформы Ethereum и Hyperledger Fabric. Основные сведения для пользователей: примеры смарт-контрактов, руководства по установке, настройке, развертыванию сети. Основные сведения для разработчиков: API, SDK.

  • Занятие 5. Сверточные нейронные сети. Структура сверточных нейронных сетей. Слой свертки. Фильтры, применяемые в слоях свертки. Слой субдискретизации. Слой ReLU. Карты признаков. Каналы. Архитектуры сверточных нейронных сетей: AlexNet, VGG, NiN, GoogLeNet, ResNet, DenseNet.

  • Занятие 6. Рекуррентные нейронные сети. Обработка последовательностей признаков. Модели подготовки и обработки последовательностей: марковская модель, модель влияния на соседей, модель сумки слов и др. Рекуррентные сети без скрытых состояний и со скрытыми состояниями. Обратное распространение ошибки по временному ряду. Архитектуры рекуррентных нейронных сетей: GRU, LSTM, глубокие рекуррентные сети, двунаправленные рекуррентные сети.

  • Занятие 7. Приложения сверточных и рекуррентных сетей. Генеративные нейронные сети. Приложение сверточных сетей к обработке изображений: компьютерное зрение (выделение и классификация объектов), фотофорензика, распознавание биометрических признаков человека. Приложение рекуррентных сетей к обработке естественных языков (NLP – natural language processing): поиск синонимов, классификация текстов по эмоциональной окраске, машинный перевод, диалоговые системы и пр. Модель генеративной сети. Генератор и дискриминатор. Глубокие сверточные генеративные сети.

  • Занятие 8. Перспективы глубокого обучения. Контроль знаний. Подведение итогов обучения. Перспективы применения глубокого обучения в различных сферах деловой деятельности: машинный перевод, беспилотные транспортные средства, кибербезопасность и др. Контроль знаний в форме теста с вариантами ответов. Разбор ответов. Заключительное слово. Ответы на вопросы. Заполнение анкет. Сбор пожеланий.

Преподаватели курсов

Запечников Сергей Владимирович

Доктор технических наук, доцент кафедры криптографии и кибербезопасности

В 1997 году окончил МИФИ по специальности «Прикладная математика», получив квалификацию «инженер-математик».
Преподает курсы по криптографическим протоколам, безопасности вычислительных сетей, анализу данных и машинному обучению. Автор множества научных работ, владеет английским языком.

Наш адрес

Метро Каширская, Каширское ш., 31.

Контакты

E-mail: icis-dpo@mephi.ru

Телефон: +7 (495) 788-56-99, доб. 8995