Техническое зрение и машинное обучение в системе управления беспилотным автомобилем

Программа обучения

• Тема 1. Методы в машинном обучении

  Лекционные занятия: 

  1. 1. Классические методы ML:

  • Задачи классификации и кластеризации, базовые подходы к их решению.
  • Метод k-ближайших соседей.
  • Деревья решений: построение, применение для решения задачи классификации.
  • Классификация на основе алгоритма Random Forest.
  • Выбор пространства признаков, методы сокращения пространства признаков.

  1. 2. Современные методы ML в компьютерном зрении:

  • Основные задачи компьютерного зрения.
  • Свёрточные нейронные сети.
  • Системы машинного обучения для одновременного детектирования и распознавания объектов.
    Наиболее известные модели машинного обучения, которые применяются в задачах компьютерного зрения.

  Практические занятия (установка на практическую или лабораторную с пояснениями и разбором заданий):

  • Реализация изученных методов классификации и кластеризации, применительно к задачам компьютерного зрения.
  • Классификация, семантическая сегментация, распознавание, слежение.

• Тема 2. История развития и современные системы беспилотных автомобилей

  Этапы развития и современное состояние разработок беспилотных автомобилей

• Тема 3. Аппаратная и программная часть на примере модели беспилотного автомобиля масштаба 1:10. Взаимодействие ПК с микроконтроллерной платой (передача данных)

  Лекционное занятие: Аппаратная и программная часть на примере модели беспилотного автомобиля масштаба 1 к 10.

  Практическое занятие: Связь ПК (Raspberry Pi) с микроконтроллерной платой Arduino. Передача информации

• Тема 4. Введение в машинное зрение с использованием библиотеки OpenCV на языке Python. Методы распознавания дорожной разметки (по видеозаписи движения модели беспилотного автомобиля с полигона)

  Лекционные занятия: 

  • Введение в техническое зрение. 
  • Основы OpenCV на python.
  • Выделение объектов по цветовым признакам (цветовая сегментация). Пороговая бинаризация. HSV, BGR модели.

  Практические занятия (установка на практическую или лабораторную с пояснениями и разбором заданий) OpenCV + Python:

  • Установка ПО и запуск тестового проекта.
  • Использование основных функций библиотеки OpenCV для работы с изображениями (доступ к пикселям, рисование фигур, выделение областей, копирование редактирование, надписи)
  • Поиск и слежение за разметкой (черная линия на полигоне) по видеозаписи

• Тема 5. Классические методы распознавания знаков дорожного движения и светофоров на пути движения модели беспилотного автомобиля

  Лекционные занятия: 

  • Основные инструменты для предварительной обработки изображения (фильтры, удаление шума, морфологические операции и пр.). 
  • Цветовые модели. Пороговая бинаризация.
  • Контурный анализ изображений.
  • Детектирование знаков дорожного движения. Распознавание знаков дорожного движения на примере знака STOP по видео с полигона. 
  • Распознавания светофоров и определение сигналов по видео с полигона. 

  Практические занятия (установка на практическую или лабораторную с пояснениями и разбором заданий):

  • Подбор порогов для бинаризации. Выбор метода определения контуров, их преобразование и анализ. 
  • Детектирование и распознавание классическими методами (по форме, цвету) знаков дорожного движения (пешеходный переход, STOP, неровная дорога).
  • Распознавание сигналов светофора аналогичными методами.

• Тема 6. Введение в машинное обучение

  Лекционные занятия: 

  • Машинное обучение и задачи, которые им решаются.
  • Основные термины на ″языке″ машинного обучения.
  • Математические модели искусственного нейрона и искусственной нейронной сети
  • Способы обучения искусственной нейронной сети.
  • Основы применения Python для разработки систем машинного обучения/компьютерного зрения.

  Практические занятия (установка на практическую или лабораторную с пояснениями и разбором заданий):

  • Чтение и обработка исходных данных для обучения.
  • Проектирование и реализация модели.
  • Обучение модели и контроль процесса обучения.
  • Тестирование и оценка модели.

• Тема 7. Итоговая аттестация

  Итоговая аттестация проводится в форме теста или демонстрации работы программы по распознаванию дорожной обстановки по видеозаписи с полигона стенда SmartCar в удаленном режиме в формате видеоролика (на выбор слушателя).