Система распознавания мимики человека

Диссертация магистра техники и технологии

Разработчик: Семенова Яна Сергеевна, руководитель Филиппович Андрей Юрьевич

Аннотация

В работе проводится распознавание мимики человека путем компьютерного анализа видео или фото изображения рельефа мимиогенных зон лица. В качестве инструмента распознавания используется нейронная сеть, которая предварительно обучается изображениями-эталонами. Результатом работы программы является количественный анализ отношения входного изображения к каждому из эталонных изображений. В ходе статистического анализа эмпирических данных с целью ускорения работы программы и улучшения качества распознавания, разработаны методы предварительной обработки изображения и выбора необходимых параметров нейронной сети.

In this paper discussed human mimic recognition through analyzing of video frames or photo pictures of mimic face areas. As recognition tool used a neural network which is beforehand trained with sample pictures. The program outcome is a quantitative analysis of the ratio input picture to each of sample pictures. During statistical analysis of empirical data were developed several methods of processing pictures and adjusting of neural network parameters in advance. Those methods increase program performance and improve recognition quality.

Ключевые слова: Mimic Recognition, Facial Expression Recognition

Содержание

Предметная область

Актуальность, цель и задачи

Описание программы "Mimic Analyzer"

Апробация работы

Тематические студенческие работы

Предметная область

Мимические проявления на лице человека являются отражением его внутреннего эмоционального состояния. Эмоции возникают в ответ на воздействие окружающей или внутренней среды человека. При изучении эмоционального ответа перед учеными встает множество вопросов. Что именно чувствует человек при восприятии определеного разражителя? Какая комбинация раздражителей способна изменить и направить ощущения в определенное русло? Каким образом можно однозначно, количественно интерпретировать эмоциональную окраску?

Ответы на эти вопросы остаются предметом спора профессионалов в области изучения психики человека. Большинство эмоций стремительно сменяют друг друга и затрудняют распознавание при обычном наблюдении. Эффетивность анализа повышается в условиях регистрации эмоций в режиме реального времени. Современный уровень компьютерной обработки информации способен справиться с такой задачей и предоставить экспертам незаменимый инструент для ежедневной работы.

Движение мышцы лица происходит при проведении импульса по рефлекторной дуге из головного мозга (см. рис.1). Причиной возбуждения нервного импульса могут быть не только сознательные реакции, но и внутренние изменения в организме. Мимические проявления возникают при сочетании физиологических (бессознательных) и психологических (осознанных) факторов, часто просто невозможно точно определить влияние одного из компонентов. Мимическое движение может быть заученным и неестественным, не отражающим реальное внутреннее эмоциональное состояние челоека. Все это создает дополнительные трудности при интерпретации мимики.

В рамках проекта «Система распознавания мимики человека как экспрессивного компонента эмоций» проведена работа по моделированию программы автоматизированного анализа мимики человека.

Актуальность исследования обусловлена необходимостью классификации и попыткой однозначной интерпретации эмоций человека для сведения к мимнимуму субъективного фактора в анализе получаемой информации.

Целью исследования является разработка программного продукта, осуществляющего автоматизированное распознавание и классификацию мимических проявлений человека. Назначением такого продукта является экспертная оценка эмоционального состояния человека по мимическим проявлениям. Продукт предназначается прежде всего для психиатров, медицинских псхологов, физиогномистов. Также возможно использование продукта для организации оптимальной подачи лекционного материала для студентов и слушателей различных семинаров.

Задачи исследования: изучение особенностей мимики; анализ существующих методов распознавания и выбор подходящего для решения задачи; определение возможной меры автоматизации процесса распознавания; проектирование и реализация программного продукта.

Система возвращает результаты анализа мимической картины в виде процентного отношения соответствия тестируемого изображения каждому из эталонов. Пользователь может дать свою оценку представленному кадру. Все результаты анализа заносятся в файлы отчета. При выборе видеопотока в качестве источника данных, могут быть заданы временные промежутки анализа кадров.

Рис.1. Основная форма программы распознавания мимики человека.

Процесс распознавания мимики состоит из нескольких этапов. Сначала цифровые изображения подвергаются предварительной обработке для улучшения качества распознавания. Затем производится детектирование лица человека на панорамном изображении и копировании найденного лица в отдельный кадр, который подается на вход классификатора. В качестве классификатора использована нейронная сеть, обученная по алгоритму обратного распространения ошибки. В обучающую выборку вошли семь эталонов из классификатора Экмана, мимические картины на которых значительно отличаются по силе экспрессии. Тестовыми данными послужили мимические картины, применяемые для проверки знаний экспертов, что обеспечило качественную оценку результатов распознавания. Процесс обучения визуализируется в виде графика, и результаты заносятся в файл отчета.

Рис.2. Форма модуля обучения нейронной сети. Закладка задания параметров.

Рис.3. Форма модуля обучения нейронной сети. Закладка визуализации режима обучения.

Система автоматизированного распознавания мимики человека

Содержание

Предметная область

Описание проекта

Описание программы "Mimic Analyzer"

Апробация работы

Тематические студенческие работы