인간의 복합 감정을 예측할 수 있는 EfficientNet 아키텍처 기반 시스템 및 알고리즘 연구

Abstract

Recently, with the development of artificial intelligence technology, the field of emotion recognition has emerged as an important research field. Emotion refers to the feeling or feeling that arises in response to a certain phenomenon or event. The most widely used indicator for emotion recognition is facial expressions. However, since facial expressions can be controlled and manipulated, it is difficult to grasp the emotions that are truly felt only by facial expressions. In order to solve this problem, recently, research on emotion recognition using independent biosignals that can be continuously measured and that is out of personal control is being actively conducted. There are many preceding studies that there is a strong correlation between human emotions and biosignals, and emotion recognition through biosignals is controlled by the autonomic nervous system, so it can be obtained without falsehood. However, so far, few studies have used biosignals and facial expression templates for multidimensional analysis to recognize the subject's emotions.

Therefore, in this paper, an algorithm that can predict the accuracy of the subject's emotional state by designing a super dimension-based convolution neural network and analyzing bio-signals and facial expression templates together was proposed. Also, in this study, a network was designed and verified using the Convolution Neural Network based EfficientNet-B0 architecture, which can produce maximum performance with minimum parameters.

Through the experimental results, it was verified that it has high accuracy when predicting the emotional state by combining bio-signals rather than predicting emotions only with the subject's facial expression image, and that it has high performance as an optimal parameter. This study is seen as a starting point for emotional intelligence research that can be combined with artificial intelligence in the future, and it is expected to maintain high performance even in the extended data dimension in the future.

최근, 인공지능의 기술 발달과 함께 감정 인식 분야가 중요한 연구 분야로 대두되고 있다. 감정이란 어떤 현상이나 일에 대하여 일어나는 마음이나 느끼는 기분을 뜻한다. 감정 인식을 위해 가장 널리 사용되는 지표는 얼굴 표정이다. 하지만 표정은 통제할 수 있으며, 조작이 가능하므로 진정으로 느껴지는 정서를 표정만으로 파악하기는 어렵다. 이러한 문제점을 해결하기 위해 최근 들어 지속적인 측정이 가능하고 개인의 통제를 벗어난 독립적인 바이오 신호를 이용한 감정 인식 연구가 활발히 진행 중이다. 사람의 감정과 바이오 신호는 강한 상관관계가 있다는 많은 선행연구가 존재하며, 바이오 신호를 통한 감정 인식은 자율신경계에 의해 통제되므로 거짓 없이 얻을 수 있다. 하지만 현재까지 바이오 신호와 얼굴 표정 템플릿을 다차원 분석하여 대상자의 감정 인식에 사용한 연구는 거의 없었다.

따라서 본 논문에서는 슈퍼디멘션 기반 컨볼루션 뉴럴 네트워크를 설계하여 바이오 신호와 얼굴 표정 템플릿을 함께 분석하여 대상자의 감정 상태 정확도를 예측할 수 있는 알고리즘을 제안하였다. 또한, 본 연구에서는 최소한의 파라미터로 최대한의 성능을 낼 수 있는 Convolution Neural Network based EfficientNet-B0 아키텍처를 사용하여 네트워크를 설계하였고 이를 검증하였다.

실험 결과를 통해 대상자의 얼굴 표정 이미지만으로 감정을 예측하는 것보다 바이오 신호를 결합하여 감정 상태를 예측했을 때 높은 정확도를 가지며, 최적의 파라미터로 높은 성능을 가지는 것을 검증하였다. 본 연구는 앞으로 인공지능과 결합될 수 있는 감정지능 연구의 출발점으로 보여지며, 향후 확장된 데이터 차원에서도 높은 성능을 유지할 수 있을 것으로 예상되어 진다.