선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 실시간 입모양 인식 시스템 구현에 적합한 몇 가지 모델 구조를 제안하였다. 첫 번째 방법으로 3차원 합성곱 신경망 모델을 제안하였는데, 비교적 낮은 정확도와 많은 연산량으로 인해 적합하지 않았다.
- 기존에도 딥러닝을 이용해 입 모양 인식 시스템을 설계하기 위한 많은 연구가 수행되었다[1]. 본 연구에서는 웹캠을 이용한 실시간 분석을 위해 적은 연산량과 높은 정확도의 새로운 모델을 설계하여 구현해보았다.
제안 방법
- 잘라낸 입술 영역의 이미지는 1채널의 흑백 이미지로 변환하였으며 16*32 픽셀 크기로 변환하였다. Data Augmentation을 위해 입술 영역을 중심을 기준으로 8방향 (좌측상단, 상단, 우측 상단, 우측, 우측 하단, 하단, 좌측 하단, 좌측)으로 10 픽셀씩 이동하여 잘라내었으며 좌우 반전을 통해 16개의 데이터를 생성하였다. 마지막으로 전체 픽셀에 대해 Z-Score 정규화를 진행하였다.
- 설계 모델은 차 영상을 이용한 2차원 합성 곱 신경망과 LSTM 순환 신경망 결합 모델을 사용하였다. Ouluvs2 Database와 웹캠 환경에는 차이가 있기 때문에, Ouluvs2 Database를 이용하여 학습한 Pre-training 모델에 웹캠으로 촬영한 영상으로 Fine-tuning을 진행하여 인식 정확도를 높였다. 각 문장마다 발화 길이가 다르기 때문에 발화의 시작과 끝을 인식하기 위해, 입술의 움직임을 감지하여 1초간 움직임이 없을 경우 정지 상태로 전환되도록 구현하였다.
- Ouluvs2 Database와 웹캠 환경에는 차이가 있기 때문에, Ouluvs2 Database를 이용하여 학습한 Pre-training 모델에 웹캠으로 촬영한 영상으로 Fine-tuning을 진행하여 인식 정확도를 높였다. 각 문장마다 발화 길이가 다르기 때문에 발화의 시작과 끝을 인식하기 위해, 입술의 움직임을 감지하여 1초간 움직임이 없을 경우 정지 상태로 전환되도록 구현하였다.
- 첫 번째 방법으로 3차원 합성곱 신경망 모델을 제안하였는데, 비교적 낮은 정확도와 많은 연산량으로 인해 적합하지 않았다. 두 번째 방법으로는 3차원 합성곱 신경망과 LSTM 순환 신경망 결합 모델을 제안하였는데, 높은 정확도로 인식에 성공했지만 많은 연산량으로 인해 실시간 시스템 구현에 어려움이 있었다. 마지막으로 차 영상을 이용한 2차원 합성곱 신경망과 LSTM 순환 신경망 결합 모델을 제안하였다.
- Data Augmentation을 위해 입술 영역을 중심을 기준으로 8방향 (좌측상단, 상단, 우측 상단, 우측, 우측 하단, 하단, 좌측 하단, 좌측)으로 10 픽셀씩 이동하여 잘라내었으며 좌우 반전을 통해 16개의 데이터를 생성하였다. 마지막으로 전체 픽셀에 대해 Z-Score 정규화를 진행하였다. Z-Score 정규화는 식 (1)과 같이 표현될 수 있다.
- 두 번째 방법으로는 3차원 합성곱 신경망과 LSTM 순환 신경망 결합 모델을 제안하였는데, 높은 정확도로 인식에 성공했지만 많은 연산량으로 인해 실시간 시스템 구현에 어려움이 있었다. 마지막으로 차 영상을 이용한 2차원 합성곱 신경망과 LSTM 순환 신경망 결합 모델을 제안하였다. 차 영상을 이용해 움직임이 없는 배경 영역을 제거할 수 있어 적은 연산량으로도 효과적인 인식이 가능했으며, 해당 모델을 이용해 실시간 시스템 구현에 성공하였다.
- 영상 데이터는 시간의 순서에 따른 시계열 데이터이다. 연속된 프레임에 대해 상관성을 부여하기 위해 연속된 8개의 프레임을 결합하여 8채널 이미지를 입력으로 하는 3차원 합성곱 모델을 설계하였다. 8개의 3차원 합성곱 레이어와 Softmax 함수를 이용하여 10개의 결과로 Classification 하는 것으로 65.
- 구조를 제안하였다. 첫 번째 방법으로 3차원 합성곱 신경망 모델을 제안하였는데, 비교적 낮은 정확도와 많은 연산량으로 인해 적합하지 않았다. 두 번째 방법으로는 3차원 합성곱 신경망과 LSTM 순환 신경망 결합 모델을 제안하였는데, 높은 정확도로 인식에 성공했지만 많은 연산량으로 인해 실시간 시스템 구현에 어려움이 있었다.
- 4% 정확도로 인식에 성공했다. 하지만 모든 프레임에 대해 3차원 합성곱 연산을 수행하기 때문에 실시간 시스템 구현에 성능 저하가 발생하였고, 이를 해결하기 위해 3차원 합성곱을 사용하지 않는 새로운 모델을 설계하였다.
대상 데이터
- 모델의 입력 데이터는 3채널 이미지로 구성하였는데, 순서대로 이전 프레임의 영상, 현재 프레임의 영상, 두 프레임의 차 영상으로 구성하였다. 설계한 모델은 Fig.
- 영상 데이터는 전체 52명의 실험자의 발화 영상이며 39명은 남성, 13명은 여성이다. 본 연구에서는 무작위 40명의 영상을 학습용으로, 다른 12명의 영상을 검증용으로 사용하였다.
- 영상 데이터는 시간의 순서에 따른 시계열 데이터이다. 연속된 프레임에 대해 상관성을 부여하기 위해 연속된 8개의 프레임을 결합하여 8채널 이미지를 입력으로 하는 3차원 합성곱 모델을 설계하였다.
- 10개의 상용구는 ‘Excuse me’, ‘Goodbye’, ‘Hello’, ‘How are you’, ‘Nice to meet you’, ‘See you’, ‘I am sorry’, ‘Thank you’, ‘Have a good time’, ‘You are welcome’ 으로 구성되어있다. 영상 데이터는 전체 52명의 실험자의 발화 영상이며 39명은 남성, 13명은 여성이다. 본 연구에서는 무작위 40명의 영상을 학습용으로, 다른 12명의 영상을 검증용으로 사용하였다.
- 학습에 사용한 데이터로는 학습에 사용하기에 적절한 수의 데이터 개수와 다양한 성별과 인종의 발화 영상을 가진 Ouluvs2 Database를 사용하였다. Ouluvs2 Database는 일상에서 사용되는 10개의 상용구를 정면에서 3회 발화한 영상을 포함한다.
이론/모형
- 2차원 합성곱을 사용하며 연속된 프레임 간의 상관성을 부여하기 위해 두 프레임의 차 영상 (Difference image)을 이용하였다. 모델의 입력 데이터는 3채널 이미지로 구성하였는데, 순서대로 이전 프레임의 영상, 현재 프레임의 영상, 두 프레임의 차 영상으로 구성하였다.
- Pytorch를 사용하였다. 설계 모델은 차 영상을 이용한 2차원 합성 곱 신경망과 LSTM 순환 신경망 결합 모델을 사용하였다. Ouluvs2 Database와 웹캠 환경에는 차이가 있기 때문에, Ouluvs2 Database를 이용하여 학습한 Pre-training 모델에 웹캠으로 촬영한 영상으로 Fine-tuning을 진행하여 인식 정확도를 높였다.
- 실험은 GTX 1050을 이용하여 진행하였으며 구현을 위해 Python 과 Pytorch를 사용하였다. 설계 모델은 차 영상을 이용한 2차원 합성 곱 신경망과 LSTM 순환 신경망 결합 모델을 사용하였다.
성능/효과
- 연속된 프레임에 대해 상관성을 부여하기 위해 연속된 8개의 프레임을 결합하여 8채널 이미지를 입력으로 하는 3차원 합성곱 모델을 설계하였다. 8개의 3차원 합성곱 레이어와 Softmax 함수를 이용하여 10개의 결과로 Classification 하는 것으로 65.1%의 정확도로 인식에 성공했다.
- 이전 프레임과 현재 프레임의 연산 결과를 순환 신경망에 함께 입력하여 시계열 데이터 처리의 정확성을 높였다. 동일하게 Softmax 함수를 이용하여 89.
- 3과 같다. 인식 정확도는 76.7%으로 앞서 수행한 3차원 합성 곱 신경망과 LSTM 순환 신경망 결합 모델보다 다소 낮았지만, 적은 연산량으로 실시간 시스템 구현에 더 적합하다고 판단하였다.
- 마지막으로 차 영상을 이용한 2차원 합성곱 신경망과 LSTM 순환 신경망 결합 모델을 제안하였다. 차 영상을 이용해 움직임이 없는 배경 영역을 제거할 수 있어 적은 연산량으로도 효과적인 인식이 가능했으며, 해당 모델을 이용해 실시간 시스템 구현에 성공하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.