초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

의사소통은 인간이 사회생활을 하기 위해서 가장 필수적으로 가지고 있어야 하는 능력이라고 한다. 하지만 농인들은 말하지 못하고 듣지 못하는 점이 의사소통에 있어서 걸림돌이 되기 때문에 많은 시간과 노력을 들여가며 수화를 배워 타인과 소통하려고 노력한다. 장애인들과 비장애인들의 의사소통 문제를 해결하기 위하여 수화에 관한 연구가 진행되어 왔다. 하지만 기존의 연구는 동작이 아닌 수형만을 인식하거나 웨어러블 센서 및 깊이 카메라를 이용한 연구였다. 본 논문에서는 센서나 깊이 카메라가 필요 없는 수화 동작 인식 연구를 위해 OpenPose를 이용하여 비수지 요소를 포함하여 딥 러닝 기반의 ...

의사소통은 인간이 사회생활을 하기 위해서 가장 필수적으로 가지고 있어야 하는 능력이라고 한다. 하지만 농인들은 말하지 못하고 듣지 못하는 점이 의사소통에 있어서 걸림돌이 되기 때문에 많은 시간과 노력을 들여가며 수화를 배워 타인과 소통하려고 노력한다. 장애인들과 비장애인들의 의사소통 문제를 해결하기 위하여 수화에 관한 연구가 진행되어 왔다. 하지만 기존의 연구는 동작이 아닌 수형만을 인식하거나 웨어러블 센서 및 깊이 카메라를 이용한 연구였다. 본 논문에서는 센서나 깊이 카메라가 필요 없는 수화 동작 인식 연구를 위해 OpenPose를 이용하여 비수지 요소를 포함하여 딥 러닝 기반의 CNN 모델을 학습하고자 하였다.
한글 수화 10개의 단어의 비디오를 수집하여 RGB 비디오와 OpenPose 라이브러리를 통해 얻은 비디오를 12개의 프레임을 갖는 이미지로 변환하였다. 그리고 Majority Voting 방법을 이용하여 각 수화 단어의 Class Label을 예측하여 분류하였다.
학습 결과 CNN 모델을 이용하여 수화 동작의 인식이 가능함을 보였고 OpenPose를 통하여 얼굴, 손, 손의 위치 등 Landmark를 나타내어 딥 러닝 모델을 학습했을 때 큰 차이로 인식률이 높아지는 것을 확인 할 수 있었다. 정확도는 79%로 높은 정확도로 분류할 수 있음을 알 수 있었다.
본 연구는 비디오의 분류가 실시간으로 실행되지 않는 한계를 가지고 있다. 수화를 인식하는 것은 농인들의 삶의 질 향상에 중요하다고 생각 된다. 향 후 본 연구를 통하여 OpenPose를 활용하여 비수지 요소를 포함한 수화인식을 할 수 있음을 알고 나아가 스마트 폰 어플리케이션에서 실시간으로 사용할 수 있을 것으로 본다.