선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구에서는 다채널 근전도와 관성센서를 이용하여 실시간으로 수화 동작을 인식하는 알고리즘을 개발하였다. 알고리즘은 20개의 미국 수화 단어를 대상으로 정확도를 평가하였으며, 동작 별 훈련 데이터 개수를 증가시키면서 최적의 훈련 데이터베이스 크기를 결정하였다.
- 그러나 국내에서는 생체신호 기반의 상지동작 인식 기술에 대한 연구는 거의 없으며, 국내와 해외 모두 암밴드형 센서를 이용한 수화인식 시스템에 대한 연구는 진행되지 않았다. 본 연구의 목표는 암밴드형 센서를 이용한 새로운 방식의 수화인식 시스템을 개발하고 그 성능을 평가하는 것이다.
제안 방법
- 본 연구에서 개발한 수화 인식 알고리즘은 훈련 단계와 평가 단계로 구성되어있으며, 그림 2는 본 연구에서 개발한 실시간 수화 인식 알고리즘의 블록 다이어그램을 나타낸 것이다. 두 단계 모두 공통적으로 데이터 획득, 전처리, 근 활성 및 움직임 구간 정보 획득, 특성 벡터 추출, 특성 벡터 합성이 진행된다.
- 실시간 수화 동작 인식 시스템에서는 연속적인 동작을 구분하기 위해 자동으로 동작의 시작과 끝을 추출하는 과정이 중요하다. 본 연구에서는 근전도 활성구간과 관성센서 활성구간의 세분화를 자동으로 진행하기위해 각각 8채널 근전도 신호와 3축 가속도 신호를 이용하였다.
- 본 연구에서는 측정한 근전도 신호는 동잡음과 같은 저주파 노이즈를 제거하기 위해 4~100Hz의 밴드패스필터로 필터링하였다. 관성센서에서 측정한 신호 역시 노이즈 제거를 위해 4~25Hz 주파수 대역의 밴드패스 필터를 적용하였다.
- 본 연구에서는 다채널 근전도와 관성센서를 이용하여 실시간으로 수화 동작을 인식하는 알고리즘을 개발하였다. 알고리즘은 20개의 미국 수화 단어를 대상으로 정확도를 평가하였으며, 동작 별 훈련 데이터 개수를 증가시키면서 최적의 훈련 데이터베이스 크기를 결정하였다.
대상 데이터
- 본 연구에서 개발한 수화 인식 알고리즘은 근골격계 질환이 없으며 수화를 사용하지 않는 20대 정상인을 대상으로 정확도를 평가하였다. 피험자는 남성 9명과 여성 2명으로, 평균 나이는 25.
- 본 연구에서는 암밴드 형태의 8채널 건식 3전극 표면 근전도와 9축 관성센서(가속도, 각속도, 지자기)로 구성된 암밴드형 상용 센서(그림 1)[12]를 사용하였다. 이 센서는 근전도 샘플링 주파수가 200Hz이며, 관성 센서 샘플링 주파수는 50Hz이다.
- 1)세로 모집하였다. 수화 동작은 농아인들이 일상에서 많이 사용하는 미국 수화 단어 20개로 선정하였다(표 1). 각 피험자들은 모든 수화 동작의 특성 벡터를 40개씩 획득하였다.
- 신호 데이터베이스 중 30개는 인공 신경망 분류기의 훈련 데이터로 이용하였으며, 나머지 10개는 패턴 분류 정확도 평가에 이용하였다. 훈련 데이터베이스 크기에 따른 정확도를 비교하기 위해 훈련 데이터 개수를 동작 별 10개, 20개, 30개로 구분하여 수화 인식 알고리즘의 정확도를 평가하였다.
- 본 연구에서 개발한 수화 인식 알고리즘은 근골격계 질환이 없으며 수화를 사용하지 않는 20대 정상인을 대상으로 정확도를 평가하였다. 피험자는 남성 9명과 여성 2명으로, 평균 나이는 25.2(±1.1)세로 모집하였다. 수화 동작은 농아인들이 일상에서 많이 사용하는 미국 수화 단어 20개로 선정하였다(표 1).
데이터처리
- 수식 (3)과 (4)를 통해 8채널 근전도 TKE와 가속도 SVM은 모두 일정한 window 크기로 Root Mean Suare(RMS)를 연산하였다. 8채널 근전도 신호는 모든 RMS 값들을 더하여 1개의 신호로 변환하였다.
- 수화 동작을 인식할 때 사용된 근전도 특성벡터는 근 활성 구간 내에서 측정한 근전도 신호를 필터링한 후, 수식 (5)를 통해 Mean Absolute Value(MAV)를 연산하여 얻을 수 있었다. 이때 window의 크기는 500msec로 정의했으므로 L=100으로 계산하였다.
- 신호 데이터베이스 중 30개는 인공 신경망 분류기의 훈련 데이터로 이용하였으며, 나머지 10개는 패턴 분류 정확도 평가에 이용하였다. 훈련 데이터베이스 크기에 따른 정확도를 비교하기 위해 훈련 데이터 개수를 동작 별 10개, 20개, 30개로 구분하여 수화 인식 알고리즘의 정확도를 평가하였다.
이론/모형
- 본 연구에서 신호 패턴 분류를 위해 인공 신경망 (Artificial Neural Network) 분류기를 이용하였다. 인공 신경망에서 각 뉴런의 분류 파라미터는 MATLAB Neural Network toolbox[14]를 이용하여 얻었으며, 분류 파라미터 훈련은 오류 역전파 학습 알고리즘을 통해 진행하였다.
- 두 신호는 모두 베이스라인 노이즈 때문에 동작의 시작과 끝을 정확히 구분하기에 부적합하다. 본 연구에서는 베이스라인 노이즈 영향을 최소화하기 위해 수식 (1)을 통하여 신호 대 잡음비(SNR)를 증폭시키는 Teager-Kaiser Energy(TKE)를 연산하였다[13]. 수식 (1)에서 S(i)는 입력된 각 채널의 근전도 채널 또는 3축 가속도의 샘플 데이터를 의미한다.
- 본 연구에서 신호 패턴 분류를 위해 인공 신경망 (Artificial Neural Network) 분류기를 이용하였다. 인공 신경망에서 각 뉴런의 분류 파라미터는 MATLAB Neural Network toolbox[14]를 이용하여 얻었으며, 분류 파라미터 훈련은 오류 역전파 학습 알고리즘을 통해 진행하였다.
성능/효과
- Zhang 등[9]의 연구에서는 가속도 센서와 근전도 센서를 이용하여 18개의 손동작을 97% 이상의 정확도로 분류하였으며, Jian 등[10]의 연구에서도 동일한 센서를 사용하여 40개의 미국 수화 단어를 98% 이상으로 분류하였다. 가속도 센서와 근전도 센서를 이용한 상지 움직임 또는 수화를 인식하는 시스템은 높은 정확도와 저렴하다는 장점이 있지만, 이용자가 사용할 때마다 부착 위치가 변화하여 부정확한 성능을 보이며, 일상생활 중에 신체에서 떨어질 수 있다는 단점을 가지고 있다. 이와 같이 수화 인식 시스템을 개발하기 위한 연구는 지속적으로 진행되어 왔으나 실용성을 갖는 수준의 연구가 없었으므로 시장 진출 사례가 없었다.
- 동작 별 20개 훈련 데이터베이스에서는 모든 피험자들로부터 93% 이상의 높은 정확도가 나타났다. 그러나 5번 피험자와 6번 피험자로부터 10% 이상의 높은 표준편차가 나타났기 때문에 개인차에 의해 정확도가 안정적으로 나타나지 않는다는 것을 확인하였다. 동작 별 30개 훈련 데이터베이스에서는 모든 피험자들을 대상으로 99% 이상의 평균 정확도와 4%이하의 평균 표준편차로 매우 정확하고 안정적인 성능을 보였다.
- 그러나 5번 피험자와 6번 피험자로부터 10% 이상의 높은 표준편차가 나타났기 때문에 개인차에 의해 정확도가 안정적으로 나타나지 않는다는 것을 확인하였다. 동작 별 30개 훈련 데이터베이스에서는 모든 피험자들을 대상으로 99% 이상의 평균 정확도와 4%이하의 평균 표준편차로 매우 정확하고 안정적인 성능을 보였다.
- 표 2는 훈련 데이터베이스 크기에 따른 수화 인식 알고리즘의 정확도를 나타낸 것이다. 모든 피험자들은 훈련 데이터베이스 크기가 증가할수록 높은 정확도를 보였으며 표준편차는 낮게 나타났다. 훈련 데이터 개수가 10개일 때에도 90% 이상의 높은 정확도를 가지는 피험자들도 있었으나, 평균 표준편차는 16.
- 표 2는 훈련 데이터베이스 크기에 따른 수화 인식 알고리즘의 정확도를 나타낸 것이다. 모든 피험자들은 훈련 데이터베이스 크기가 증가할수록 높은 정확도를 보였으며 표준편차는 낮게 나타났다. 훈련 데이터 개수가 10개일 때에도 90% 이상의 높은 정확도를 가지는 피험자들도 있었으나, 평균 표준편차는 16.
- 표 2는 훈련 데이터베이스 크기에 따른 수화 인식 알고리즘의 정확도를 나타낸 것이다. 모든 피험자들은 훈련 데이터베이스 크기가 증가할수록 높은 정확도를 보였으며 표준편차는 낮게 나타났다. 훈련 데이터 개수가 10개일 때에도 90% 이상의 높은 정확도를 가지는 피험자들도 있었으나, 평균 표준편차는 16.
- 표 3은 기존에 보고되었던 수화 인식 기술에 관한 선행 기술을 나타낸 것이다. 본 연구에서 선정한 수화 단어의 수와 선행 연구에서 선정한 단어 수가 비슷하며, 알고리즘의 정확도 면에서 더 우수함을 확인할 수 있었다. 또한 선행 연구와는 다르게 센서를 착용하는 방식으로 접근하여 사용자들의 편리성을 향상시킬 수 있었다.
- 암밴드 형태의 근전도 센서와 관성센서를 이용하여 99%±4% 정확도를 갖는 실시간 수화 분류 알고리즘을 개발하였다. 수화 동작 별 30개로 구성된 훈련 데이터베이스를 이용하여 가장 높은 정확도를 가지며 낮은 표준편차를 갖는 최적의 패턴 분류기를 학습시킬 수 있었다.
- 모든 피험자들은 훈련 데이터베이스 크기가 증가할수록 높은 정확도를 보였으며 표준편차는 낮게 나타났다. 훈련 데이터 개수가 10개일 때에도 90% 이상의 높은 정확도를 가지는 피험자들도 있었으나, 평균 표준편차는 16.61% 수준으로 크게 나타났다. 훈련 데이터 개수가 동작 별 20개일 때, 모든 피험자들은 93%이상의 정확도를 가졌으며 평균 정확도는 97.
- 모든 피험자들은 훈련 데이터베이스 크기가 증가할수록 높은 정확도를 보였으며 표준편차는 낮게 나타났다. 훈련 데이터 개수가 10개일 때에도 90% 이상의 높은 정확도를 가지는 피험자들도 있었으나, 평균 표준편차는 16.61% 수준으로 크게 나타났다. 훈련 데이터 개수가 동작 별 20개일 때, 모든 피험자들은 93%이상의 정확도를 가졌으며 평균 정확도는 97.
- 61% 수준으로 크게 나타났다. 훈련 데이터 개수가 동작 별 20개일 때, 모든 피험자들은 93%이상의 정확도를 가졌으며 평균 정확도는 97.82%로 나타났다. 훈련 데이터 개수가 동작 별 30개일 때, 모든 피험자들은 96% 이상의 분류 정확도와 9%이하의 표준편차를 보였으며, 99.
- 61% 수준으로 크게 나타났다. 훈련 데이터 개수가 동작 별 20개일 때, 모든 피험자들은 93%이상의 정확도를 가졌으며 평균 정확도는 97.82%로 나타났다. 훈련 데이터 개수가 동작 별 30개일 때, 모든 피험자들은 96% 이상의 분류 정확도와 9%이하의 표준편차를 보였으며, 99.
- 82%로 나타났다. 훈련 데이터 개수가 동작 별 30개일 때, 모든 피험자들은 96% 이상의 분류 정확도와 9%이하의 표준편차를 보였으며, 99.00%의 평균 정확도와 3.81%의 평균 표준편차를 보였다.
- 82%로 나타났다. 훈련 데이터 개수가 동작 별 30개일 때, 모든 피험자들은 96% 이상의 분류 정확도와 9%이하의 표준편차를 보였으며, 99.00%의 평균 정확도와 3.81%의 평균 표준편차를 보였다.
후속연구
- 표 2에 나타난 정확도 평가 결과를 보면 동작 별 훈련 데이터가 증가할수록 편차가 낮아지는 것을 확인할 수 있는데, 이는 훈련 데이터베이스 크기에 따른 분류기 성능 개선뿐만 아니라 피험자들이 동일한 동작을 반복함으로써 발생하는 학습효과에 의해 특성 벡터 신호 패턴이 점차적으로 일정해짐과 관련이 있을 것으로 사료된다. 두 번째 제한점은 피험자 모집에 있어서 남녀 비율의 차이가 있었기 때문에 성별에 의한 영향을 파악할 수 없었다는 것이다.
- 수화 동작 별 30개로 구성된 훈련 데이터베이스를 이용하여 가장 높은 정확도를 가지며 낮은 표준편차를 갖는 최적의 패턴 분류기를 학습시킬 수 있었다. 이러한 패턴 인식 알고리즘은 수화 인식 기술뿐만 아니라 게임 인터페이스, 일상 보조 시스템, 의족, 의수, 기계 제어 등 다양한 IoT 시장에 적용될 수 있을 것이다.
- 본 연구의 제한점은 다음과 같다. 첫 번째 제한점은 수화에 익숙하지 않은 피험자들을 대상으로 알고리즘 평가를 진행했다는 것이다. 수화에 익숙하지 않은 피험자들의 경우 특정 동작을 반복할 때 행동패턴이 다르게 나타날 수 있기 때문에 수화 인식 알고리즘 평가에 적합한 대상이 아니었다.
- 향후 연구에서는 암밴드 센서를 자체 개발하고, 동일한 남녀 비율로 구성된 수화통역사 또는 청각장애인을 대상으로 실험을 진행함으로써 수화 동작의 숙련도와 성별에 따른 영향을 구분하여 알고리즘의 정확도를 평가할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.