표면근전도 신호를 활용한 CNN 기반 한국 지화숫자 인식을 위한 아래팔 근육과 전극 위치에 관한 연구 Study on Forearm Muscles and Electrode Placements for CNN based Korean Finger Number Gesture Recognition using sEMG Signals원문보기
표면근전도(sEMG) 신호의 응용은 초기에는 단순히 근육 활성도의 유무를 판별하여 On/Off 의 스위치 기능으로 많이 사용되어 왔으나, 표면근전도 신호처리와 알고리즘의 발달로 휠체어의 방향 제어는 물론 수화를 인식하는 분야까지 확대되었다. 청각 장애인들의 언어 소통을 위한 중요한 수단인 수화나 지화는 미학습자와는 소통의 어려움이 존재해왔으며, 이러한 어려움을 해결하기 위해 수화나 지화를 인식하는 기술에 대한 연구가 지속적으로 수행되어 왔다. 최근에는, 수화나 지화 시연시에 활성화되는 근육의 신호를 활용하여 수화나 지화를 인식하는 방법이 중국 숫자지화 중심으로 적용되고 있는 추세이다. 하지만, 수화나 지화는 일반 음성언어와 마찬가지로 중국 숫자지화와 한국 숫자지화가 다르므로, 중국 숫자지화 시연시에 관여하는 근육이 한국 숫자지화 시연시에는 관여하지 않을 수가 있어, 인식률이 현저히 떨어질 수 있다. 그러므로 한국 숫자지화 시연시에 활성화되는 근육의 선정은 표면근전도 신호에 기반한 한국 숫자지화 인식률에 매우 중요하다. 하지만, 표면근전도 신호에 기반한 한국 숫자지화 인식에 대한 연구는 문헌에서 드물다. 본 연구에서는 표면근전도 신호를 활용한 한국수화 또는 한국지화의 인식에 관한 초기 연구로서, 한국 숫자지화를 시연시에 관여하는 아래팔근육을 제안하고 실험을 통하여 검증하기 위해 숫자 영(0)부터 다섯(5)의 여섯 가지 한국 숫자지화를 대상으로 인식하는 연구를 수행하였다. 이를 위해, 표면근전도 신호를 활용한 CNN 기반 지화인식 방법에 적용하여 여섯 가지 한국 숫자지화에 대하여 100%의 인식률을 확인함으로써, 여섯 가지 한국 숫자지화 인식을 위해 제안된 아래팔근육과 전극위치의 타당성을 검증하였다.
표면근전도(sEMG) 신호의 응용은 초기에는 단순히 근육 활성도의 유무를 판별하여 On/Off 의 스위치 기능으로 많이 사용되어 왔으나, 표면근전도 신호처리와 알고리즘의 발달로 휠체어의 방향 제어는 물론 수화를 인식하는 분야까지 확대되었다. 청각 장애인들의 언어 소통을 위한 중요한 수단인 수화나 지화는 미학습자와는 소통의 어려움이 존재해왔으며, 이러한 어려움을 해결하기 위해 수화나 지화를 인식하는 기술에 대한 연구가 지속적으로 수행되어 왔다. 최근에는, 수화나 지화 시연시에 활성화되는 근육의 신호를 활용하여 수화나 지화를 인식하는 방법이 중국 숫자지화 중심으로 적용되고 있는 추세이다. 하지만, 수화나 지화는 일반 음성언어와 마찬가지로 중국 숫자지화와 한국 숫자지화가 다르므로, 중국 숫자지화 시연시에 관여하는 근육이 한국 숫자지화 시연시에는 관여하지 않을 수가 있어, 인식률이 현저히 떨어질 수 있다. 그러므로 한국 숫자지화 시연시에 활성화되는 근육의 선정은 표면근전도 신호에 기반한 한국 숫자지화 인식률에 매우 중요하다. 하지만, 표면근전도 신호에 기반한 한국 숫자지화 인식에 대한 연구는 문헌에서 드물다. 본 연구에서는 표면근전도 신호를 활용한 한국수화 또는 한국지화의 인식에 관한 초기 연구로서, 한국 숫자지화를 시연시에 관여하는 아래팔근육을 제안하고 실험을 통하여 검증하기 위해 숫자 영(0)부터 다섯(5)의 여섯 가지 한국 숫자지화를 대상으로 인식하는 연구를 수행하였다. 이를 위해, 표면근전도 신호를 활용한 CNN 기반 지화인식 방법에 적용하여 여섯 가지 한국 숫자지화에 대하여 100%의 인식률을 확인함으로써, 여섯 가지 한국 숫자지화 인식을 위해 제안된 아래팔근육과 전극위치의 타당성을 검증하였다.
Surface electromyography (sEMG) is mainly used as an on/off switch in the early stage of the study and was then expanded to navigational control of powered-wheelchairs and recognition of sign language or finger gestures. There are difficulties in communication between people who know and do not know...
Surface electromyography (sEMG) is mainly used as an on/off switch in the early stage of the study and was then expanded to navigational control of powered-wheelchairs and recognition of sign language or finger gestures. There are difficulties in communication between people who know and do not know sign language; therefore, many efforts have been made to recognize sign language or finger gestures. Recently, use of sEMG signals to recognize sign language signals have been investigated; however, most studies of this topic conducted to date have focused on Chinese finger number gestures. Since sign language and finger gestures vary among regions, Korean- and Chinese-finger number gestures differ from each other. Accordingly, the recognition performance of Korean finger number gestures based on sEMG signals can be severely degraded if the same muscles are specified as for Chinese finger number gestures. However, few studies of Korean finger number gestures based on sEMG signals have been conducted. Thus, this study was conducted to identify potential forearm muscles from which to collect sEMG signals for Korean finger number gestures. To accomplish this, six Korean finger number gestures from number zero to five were investigated to determine the usefulness of the proposed muscles and electrode placements by showing that CNN technique based on sEMG signal after sufficient learning recognizes six Korean finger number gestures in accuracy of 100%.
Surface electromyography (sEMG) is mainly used as an on/off switch in the early stage of the study and was then expanded to navigational control of powered-wheelchairs and recognition of sign language or finger gestures. There are difficulties in communication between people who know and do not know sign language; therefore, many efforts have been made to recognize sign language or finger gestures. Recently, use of sEMG signals to recognize sign language signals have been investigated; however, most studies of this topic conducted to date have focused on Chinese finger number gestures. Since sign language and finger gestures vary among regions, Korean- and Chinese-finger number gestures differ from each other. Accordingly, the recognition performance of Korean finger number gestures based on sEMG signals can be severely degraded if the same muscles are specified as for Chinese finger number gestures. However, few studies of Korean finger number gestures based on sEMG signals have been conducted. Thus, this study was conducted to identify potential forearm muscles from which to collect sEMG signals for Korean finger number gestures. To accomplish this, six Korean finger number gestures from number zero to five were investigated to determine the usefulness of the proposed muscles and electrode placements by showing that CNN technique based on sEMG signal after sufficient learning recognizes six Korean finger number gestures in accuracy of 100%.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구에서는 초기 연구로 4-채널 표면근전도를 활용한 한국 숫자지화 인식을 위해 숫자지화별로 특징을 추출할 수 있는 아래팔 근육과 전극 위치를 제안하고 이에 대한 타당성을 CNN(Convolutional Neural Network) 기반한 인식 기법에 적용하여 검증하고자 한다. 본 연구는 한국 숫자지화 전체에 대한 기초 연구로서, Fig.
본 연구에서는 표면근전도 신호를 활용한 한국 숫자지화 인식을 위해 숫자지화별 특징을 추출할 수 있는 아래팔근육과 해당 전극 위치를 제안한 것이다. 이를 위해, 초기 연구로서 숫자 영(0)부터 다섯(5)까지의 여섯 개의한국 숫자지화 인식을 위한 표면근전도 신호를 수집하기위해 4개의 아래팔근육과 4쌍의 전극 위치를 제안하였으며, 이에 대한 검증으로 CNN 기법을 적용하여 한국 숫자지화를 정확하게 인식함을 보였으며, 제안된 아래팔근육과 해당 전극의 위치가 타당함을 알 수 있었다.
본 연구에서는 표면근전도 신호에 기반 한 한국 숫자지화 인식이 가능하도록 아래팔 근육과 해당 전극 위치를 제안하는 연구로서, 한국 숫자지화 시연에 어려움이 없는 건전한 남성 1명을 선정하여 동일한 숫자지화 동작수행에 일관된 표면근전도 신호가 나타나도록 한국 숫자지화 동작들에 대한 숙련도를 높이도록 훈련을 하였다. 본 연구에서는 제안된 근육과 해당 전극에서 취득한 표면근전도 신호로 여섯 가지 한국 숫자지화 인식을 위해 특정 추출의 가능 여부를 살펴보는 초기 연구단계로서, 실험 대상을 1명으로 제한하였다.
본 절에서는 표면근전도 신호를 활용한 숫자 영(0)부터 다섯(5)까지의 한국 숫자지화 인식을 위해 손가락 움직임과 관련되는 아래팔 근육을 살펴보았다. 숫자 영(0)의 지화 시연의 경우, 다섯 손가락을 자연스럽게 접는 모양으로, 손 모양을 만들기 위해 힘을 주는 정도에 따라 손가락 및 엄지손가락의 굽힘근과 폄근들의 활성도가 있지만 낮은 편이다.
제안 방법
본 연구에서는 측정된 표면근전도 신호는 10-250Hz의 대역폭을 가지는 2차 버터워스 대역필터(2nd-Butter worth Filter)를 적용하였고, 센서 등의 오프셋 값 등에 따른 잡음을 최소화하기 위하여 기준선 이동(Baseline Shift)을 통하여 신호의 기준 값을 0으로 세팅하였다.
표면근전도 신호를 이용한 인식 및 제어 연구에서 계측하고자 하는 근육을 선정하는 것은 인식 및 제어의 성능에 큰 영향을 미친다[4-11]. 본 절에서는 Fig. 1의 숫자 영(0)부터 다섯(5)의 한국 숫자지화를 시연시에 활성화 정도가 높으면서 변별력이 높은 근육을 손가락 움직임과의 연관성을 살펴본다.
제안된 아래팔 근육과 해당 전극 위치에서의 측정된 표면근전도 신호를 활용하여 한국 숫자지화를 인식하기 위한 CNN 학습은 오픈소스 딥러닝 라이브러리인 텐서플로우 (Tensorflow)를 사용하여 수행하였으며, 빠른 실행을 위해 행렬이나 벡터 계산에 특화된 그래픽 처리장치 (Graphic Processing Unit, GPU)를 활용하였다. 본 연구에서 NVIDIA 사의 GTX-970 에 탑재된 4GB 메모리를 가지는 GPU를 사용하였다.
대상 데이터
제안된 아래팔 근육과 해당 전극 위치에서의 측정된 표면근전도 신호를 활용하여 한국 숫자지화를 인식하기 위한 CNN 학습은 오픈소스 딥러닝 라이브러리인 텐서플로우 (Tensorflow)를 사용하여 수행하였으며, 빠른 실행을 위해 행렬이나 벡터 계산에 특화된 그래픽 처리장치 (Graphic Processing Unit, GPU)를 활용하였다. 본 연구에서 NVIDIA 사의 GTX-970 에 탑재된 4GB 메모리를 가지는 GPU를 사용하였다.
본 연구에서는 표면근전도 신호에 기반 한 한국 숫자지화 인식이 가능하도록 아래팔 근육과 해당 전극 위치를 제안하는 연구로서, 한국 숫자지화 시연에 어려움이 없는 건전한 남성 1명을 선정하여 동일한 숫자지화 동작수행에 일관된 표면근전도 신호가 나타나도록 한국 숫자지화 동작들에 대한 숙련도를 높이도록 훈련을 하였다. 본 연구에서는 제안된 근육과 해당 전극에서 취득한 표면근전도 신호로 여섯 가지 한국 숫자지화 인식을 위해 특정 추출의 가능 여부를 살펴보는 초기 연구단계로서, 실험 대상을 1명으로 제한하였다. 하지만, 향후 동일한 숫자지화 시연에 대하여 다수의 실험대상자로부터 균일한 표면근전도 신호의 획득여부 등 추가적인 연구를 위해 실험대상자를 다수로 확대할 필요가 있으며, 향후 과제로 남겨 두었다.
총 252개의 샘플을 학습데이터로 활용하여 학습한CNN의 한국 숫자지화 영(0)부터 다섯(5)에 대한 인식률을 학습데이터가 아닌 별도의 숫자지화별로 18개씩 총108개 데이터를 활용하여 검증하였으며, 검증 결과를 Fig. 8에 도시하였다.
측정된 표면근전도 신호는 하나의 한국 숫자지화별로42개씩 총 252개의 샘플을 학습데이터로 활용하여CNN 학습을 수행하였다.
이론/모형
Fig. 7에서 측정된 각 숫자지화 시연에 따른 표면근전도 신호가 숫자지화별로 특징이 추출되어 CNN 인식 기법을 활용한 한국 숫자지화 인식에 적용하였다.
성능/효과
그러나 많은 수의 채널로 계측한 경우, 전극의 간격이 좁아 동일한 신호를 다른 채널에서도 측정하게 되는 중복을 초래하여 적정의 채널을 선택하는 것이 중요하다. 사례연구에서는 10가지의 손과 손가락의 움직임을 인식하기 위해 4, 8, 12, 16개의 채널을 선정하여 인식률이 어떻게 달라지는 지를 보여주고 있으며, 손과 손가락의 움직임을 적합한 근육 선정시에 네 개의 채널만으로도 99%의 매우 높은 인식률을 보여줌을 보였다 [5]. 또한, 문헌 [9]에서의 영(0)부터 아홉(9)까지의 중국 숫자지화 인식에 관한 연구는 Fig.
따라서 손가락 폄근과 엄지손가락벌림근의 활성도가 상대적으로 크다. 숫자 셋(3)은 집게손가락, 가운뎃손가락, 그리고 약손가락을 동시에 펴는 동작으로 폄근의 활성도가 크지만, 엄지손가락벌림근은 새끼손가락과 엄지손가락이 닿게 되어 상대적으로 약하다. 숫자 넷(4)은 집게손가락, 가운뎃손가락, 약손가락, 그리고 새끼손가락을 동시에 펴고 엄지손가락은 굽힘 동작을 하지만 엄지손가락의 벌림이 필요한 동작이어서 엄지손가락의 굽힘근과 벌림근의 움직임이 조금 요구된다.
숫자지화 ‘4’는 엄지손가락을 제외한 모든 손가락을 펴는 시연으로 손가락 폄근의 활성도가 손가락 굽힘근의 활성도보다 매우 높음을 볼 수 있고, 엄지손가락의 경우 네 손가락의 펴기로 인한 상호작용으로 굽힘근과 폄근에서 활성도가 미세하게 나타났다.
본 연구에서는 표면근전도 신호를 활용한 한국 숫자지화 인식을 위해 숫자지화별 특징을 추출할 수 있는 아래팔근육과 해당 전극 위치를 제안한 것이다. 이를 위해, 초기 연구로서 숫자 영(0)부터 다섯(5)까지의 여섯 개의한국 숫자지화 인식을 위한 표면근전도 신호를 수집하기위해 4개의 아래팔근육과 4쌍의 전극 위치를 제안하였으며, 이에 대한 검증으로 CNN 기법을 적용하여 한국 숫자지화를 정확하게 인식함을 보였으며, 제안된 아래팔근육과 해당 전극의 위치가 타당함을 알 수 있었다.
Table 4는 100회를 학습 후의 컨퓨전 매트릭스(Confusion Matrix)를 보여준 것으로서, 왼쪽 측면의 실제 시연된 숫자지화와 위쪽 면에 위치한CNN이 인식 하여 예측한 숫자가 100%로 일치하여, 대각선으로만 값이 나타나는 것으로 볼 수 있다. 이를 통해, 초기 연구로서 선정된 여섯 개의 한국 숫자지화에 대하여 제안된 아래팔 근육과 해당 전극의 위치가 한국 숫자지화의 특징 추출의 타당함을 볼 수 있었다.
후속연구
본 연구에서는 초기 연구로 4-채널 표면근전도를 활용한 한국 숫자지화 인식을 위해 숫자지화별로 특징을 추출할 수 있는 아래팔 근육과 전극 위치를 제안하고 이에 대한 타당성을 CNN(Convolutional Neural Network) 기반한 인식 기법에 적용하여 검증하고자 한다. 본 연구는 한국 숫자지화 전체에 대한 기초 연구로서, Fig. 1에 보여지는 바와 같이 숫자 영(0)부터 숫자 다섯(5)에 대한 한국 숫자지화로 제한하였으며, 여섯(6)부터의 한국숫자 지화 인식에 대한 것은 향후 추가 연구과제로 남겨두었다.
본 연구에서는 제안된 근육과 해당 전극에서 취득한 표면근전도 신호로 여섯 가지 한국 숫자지화 인식을 위해 특정 추출의 가능 여부를 살펴보는 초기 연구단계로서, 실험 대상을 1명으로 제한하였다. 하지만, 향후 동일한 숫자지화 시연에 대하여 다수의 실험대상자로부터 균일한 표면근전도 신호의 획득여부 등 추가적인 연구를 위해 실험대상자를 다수로 확대할 필요가 있으며, 향후 과제로 남겨 두었다.
향후 연구과제로는 검증을 위한 실험 대상으로 숙달된 피험자 한명으로 하였으나, 숙달된 다수의 실험자에게도 제안된 아래팔근육과 해당 전극위치가 타당성 검토를 위해 다수를 대상으로 한 연구가 필요하다. 또한, 여섯 가지의 한국 숫자지화를 대상이기 때문에, 전체 한국숫자지화로 확대하기에는 무리가 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
표면근전도 신호의 응용은 어느 분야에 사용되는가?
표면근전도 (sEMG) 신호의 응용은 초기에는 단순히 근육의 활성도 유무를 판별하여 On/Off 의 스위치 기능으로 많이 사용되어 왔으나, 표면근전도 신호 처리와 알고리즘의 등장으로 휠체어의 방향 제어는 물론 수화 인식하는 분야까지 확장되었다 [1-11]. 하지만, 청각장애인들의 언어 소통을 위한 중요한 수단인 수화나 지화는 미학습자와는 소통이 되지 않는 어려움이 항상 존재해 왔다.
얕은 손가락굽힘근은 어느 부위이며 언제 활성화 되는가?
⦁얕은 손가락굽힘근(flexor digitorum superficialis) :아래팔 앞·안쪽근에 위치하며 집게손가락부터 새끼손가락까지의 굽힘에 관여하는 주요 근육으로 숫자영(0)부터 셋(3)의 시연시에 활성화가 된다.
표면근전도 신호 처리와 알고리즘의 한계점은 무엇인가?
표면근전도 (sEMG) 신호의 응용은 초기에는 단순히 근육의 활성도 유무를 판별하여 On/Off 의 스위치 기능으로 많이 사용되어 왔으나, 표면근전도 신호 처리와 알고리즘의 등장으로 휠체어의 방향 제어는 물론 수화 인식하는 분야까지 확장되었다 [1-11]. 하지만, 청각장애인들의 언어 소통을 위한 중요한 수단인 수화나 지화는 미학습자와는 소통이 되지 않는 어려움이 항상 존재해 왔다.
참고문헌 (16)
H. S. Kang, "Finger Sign Recognition Technique using sEMG Sensor and Gyro Sensor", Master Thesis, Soongsil University, 2002.
A. Phinyomark, P. Phukpattaranont, C. Limsakul, "A review of Control Methods for Electric Power Wheelchairs Based on Electromyography Signals with Special Emphasis on Pattern Recognition", IETE Technical Review, Vol.28, No.4, pp.316-326, 2011. DOI: https://dx.doi.org/10.4103/0256-4602.83552
A. J. Young, L. J. Hargrove, T. A. Kuiken, "Improving Myoelectric Pattern Recognition Robustness to Electrode Shift by Changing Interelectrode Distance and Electrode Configuration", IEEE Transactions on Biomedical Engineering, Vol.59, No.3, pp.645-652, 2012. DOI: https://dx.doi.org/10.1109/TBME.2011.2177662
F. Tenore, A. Ramos, A. Fahmy, S. Acharya, R. Etienne-Cummings, N. V. Thakor, "Towards the Control of Individual Fingers of a Prosthetic Hand Using Surface EMG Signals", Proceedings of 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp.6145-6148, 2007. DOI: https://dx.doi.org/10.1109/IEMBS.2007.4353752
L. Hargrove, K. Englehart B. Hudgins, "A comparison of Surface and Intramuscular Myoelectric Signal Classification", IEEE Transactions on Biomedical Engineering, Vol.54, No.5, pp.847-853, 2007. DOI: https://dx.doi.org/10.1109/TBME.2006.889192
A. J. Andrews, "Finger Movement Classification using Forearm EMG Signals", Thesis of Master's Degree, Queen's University, 2008.
J. M. Hahne, B. Graimann, K. R. Muller, "Spatial Filtering for Robust Myoelectric Control", IEEE Transactions on Biomedical Engineering, Vol.59, No.5, pp.1436-1443, 2012. DOI: https://dx.doi.org/10.1109/TBME.2012.2188799
L. Pan, D. Zhang, N. Jiang, X. Sheng, X. Zhu, "Improving Robustness against Electrode Shift of High Density EMG for Myoelectric Control throught Common Spatial Patterns", Journal of NeuroEngineering and Rehabilitation, Vol.12, No.110, pp.1-16, 2015. DOI: https://dx.doi.org/10.1186/s12984-015-0102-9
X. Chen, Z. J. Wang, "Pattern recognition of number gestures based on a wireless surface EMG system", Biomedical Signal Processing and Control, Vol.8, No.2, pp.184-192, 2013. DOI: https://dx.doi.org/10.1016/j.bspc.2012.08.005
X. Zhang, X. Chen, Y. Li, V. Lantz, K. Wang, J. Yang, "A Framework for Hand Gesture Recognition based on Accelerometer and EMG Sensors", IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, Vol.41, No.6, pp.1064-1076, 2011. DOI: https://dx.doi.org/10.1109/TSMCA.2011.2116004
Jong-Jun Park, "Study on sEMG Signal Based Finger Sign Recognition using Convolutional Neural Network", Thesis of Master's Degree, Soonchunhyang University, 2017.
C. Lee, J. Kim, G. Park, J. Byeon, W. Jang, S. Kim, "Implementation of Real-time Recognition System for Korean Sign Language and Finger Gestures", Proceedings of Korean Institute of Intelligent Systems, Vol.6, No.2, pp.333-336, 1996.
H. D. Yang, S. W. Lee, "Automatic Spotting of Sign and Fingerspelling for Continuous Sign Language Recognition", Journal of KISS : Software and Applications, Vol.38, No.2, pp.102-107, 2011. UCI: http://uci.or.kr/G704-E00398.2011.38.2.004
N. H. Kim, "A Development of the Next-generation Interface System Based on the Finger Gesture Recognizing in Use of Image Process Techniques", Journal of the Korea Institute of Information and Communication Engineering, Vol.15, No.4, pp.935-942, 2011. DOI: https://dx.doi.org/10.6109/jkiice.2011.15.4.935
※ AI-Helper는 부적절한 답변을 할 수 있습니다.