선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 키넥트를 이용한 수화 번역 프로그램을 제안하였다. 키넥트의 Skeleton기능과 C++프로그래밍을 통한 영상처리를 이용하여 수화자의 손 움직임을 인지한 후 본문에서 제안한 2가지의 정규화 과정으로 데이터를 얻어낸 후 미리 입력된 수화 DB와 비교하여 적절한 수화를 번역해 내는 프로그램이다.
- 여기서 좀 더 정확한 번역을 위하여 Sumsolu의 값이 일정 기준치를 넘으면 해당 수화를 번역결과로 출력하고 그렇지 않으면, 즉 근사치가 일정 부분까지 도달하지 않았으면 오류를 출력하게 하여 인식된 수화가 제대로 된 수화가 아님을 알려준다. 이 알고리즘을 기반으로 제작한 프로그램을 실행하여 수화번역이 제대로 이루어지는지 실험해 보았다.
가설 설정
- G: 잘 부탁드립니다. H: 대단히 힘들었습니다. I: 완벽히 번역하였습니다.
- G: 대단히 힘들었습니다. H: 만나서 반갑습니다.
제안 방법
- 이를 방지하기 위한 이상적인 정규화 길이인 DBN을 구하기 위해 ‘먹다’와 같은 짧은 단어에서 ‘대단히 힘들었습니다’와 같은 긴 문장까지 대표적인 8개의 단어와 문장의 샘플링 수를 구해보았다. 각 단어마다 10회씩 반복하여 샘플링 수를 측정하였으며 총 5명의 수화자가 2번씩 수행하였다. 피 실험자들은 수화에 익숙한 비장애인들로 구성하여 실제 수화를 사용하는 장애인들만큼은 아니지만 어느 정도 숙달된 수화를 구현하도록 하였다.
- 본문에서 제안하였던 정규화 과정과 정리한 식들이 실효성이 있는지를 판단하기 위해 실제 수화를 통한 데이터로 정규화 전과 후의 데이터를 분석하였다. 그 후 정규 화된 데이터를 통해 수화번역결과를 도출하기 위한 알고리즘 구현과 실제 프로그램을 제작하여 수화번역을 수행하였다. 정규화과정의 실험은 길이정규화를 통해 데이터의 길이를 가변시켜도 문제가 없는 정규화길이 DBN을 구하는 실험, 구해진 DBN을 사용한 식 (1)와 (2)을 통하여 샘플링 개수와 데이터가 정확하게 변하는지에 대한 각각의 실험, 길이정규화 전후의 데이터를 비교하여 정규화의 효과성 실험, 마지막으로 제안한 알고리즘으로 구현된 프로그램의 정확도와 완성도의 실험, 총 5가지로 수행하였다.
- 이러한 영상인식에는 일반 카메라보다는 여러 가지 추가 기능이 있는 최근에 출시된 입체 카메라시스템인 키넥트(Kinect)를 사용하기로 결정하였다. 본 논문에서의 수화 번역 프로그램은 키넥트의 Color와 Depth 카메라, SkeletonStream기능을 사용하여 수화자의 손동작 및 팔 관절을 관찰 추적하여 각 수화 동작의 움직임을 정규 화된 좌표로 저장하고 데이터베이스와의 비교를 통해서 수화를 검출해 내는 방식으로 초기 수화 번역 시스템을 제안한다.
- C의 대부분의 특징을 포함하고 있고 클래스나 연산자 중복, 가상 함수와 같은 특징도 포함하고 있어 복잡한 프로그램을 처리하기에 알맞다. 본 논문의 프로그램에서는 키넥트를 이용하기 때문에 C나 C#보다는 키넥트 관련 예제가 다양하고 많은 C++을 이용하게 되었다. 또한 OpenCV는 오픈 소스 컴퓨터 비전 C 라이브러리로 실시간 이미지 프로세싱에 중점을 둔 라이브러리다.
- 본문에서 제안하였던 정규화 과정과 정리한 식들이 실효성이 있는지를 판단하기 위해 실제 수화를 통한 데이터로 정규화 전과 후의 데이터를 분석하였다. 그 후 정규 화된 데이터를 통해 수화번역결과를 도출하기 위한 알고리즘 구현과 실제 프로그램을 제작하여 수화번역을 수행하였다.
- 그림 6에서 프로그램의 전체 수화번역 알고리즘을 나타내 었다. 수화를 인지하여 손과 팔꿈치의 좌표를 키넥트의 TrakingID중 HAND_RIGHT, HAND_LEFT, ELBOW_RIGHT, ELBOW_LEFT를 통하여 추출한다. 추출된 좌표를 정규화 과정을 통해서 정규화 시킨 다음 위에서 설명한 오차 값 추출 알고리즘을 통해서 최대값을 가지는 Sumsolu, 즉 데이터베이스의 수화 중 가장 높은 근사치를 가지는 수화의 Sumsolu를 반환해 낸다.
- 여기서는 길이정규화의 실효성을 검증하기 위해 정규화전의 데이터와 정규화 후의 데이터로 수화자의 손 궤적을 유추하여 비교해 보았다. 우선 실험에 사용된 데이터표본은총 3가지이다.
- 체형에 따른 오차의 경우 주로 상체에 의한 차이가 주원인이고, 수화라는 특성상 손과 팔꿈치이하의 팔을 주로 사용하는 행동이기 때문에 좌표의 기준을 팔꿈치로 잡고 새로운 데이터를 추출하는 정규화 과정을 고안하였다[12]. 우선 TrackingID 중 ELBOW_RIGHT와 ELBOW_LEFT값을 사용하여 팔꿈치의 좌표 값을 추출한 후 데이터베이스의 팔꿈치 값과의 차이를 계산하여 수화자의 손 좌표에 가감 시켜준다. 이 식을 정리하면 아래 식 (3)과 같다.
- 우선 데이터의 길이가 짧은 ‘먹다’의 샘플링 표본과 길이가 긴 ‘만나서 반갑습니다’의 샘플링 표본 두 가지를 사용하여 식 (1)에서 DBN에 맞추어 정규화를 시켰을 시 초기 샘플링 개수에 따라 새 인덱스 SNn이 제대로 나오는지를 실험하였다.
- 위의 실험에서 구한 DBN을 통해서 본문에서 제안한 식 (1)이 실제 데이터에 적용되었을 때 데이터의 손실이나 큰 중복 없이 정규화 되는지를 실험해 보았다. 우선 데이터의 길이가 짧은 ‘먹다’의 샘플링 표본과 길이가 긴 ‘만나서 반갑습니다’의 샘플링 표본 두 가지를 사용하여 식 (1)에서 DBN에 맞추어 정규화를 시켰을 시 초기 샘플링 개수에 따라 새 인덱스 SNn이 제대로 나오는지를 실험하였다.
- 또 팔의 길이 또한 모든 수화에 있어서 어느 정도 변화를 주게 된다. 이러한 수화자의 체형에 따른 오차 값을 보완하기 위해서 두 번째 정규화인 팔꿈치 정규화를 고안하였다. 체형에 따른 오차의 경우 주로 상체에 의한 차이가 주원인이고, 수화라는 특성상 손과 팔꿈치이하의 팔을 주로 사용하는 행동이기 때문에 좌표의 기준을 팔꿈치로 잡고 새로운 데이터를 추출하는 정규화 과정을 고안하였다[12].
- 이런 수화번역 프로그램을 만들기 위해 영상인식을 통해 수화자의 모션을 인식하여 수화를 번역하는 방법을 선택하였다[1-4]. 이러한 영상인식에는 일반 카메라보다는 여러 가지 추가 기능이 있는 최근에 출시된 입체 카메라시스템인 키넥트(Kinect)를 사용하기로 결정하였다. 본 논문에서의 수화 번역 프로그램은 키넥트의 Color와 Depth 카메라, SkeletonStream기능을 사용하여 수화자의 손동작 및 팔 관절을 관찰 추적하여 각 수화 동작의 움직임을 정규 화된 좌표로 저장하고 데이터베이스와의 비교를 통해서 수화를 검출해 내는 방식으로 초기 수화 번역 시스템을 제안한다.
- 그러나 샘플링한 수화자의 데이터를 샘플링 시간에 맞춰서 비교하는 방식이기 때문에 수화자의 수화 속도, 수화자의 체형에 따라서 샘플링 된 데이터의 차이가 나게 된다[10-12]. 이러한 차이로 인해서 적절하지 못한 오차 값이 발생하는 것을 보완하기 위해서 본 논문에서는 두 가지의 정규화 방법을 사용하였다.
- 이러한 문제들을 해결하고 청각언어장애인들의 편리한 의사소통을 위해 수화를 일반 문자나 음성으로 번역해 주는 시스템이 필요하다. 이런 수화번역 프로그램을 만들기 위해 영상인식을 통해 수화자의 모션을 인식하여 수화를 번역하는 방법을 선택하였다[1-4]. 이러한 영상인식에는 일반 카메라보다는 여러 가지 추가 기능이 있는 최근에 출시된 입체 카메라시스템인 키넥트(Kinect)를 사용하기로 결정하였다.
- 이를 방지하기 위한 이상적인 정규화 길이인 DBN을 구하기 위해 ‘먹다’와 같은 짧은 단어에서 ‘대단히 힘들었습니다’와 같은 긴 문장까지 대표적인 8개의 단어와 문장의 샘플링 수를 구해보았다.
- 이번에는 수화 번역에 중심이 되는 오차추출과 번역알고리즘에 대한 실험을 수행하였다. 기본적인 번역의 구성은 수화자의 손 좌표 데이터를 받아 정규화를 시킨 다음 데이터베이스에 있는 수화데이터들과의 비교를 통하여 오차가 가장 작은, 즉 매칭률이 높은 수화를 번역결과로 도출해 내는 것이다.
- 우선 수화의 평균적인 샘플링길이를 알아내어 이를 근거로 샘플링 데이터들의 길이를 가변시켰을 때 큰 문제가 생기지 않도록 DBN이란 데이터길이를 기준으로 잡아야한다. 이후 수화자의 수화에서 샘플링 된 이산적인 데이터를 선형적으로 가정하고 DBN을 기준으로 새로운 데이터를 뽑아낸다. 이러한 길이정규화를 위해 첫 번째로 입력된 수화에서 샘플링개수 N을 평균적인 길이인 DBN과 맞추기 위해 식 (1) 을 사용하여 데이터 각각의 새로운 인덱스인 SNn을 구한다.
- 그 후 정규 화된 데이터를 통해 수화번역결과를 도출하기 위한 알고리즘 구현과 실제 프로그램을 제작하여 수화번역을 수행하였다. 정규화과정의 실험은 길이정규화를 통해 데이터의 길이를 가변시켜도 문제가 없는 정규화길이 DBN을 구하는 실험, 구해진 DBN을 사용한 식 (1)와 (2)을 통하여 샘플링 개수와 데이터가 정확하게 변하는지에 대한 각각의 실험, 길이정규화 전후의 데이터를 비교하여 정규화의 효과성 실험, 마지막으로 제안한 알고리즘으로 구현된 프로그램의 정확도와 완성도의 실험, 총 5가지로 수행하였다.
- 수화를 인지하여 손과 팔꿈치의 좌표를 키넥트의 TrakingID중 HAND_RIGHT, HAND_LEFT, ELBOW_RIGHT, ELBOW_LEFT를 통하여 추출한다. 추출된 좌표를 정규화 과정을 통해서 정규화 시킨 다음 위에서 설명한 오차 값 추출 알고리즘을 통해서 최대값을 가지는 Sumsolu, 즉 데이터베이스의 수화 중 가장 높은 근사치를 가지는 수화의 Sumsolu를 반환해 낸다. 여기서 좀 더 정확한 번역을 위하여 Sumsolu의 값이 일정 기준치를 넘으면 해당 수화를 번역결과로 출력하고 그렇지 않으면, 즉 근사치가 일정 부분까지 도달하지 않았으면 오류를 출력하게 하여 인식된 수화가 제대로 된 수화가 아님을 알려준다.
- 키넥트SDK의 대표적 기능중 하나인 스켈레톤기능을 프로그램에서 활용함으로써 사람의 신체관절을 그림 1과 같이총 20개의 영역으로 나누어서 처리한다. 각각의 관절에는 그림 1에 나타난 것과 같이 TrakingID가 할당된다.
- 본 논문에서는 키넥트를 이용한 수화 번역 프로그램을 제안하였다. 키넥트의 Skeleton기능과 C++프로그래밍을 통한 영상처리를 이용하여 수화자의 손 움직임을 인지한 후 본문에서 제안한 2가지의 정규화 과정으로 데이터를 얻어낸 후 미리 입력된 수화 DB와 비교하여 적절한 수화를 번역해 내는 프로그램이다. 정규화 과정을 통해 수화자의 체형의 차이와 수화 속도차이에도 적절히 대응할 수 있고 유동 적인 수화 인식이 가능하다.
대상 데이터
- 5m정도로 거리를 줄일 수도 있다. 그러나 앉은 상태에서의 수화동작이 실험에 여러 가지 변수를 주게 되어 수화 번역 알고리즘을 확인하는 실험은 서있는 상태의 수화자를 대상으로 하였다.
- 샘플링 수가 적은 ‘먹다’의 왼손 y축, 샘플링 수가 많은 ‘만나서 반갑습니다’의 왼손 y축, 마지막으로 데이터길이의 편차가 크고 움직임도 많은 ‘달리다’의 오른손 y축 데이터를 사용하였다.
- 실험에 사용할 표본은 변화구간이 뚜렷이 보이는 ‘만나서 반갑습니다’ 수화데이터 중 왼손y축의 데이터를 사용하였다.
- 여기서는 길이정규화의 실효성을 검증하기 위해 정규화전의 데이터와 정규화 후의 데이터로 수화자의 손 궤적을 유추하여 비교해 보았다. 우선 실험에 사용된 데이터표본은총 3가지이다. 샘플링 수가 적은 ‘먹다’의 왼손 y축, 샘플링 수가 많은 ‘만나서 반갑습니다’의 왼손 y축, 마지막으로 데이터길이의 편차가 크고 움직임도 많은 ‘달리다’의 오른손 y축 데이터를 사용하였다.
- 표 4는 표본데이터의 초기 값과 길이정규화를 거쳐 식(2) 의 과정까지 마친 데이터를 기록한 것이다. 초기데이터는 총 101개의 샘플링을 가지고 정규화 후 80개의 인덱스를 가지게 된다. 초기데이터를 보면 인덱스가 11일 때부터 점차 데이터 값이 낮아지게 되며 인덱스 18인 구간에서 100까지 낮아진다.
- 시스템 개발 환경은 크게 2가지로 키넥트 라이브러리와 OpenCV 라이브러리를 이용한 C++이 있다. 키넥트는 SDK 공식지원이 가능하고 근접모드를 지원하는 윈도우용 키넥트를 사용하였으며 OpenCV는 2.45버전의 라이브러리를 사용하였다.
성능/효과
- 마찬가지로 초기데이터의 인덱스 39부터 45까지의 상승구간은 정규화 후 인덱스 33에서 36까지의 구간으로 재정의 되었다. 101개의 샘플링 데이터를 정규화 과정에서 80개의 샘플링 데이터로 줄이게 되면서 전체적인 구간의 감소가 일어나게 되었지만 상승과 하강하는 포인트 자체는 누락되지 않았음을 알 수 있다.
- 정규화 과정을 통해 수화자의 체형의 차이와 수화 속도차이에도 적절히 대응할 수 있고 유동 적인 수화 인식이 가능하다. 신장 165cm~185cm까지의 다양한 체격을 가진 6명의 수화자가 10개의 짧은 단어에서긴 문장까지의 수화를 각 수화 당 30회 이상 실행하여 번역률을 알아보았으며 짧은 단어의 경우 98%번역되었고 긴 문장의 경우 94%정도의 번역률을 보였다. 이를 통해 수화 번역 알고리즘이 제대로 수행됨을 확인 할 수 있었다.
- 이를 통해 본문에서 제안한 길이정규화의 방법이 상당히 효과적으로 데이터사이의 오차를 줄일 수 있고 그로인해 수화의 속도에 상관없이 데이터 비교를 통해 수화번역을 가능하게 하여 실효성이 뛰어 남을 보였다. 실제 프로그램에서 데이터베이스를 구축할 때는 10회의 데이터의 평균을 내어 적용함으로써 오차 값을 조금 더 줄였다.
- 하지만 길이 정규화를 거친 그림 4(b)를 보게 되면 데이터들의 궤적이 상당히 일치하고 데이터 값의 차이 역시 최고 400의 차이 값에서 50을 넘지 않는 값으로 개선되었다. 위의 3가지 표본 외에 다른 7가지의 표본으로도 같은 실험을 하였고 위와 같이 데이터 궤적의 상당한 개선과 평균 오차 값의 큰 감소를 볼 수 있었다. 이를 통해 본문에서 제안한 길이정규화의 방법이 상당히 효과적으로 데이터사이의 오차를 줄일 수 있고 그로인해 수화의 속도에 상관없이 데이터 비교를 통해 수화번역을 가능하게 하여 실효성이 뛰어 남을 보였다.
- DBN보다 샘플링수가 크기 때문에 SNn이 초기 인덱스보다 크게 나오며 1에서부터 초기 인덱스의 최대값인 101까지 모두 전환되었다. 위의 두 표본을 통한 실험으로 표 2와 3의 결과와 같이 식 (1)을 통해 SNn을 구하는 방법에 문제가 없다는 것을 확인 할 수 있었다.
- 위의 3가지 표본 외에 다른 7가지의 표본으로도 같은 실험을 하였고 위와 같이 데이터 궤적의 상당한 개선과 평균 오차 값의 큰 감소를 볼 수 있었다. 이를 통해 본문에서 제안한 길이정규화의 방법이 상당히 효과적으로 데이터사이의 오차를 줄일 수 있고 그로인해 수화의 속도에 상관없이 데이터 비교를 통해 수화번역을 가능하게 하여 실효성이 뛰어 남을 보였다. 실제 프로그램에서 데이터베이스를 구축할 때는 10회의 데이터의 평균을 내어 적용함으로써 오차 값을 조금 더 줄였다.
- 1에서 42까지의 인덱스를 DBN인 80개의 인덱스로 나누기위해 식 (1)을 사용하였고 초기샘플링 수와 DBN의 차이가 거의 2배 이므로 SNn은 초기 인덱스의 절반이 될 것이라 예상하였다. 표에서 보다시피 SNn은 초기 인덱스의 반 정도의 값을 가지며 80개가 도출되었고 1에서부터 초기 인덱스의 최대값인 42까지 정확하게 도출되었다. 위의 표 3은 두 번째 표본인‘만나서 반갑습니다’의 수화에 대한 결과이다.
후속연구
- 현재 10개의 DB로 실험을 수행하였으나 수화의 종류는 약 9600개가 존재하여 모두 비교하기에는 한계가 있다. 그래서 많은 DB를 이용한 비교를 위해 실시간 비교를 통한 비교구간의 세분화와 DB의 양에 따른 부하를 줄이는 방법을 추가적으로 연구하고 있다. 향후 계획은 실사용적인 부분에서 화면에 여러 사람이 인식될 경우 수화자를 완벽히 잡지 못하는 점과 키넥트가 필요하여 휴대성이 떨어지는 점 등이 있어 추가적인 연구가 계속될 것이다.
- 그래서 많은 DB를 이용한 비교를 위해 실시간 비교를 통한 비교구간의 세분화와 DB의 양에 따른 부하를 줄이는 방법을 추가적으로 연구하고 있다. 향후 계획은 실사용적인 부분에서 화면에 여러 사람이 인식될 경우 수화자를 완벽히 잡지 못하는 점과 키넥트가 필요하여 휴대성이 떨어지는 점 등이 있어 추가적인 연구가 계속될 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.