청각 장애인은 소리를 듣고 음성으로 표현하는 의사소통에 어려움이 있기 때문에 주로, 구화, 수화, 필담 등을 이용하여 의사소통을 진행한다. 청각 장애인과 건청인과의 의사소통을 위해서는 수화가 가장 좋은 방법이지만 수화 사용방법을 이해해야만 하는 어려움이 따른다. 본 논문은 청각 장애인과 건청인간의 의사소통을 위한 수단으로 지화 번역 시스템을 설계 및 구현하였다. 지화 입력 수단으로 손가락 모양과 손동작을 추적할 수 있는 립 모션을 사용하였다. 입력된 정보를 처리하고 번역하기 위해서 저전력 싱글 보드 컴퓨터인 라즈베리 파이를 활용하였다. 시스템 개발을 위하여 Node.js와 MongoDB를 활용하여 플랫폼에 구애받지 않고 다양한 환경에서 사용할 수 있도록 구현하였다. 클라이언트용 애플리케이션은 HTML5를 기반으로 구현하여 웹 브라우징이 가능한 스마트 디바이스를 지원한다.
청각 장애인은 소리를 듣고 음성으로 표현하는 의사소통에 어려움이 있기 때문에 주로, 구화, 수화, 필담 등을 이용하여 의사소통을 진행한다. 청각 장애인과 건청인과의 의사소통을 위해서는 수화가 가장 좋은 방법이지만 수화 사용방법을 이해해야만 하는 어려움이 따른다. 본 논문은 청각 장애인과 건청인간의 의사소통을 위한 수단으로 지화 번역 시스템을 설계 및 구현하였다. 지화 입력 수단으로 손가락 모양과 손동작을 추적할 수 있는 립 모션을 사용하였다. 입력된 정보를 처리하고 번역하기 위해서 저전력 싱글 보드 컴퓨터인 라즈베리 파이를 활용하였다. 시스템 개발을 위하여 Node.js와 MongoDB를 활용하여 플랫폼에 구애받지 않고 다양한 환경에서 사용할 수 있도록 구현하였다. 클라이언트용 애플리케이션은 HTML5를 기반으로 구현하여 웹 브라우징이 가능한 스마트 디바이스를 지원한다.
Deaf are it is difficult to communicate to represent the voice heard, so theay use mostly using the speech, sign language, writing, etc. to communicate. It is the best way to use sign language, in order to communicate deaf and normal people each other. But they must understand to use sign language. ...
Deaf are it is difficult to communicate to represent the voice heard, so theay use mostly using the speech, sign language, writing, etc. to communicate. It is the best way to use sign language, in order to communicate deaf and normal people each other. But they must understand to use sign language. In this paper, we designed and implementated finger language translation system to support communicate between deaf and normal people. We used leap motion as input device that can track finger and hand gesture. We used raspberry pi that is low power sing board computer to process input data and translate finger language. We implemented application used Node.js and MongoDB. The client application complied with HTML5 so that can be support any smart device with web browser.
Deaf are it is difficult to communicate to represent the voice heard, so theay use mostly using the speech, sign language, writing, etc. to communicate. It is the best way to use sign language, in order to communicate deaf and normal people each other. But they must understand to use sign language. In this paper, we designed and implementated finger language translation system to support communicate between deaf and normal people. We used leap motion as input device that can track finger and hand gesture. We used raspberry pi that is low power sing board computer to process input data and translate finger language. We implemented application used Node.js and MongoDB. The client application complied with HTML5 so that can be support any smart device with web browser.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 기존에 지화 입력을 위해 연구가 이루어지던 카메라 모션 인식의 한계를 극복하고 저비용의 휴대가 간편한 지화 번역 시스템은 설계 및 구현하였다. 손가락 모양과 손 동작을 추적하여 지화를 입력하기 위해서 립 모션을 이용하였으며, 학습을 위한 알고리즘으로 SVM 알고리즘을 이용하였다.
본 논문에서는 라즈베리 파이(Raspberry Pi)와 립 모션(Leap Motion)을 이용하여 청각 장애인과 건청인의 의사소통을 돕기 위한 보조기구로서 활용 가능한 지화 번역 시스템을 설계 및 구현하였다. 손가락 모양과 손동작을 추적하고 정보를 문자로 변환하기 위한 입력 도구로서 립 모션을 활용하였다.
본 논문에서는 립 모션을 지원하는 다양한 플랫폼에서 정보를 처리하고 데이터베이스 서버로부터 지화 정보를 받아오도록 처리하기 위해서 처리부분과 API 서버 부분을 분리하여 설계하였다. 즉, 입력 부분과 처리 부분은 모바일을 지원하며 API 서버부분은 고정된 환경에서 사용할 수 있도록 구현하여 실시간 지화 번역을 원하는 사용자가 동시에 사용할 수 있도록 하였다.
제안 방법
또한 실시간 처리를 통해서 번역된 정보를 출력하는 부분을 웹 서버를 통해 HTML 정보로 출력하도록 하였기 때문에 별도의 설치가 필요한 앱을 이용하지 않고 웹 브라우저를 이용할 수 있다. 때문에 웹 브라우징이 가능한 디바이스에서는 언제든지 정보를 이용할 수 있으며 AngularJS와 Socket.io를 이용해 실시간 처리 및 출력이 가능하도록 하였다.
입력된 내용은 오타가 발생하더라도 수정하지 않으며 실사용성을염두에 두었기 때문에 제안된 시간 안에 입력을 성공해야만 전체 입력이 완료된 것으로 간주하였다. 또한 안정된 상태가 아닌 불안정한 상태를 고려하여 상대방의 가슴에 립 모션을 부착하여 인식시키도록 하였다. 표 1 은 각각 입력된 지화 인식 성공률을 나타낸다.
불러온다. 또한 웹 서버를 이용하여 출력 부분의 스마트 디바이스에 분석된 정보를 보여준다. API 서버 부분은 데이터베이스 서버와 연동하여 처리 부분에서 받은 정보를 바탕으로 데이터베이스 중 일치하는 정보를 넘겨주거나 새롭게 입력 받은 정보를 저장하는 역할을 한다.
손가락 모양과 손 동작을 추적하여 지화를 입력하기 위해서 립 모션을 이용하였으며, 학습을 위한 알고리즘으로 SVM 알고리즘을 이용하였다. 립 모션의 정보를 분석하여 데이터베이스 서버와 정보 교환을 위한 디바이스로 저전력으로 동작하며 신용카드 크기로 휴대가 간편한 라즈베리 파이를 이용하였다.
io를 통해 실시간으로 인식되는 지화 정보를 문자나 단어로 표현한다. 사용자의 접근성을 고려하여 다양한 디바이스가 지원되도록 별도의 설치가 필요한 앱이 아닌 브라우저에서 동작하는 HTML로 구현하였다. 확장성 있는 프론트 엔드 구현을 위해서 Bootstrap 프레임 워크와 동적 DOM 바인딩이 가능한 AngularJS를 사용하였다.
올바른 지화를 인식하기 위해서 왼손, 오른손을 구분하는 부분과 손의 방향, 각 손가락 끝마디뼈(말절골), 중간마디뼈 (중절골) 첫마디뼈(기절골)의 위치 정보를 함께 처리하여 손의 방향, 손가락 모양 등을 구분한다. ㄱ(기역)과 ㄴ(니은)은 손의 모양이 동일하지만 방향이 다르며, ㅁ (미음)의 경우 주먹을 쥐고 있는 상태와 비슷하지만 검지와 중지는 말절골만 구부린 상태이기 때문에 각 손가락의 뼈 구조 정보도 함께 처리해야 한다.
립 모션은 정밀도가 키넥트의 200배 정도에 달하며 직접 접촉이 아닌 허공에서 손을 움직이는 것만으로 동작을 감지해 낼 수 있다. 입력 받은 정보를 분석하고 데이터베이스에 내장된 정보와 비교하여 번역하기 위해서 라즈베리 파이를 활용하였다. 서버로 동작하는 라즈베리 파이는 손바닥 크기이며 저전력으로 동작하기 때문에 휴대가 간편하다.
제안하는 시스템에서 입력 부분은 SVM 알고리즘을 위한 학습 단계와 테스트 단계와 지화 정보 추적을 위해 사용된다. 입력 부분은 지화를 사용하는 사람의 손가락 모양 및 손동작을 추적한다.
제안하는 시스템의 입력, 처리, 출력 부분 동작과 수화 번역기로서의 성능을 측정하기 위해서 10명의 사용자가 각각 10회씩 연속적인 입력으로 지화의 모음과 자음을 입력하였을 때의 성능을 측정하였다. 입력된 내용은 오타가 발생하더라도 수정하지 않으며 실사용성을염두에 두었기 때문에 제안된 시간 안에 입력을 성공해야만 전체 입력이 완료된 것으로 간주하였다.
주는 API(Application Programming Interface) 서버는 MongoDB와 Node.js를 활용하여 플랫폼에 독립적으로 동작하도록 설계하였다. 클라이언트 프로그램과 API 서버는 모바일 환경에 적합하도록 설계된 JSON (Javascript Object Natation) 구조를 이용하여 정보를 교환한다.
지화 번역 시스템을 구성하기 위해 구성된 시스템 모델은 각각의 기능 및 연결된 네트워크를 기준으로 구성 부분을 나누었다. 제안하는 시스템의 구성 모델은 그림 1과 같다.
그림 3은 학습을 진행 중인 화면이다. 학습과 테스트는 편이성을 위해서 데스크탑 컴퓨터에서 파이어폭스 웹 브라우저를 통해 진행하여 데이터베이스를 구축하였다. 학습단계 이후 테스트 단계에서는 손가락 모양과 손 위치 정보를 분석하여 올바른 지화를 선택하고 이를 문자로 변환하거나 단어를 생성하는지 확인한다.
학습과 테스트는 편이성을 위해서 데스크탑 컴퓨터에서 파이어폭스 웹 브라우저를 통해 진행하여 데이터베이스를 구축하였다. 학습단계 이후 테스트 단계에서는 손가락 모양과 손 위치 정보를 분석하여 올바른 지화를 선택하고 이를 문자로 변환하거나 단어를 생성하는지 확인한다.
사용자의 접근성을 고려하여 다양한 디바이스가 지원되도록 별도의 설치가 필요한 앱이 아닌 브라우저에서 동작하는 HTML로 구현하였다. 확장성 있는 프론트 엔드 구현을 위해서 Bootstrap 프레임 워크와 동적 DOM 바인딩이 가능한 AngularJS를 사용하였다. 올바른 내용이 입력되었는지 디버깅을 위해서 지화 그림과 글로 나누어서 출력하였다.
이론/모형
구현하였다. 손가락 모양과 손 동작을 추적하여 지화를 입력하기 위해서 립 모션을 이용하였으며, 학습을 위한 알고리즘으로 SVM 알고리즘을 이용하였다. 립 모션의 정보를 분석하여 데이터베이스 서버와 정보 교환을 위한 디바이스로 저전력으로 동작하며 신용카드 크기로 휴대가 간편한 라즈베리 파이를 이용하였다.
시스템을 설계 및 구현하였다. 손가락 모양과 손동작을 추적하고 정보를 문자로 변환하기 위한 입력 도구로서 립 모션을 활용하였다. 립 모션은 정밀도가 키넥트의 200배 정도에 달하며 직접 접촉이 아닌 허공에서 손을 움직이는 것만으로 동작을 감지해 낼 수 있다.
성능/효과
제안한 시스템은 상대방 가슴에 부착한 상태에서 최소 88%에서 최대 97%까지의 인식률을 보이며 더 많은 학습을 통해 인식률 개선이 가능하다. 향후 연구로서 운영체제가 필요한 디바이스가 아닌 최소한의 정보 구조로 동작할 수 있는 아두이노와 같은 디바이스를 연동하여 더 많은 플랫폼을 지원할 수 있도록 연구를 진행할 계획이다.
부분을 분리하여 설계하였다. 즉, 입력 부분과 처리 부분은 모바일을 지원하며 API 서버부분은 고정된 환경에서 사용할 수 있도록 구현하여 실시간 지화 번역을 원하는 사용자가 동시에 사용할 수 있도록 하였다. API 서버부분은 데이터베이스 서버와 미들웨어로 구성되며 처리 부분에서 받아온 정보를 데이터베이스에서 검색하여 JSON 형태로 반환한다.
후속연구
향후 연구로서 운영체제가 필요한 디바이스가 아닌 최소한의 정보 구조로 동작할 수 있는 아두이노와 같은 디바이스를 연동하여 더 많은 플랫폼을 지원할 수 있도록 연구를 진행할 계획이다. 또한 가속도 센서를 이용하여 다양한 모션을 추가적으로 지원할 수 있도록 연구를 확장할 계획이다. 이를 위해서는 사용자의 요구에 따른 맞춤 서비스를 위한 수화 번역 시스템의 연구가 진행되어야 할 것이다.
또한 가속도 센서를 이용하여 다양한 모션을 추가적으로 지원할 수 있도록 연구를 확장할 계획이다. 이를 위해서는 사용자의 요구에 따른 맞춤 서비스를 위한 수화 번역 시스템의 연구가 진행되어야 할 것이다.
통해 인식률 개선이 가능하다. 향후 연구로서 운영체제가 필요한 디바이스가 아닌 최소한의 정보 구조로 동작할 수 있는 아두이노와 같은 디바이스를 연동하여 더 많은 플랫폼을 지원할 수 있도록 연구를 진행할 계획이다. 또한 가속도 센서를 이용하여 다양한 모션을 추가적으로 지원할 수 있도록 연구를 확장할 계획이다.
참고문헌 (10)
William L. Heward, Exceptional Children：An Introduction to Special Education, 10th ed, Pearson, 2012.
Yang Quan; Peng jinye, “Application of improved sign language recognition and synthesis technology in IB”, Industrial Electronics and Applications, pp.1629–1634, 2008.
Ji-Won Song, Sung-Ho Yang, "Design of Communication System for the Hearing Impaired", Journal of Korean Society Design Science, vol.22, no.1, pp.197-206, 2009.
Sung-Wook Park, Bo-Hyeun Wang, "Web-based Text-To-Sign Language Translating System", Journal of Korean Institute of Intelligent Systems, vol.24, no.3, pp.265-269, 2014.
Ki-woong Park, Tae-il Jeon, "R&D Status and Industry Prospects of Wearable Device", Institute for information & communications Technology Promotion, 2015.
Nod Inc, https://nod.com/
Myo-Gesture control armband by Thalmic Labs, https://www.thalmic.com/myo/
Korea Electronics Technology Institute, http://www.keti.re.kr
※ AI-Helper는 부적절한 답변을 할 수 있습니다.