한국수화언어는 한국수화언어법으로 국어와 동등한 지위의 언어이고 청각장애인의 언어권을 신장하고 삶의 질을 향상하는 것을 목적으로 한다고 규정되어 있다. 한국수화언어 사용에 따른 소통의 어려움이 없어야 하지만, 한국수화언어를 사용하는 농인(聾人) 및 청인(聽人)과 한국어를 사용하는 일반인의 소통을 위해서는 일반이 한국수화언어를 배워야 하는 어려움이 있다. 이러한 소통의 문제 개선하기 위해 한국어를 사용하는 일반인이 한국수화언어의 의미를 이해할 수 있도록 딥러닝을 이용한 한국수화언어 통역 시스템을 제안하고자 한다. 한국수화언어 통역 시스템은 한국수화언어 특징 추출 ...
한국수화언어는 한국수화언어법으로 국어와 동등한 지위의 언어이고 청각장애인의 언어권을 신장하고 삶의 질을 향상하는 것을 목적으로 한다고 규정되어 있다. 한국수화언어 사용에 따른 소통의 어려움이 없어야 하지만, 한국수화언어를 사용하는 농인(聾人) 및 청인(聽人)과 한국어를 사용하는 일반인의 소통을 위해서는 일반이 한국수화언어를 배워야 하는 어려움이 있다. 이러한 소통의 문제 개선하기 위해 한국어를 사용하는 일반인이 한국수화언어의 의미를 이해할 수 있도록 딥러닝을 이용한 한국수화언어 통역 시스템을 제안하고자 한다. 한국수화언어 통역 시스템은 한국수화언어 특징 추출 모듈과 한국수화언어 통역 모듈로 구성된다. 한국수화언어 특징 추출 모듈은 객체 검출 모듈로, 손과 손가락 모양인 수형의 종류 및 얼굴 종류의 확률과 위치 정보를 추출한다. 한국수화언어 특징 추출 모듈은 한국수화언어 특징을 71개의 클래스로 분류하여 검출 할 수 있으며, 연산량은 0.615 BFLOPS로, CPU 연산을 사용한 객체 검출 소요 시간은 75ms이다. 한국수화언어 특징 추출 모듈 정확도 성능은 mAP(mean Average Precision) 94.02%, F1-score 87%, 평균 IoU 61.24%이다. 마지막으로 한국수화언어 특징 추출 모듈 크기는 6.92MB로 경량화된 모듈이다. 한국수화언어 통역 모듈은 한국수화언어 특징 추출 모듈을 사용하여 추출된 정보를 바탕으로 한국수화언어 중 자연수화언어 동작(단어)을 통역하는 모듈이다. 한국수화언어 통역 모듈은 한국수화언어 일상생활 대표 표제어 10개를 대상으로 제작되었고, 한국수화언어 통역 모듈의 정확도는 훈련에 사용되지 않은 평가 데이터 1,760개로 평가 시 95.85%로 나타났다. 한국수화언어 통역 App은 멀티스레드 기법을 적용하면 CPU 연산 사용 시 한국수화언어 통역에서 출력까지 25ms 소요되며, 28 FPS의 성능을 나타냈다. 이는 실시간으로 한국수화언어 통역이 가능한 성능이라 평가된다. 딥러닝을 이용한 한국수화언어 통역 시스템의 연구 가치는 다음과 같다. 첫째, 한국수화언어 통역 시스템은 실시간 통역 성능을 가진다. 둘째, 특수장비가 필요 없고 GPU와 같은 고성능 하드웨어를 필요로하지 않는다. 셋째, 한국수화언어 훈련 데이터 수집이 용이하다. 마지막으로 PC 및 증강/혼합현실용 HMD와 같은 웨어러블 디바이스와 모바일 디바이스에 포팅이 가능하다.
한국수화언어는 한국수화언어법으로 국어와 동등한 지위의 언어이고 청각장애인의 언어권을 신장하고 삶의 질을 향상하는 것을 목적으로 한다고 규정되어 있다. 한국수화언어 사용에 따른 소통의 어려움이 없어야 하지만, 한국수화언어를 사용하는 농인(聾人) 및 청인(聽人)과 한국어를 사용하는 일반인의 소통을 위해서는 일반이 한국수화언어를 배워야 하는 어려움이 있다. 이러한 소통의 문제 개선하기 위해 한국어를 사용하는 일반인이 한국수화언어의 의미를 이해할 수 있도록 딥러닝을 이용한 한국수화언어 통역 시스템을 제안하고자 한다. 한국수화언어 통역 시스템은 한국수화언어 특징 추출 모듈과 한국수화언어 통역 모듈로 구성된다. 한국수화언어 특징 추출 모듈은 객체 검출 모듈로, 손과 손가락 모양인 수형의 종류 및 얼굴 종류의 확률과 위치 정보를 추출한다. 한국수화언어 특징 추출 모듈은 한국수화언어 특징을 71개의 클래스로 분류하여 검출 할 수 있으며, 연산량은 0.615 BFLOPS로, CPU 연산을 사용한 객체 검출 소요 시간은 75ms이다. 한국수화언어 특징 추출 모듈 정확도 성능은 mAP(mean Average Precision) 94.02%, F1-score 87%, 평균 IoU 61.24%이다. 마지막으로 한국수화언어 특징 추출 모듈 크기는 6.92MB로 경량화된 모듈이다. 한국수화언어 통역 모듈은 한국수화언어 특징 추출 모듈을 사용하여 추출된 정보를 바탕으로 한국수화언어 중 자연수화언어 동작(단어)을 통역하는 모듈이다. 한국수화언어 통역 모듈은 한국수화언어 일상생활 대표 표제어 10개를 대상으로 제작되었고, 한국수화언어 통역 모듈의 정확도는 훈련에 사용되지 않은 평가 데이터 1,760개로 평가 시 95.85%로 나타났다. 한국수화언어 통역 App은 멀티스레드 기법을 적용하면 CPU 연산 사용 시 한국수화언어 통역에서 출력까지 25ms 소요되며, 28 FPS의 성능을 나타냈다. 이는 실시간으로 한국수화언어 통역이 가능한 성능이라 평가된다. 딥러닝을 이용한 한국수화언어 통역 시스템의 연구 가치는 다음과 같다. 첫째, 한국수화언어 통역 시스템은 실시간 통역 성능을 가진다. 둘째, 특수장비가 필요 없고 GPU와 같은 고성능 하드웨어를 필요로하지 않는다. 셋째, 한국수화언어 훈련 데이터 수집이 용이하다. 마지막으로 PC 및 증강/혼합현실용 HMD와 같은 웨어러블 디바이스와 모바일 디바이스에 포팅이 가능하다.
The Korean Sign Language is defined as the language of the Korean Language equivalent to that of the Korean Language, and aims to enhance the language of the deaf and improve the quality of life. There is no difficulty in communicating using the Korean Sign Language. However, it is difficult for the...
The Korean Sign Language is defined as the language of the Korean Language equivalent to that of the Korean Language, and aims to enhance the language of the deaf and improve the quality of life. There is no difficulty in communicating using the Korean Sign Language. However, it is difficult for the general person to learn Korean Sign Language to communicate with the deaf and the hearer who use Korean Sign Language and the public using Korean Language. In order to improve the communication problem, we would like to propose a Korean Sign Language Interpretation System Using Deep Learning to understand the meaning of Korean Sign Language. The Korean Sign Language Interpretation System consists of the Korean Sign Language Feature Extraction Module and the Korean Sign Language Interpretation Module. The Korean Sign Language Feature Extraction Module is an object detection module that extracts the type and face type probability and position information of hand and finger shape. The Korean Sign Language Feature Extraction Module can detect and classify Korean Sign Language features into 71 classes. The calculation amount is 0.615 BFLOPS and the object detection time using CPU operation is 75ms. The accuracy of the Korean Sign Language Feature Extraction Module is 94.02% for mean average precision (mAP), 87% for F1-score, and 61.24% for average IOU. Finally, the Korean Sign Language Feature Extraction module size is 6.92MB, which is a lightweight module. The Korean Sign Language Interpretation Module is a module that interprets the natural sign language behavior (words) among the Korean Sign Language based on the information extracted using the Korean Sign Language Feature Extraction Module. The Korean Sign Language Interpretation Module was produced for 10 representative headlines of Korean Sign Language, and the accuracy of the Korean Sign Language Interpreter Module was 95.85% when 1,760 evaluation data were not used for training. The Korean Sign Language Interpreter App has a performance of 28 FPS, which takes 25ms from the Korean Sign Language Interpretation to the output when the CPU operation is applied using the multi-thread technique. This is evaluated as the ability to interpret Korean Sign Language in realtime. The study value of the Korean Sign Language Interpretation System Using Deep Learning is as follows. First, the Korean Sign Language Interpretation System has realtime interpretation performance. Second, it does not require special equipment and does not require high-performance hardware such as a GPU. Third, it is easy to collect Korean Sign Language training data. Finally, it is possible to port to wearable devices and mobile devices such as PC and HMD for augmented/mixed reality.
The Korean Sign Language is defined as the language of the Korean Language equivalent to that of the Korean Language, and aims to enhance the language of the deaf and improve the quality of life. There is no difficulty in communicating using the Korean Sign Language. However, it is difficult for the general person to learn Korean Sign Language to communicate with the deaf and the hearer who use Korean Sign Language and the public using Korean Language. In order to improve the communication problem, we would like to propose a Korean Sign Language Interpretation System Using Deep Learning to understand the meaning of Korean Sign Language. The Korean Sign Language Interpretation System consists of the Korean Sign Language Feature Extraction Module and the Korean Sign Language Interpretation Module. The Korean Sign Language Feature Extraction Module is an object detection module that extracts the type and face type probability and position information of hand and finger shape. The Korean Sign Language Feature Extraction Module can detect and classify Korean Sign Language features into 71 classes. The calculation amount is 0.615 BFLOPS and the object detection time using CPU operation is 75ms. The accuracy of the Korean Sign Language Feature Extraction Module is 94.02% for mean average precision (mAP), 87% for F1-score, and 61.24% for average IOU. Finally, the Korean Sign Language Feature Extraction module size is 6.92MB, which is a lightweight module. The Korean Sign Language Interpretation Module is a module that interprets the natural sign language behavior (words) among the Korean Sign Language based on the information extracted using the Korean Sign Language Feature Extraction Module. The Korean Sign Language Interpretation Module was produced for 10 representative headlines of Korean Sign Language, and the accuracy of the Korean Sign Language Interpreter Module was 95.85% when 1,760 evaluation data were not used for training. The Korean Sign Language Interpreter App has a performance of 28 FPS, which takes 25ms from the Korean Sign Language Interpretation to the output when the CPU operation is applied using the multi-thread technique. This is evaluated as the ability to interpret Korean Sign Language in realtime. The study value of the Korean Sign Language Interpretation System Using Deep Learning is as follows. First, the Korean Sign Language Interpretation System has realtime interpretation performance. Second, it does not require special equipment and does not require high-performance hardware such as a GPU. Third, it is easy to collect Korean Sign Language training data. Finally, it is possible to port to wearable devices and mobile devices such as PC and HMD for augmented/mixed reality.
주제어
#수화(Sign Language) 한국수화언어 한국수화 한국수어 딥러닝 통역 한국수화언어 통역 시스템 수화 통역 객체 인식
학위논문 정보
저자
구민재
학위수여기관
한국방송통신대학교 대학원
학위구분
국내석사
학과
정보과학과
지도교수
이병래
발행연도
2019
총페이지
64
키워드
수화(Sign Language) 한국수화언어 한국수화 한국수어 딥러닝 통역 한국수화언어 통역 시스템 수화 통역 객체 인식
※ AI-Helper는 부적절한 답변을 할 수 있습니다.