[논문]시각장애인을 위한 점자 교육 시스템

김학진; 문준혁; 송민욱; 이세민; 공기석

doi:10.7236/jiibc.2020.20.6.41

시각장애인을 위한 점자 교육 시스템
OnDot: Braille Training System for the Blind 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.20 no.6, 2020년, pp.41 - 50

김학진 (한국산업기술대학교 컴퓨터공학부) , 문준혁 (한국산업기술대학교 컴퓨터공학부) , 송민욱 (한국산업기술대학교 컴퓨터공학부) , 이세민 (한국산업기술대학교 컴퓨터공학부) , 공기석 (한국산업기술대학교 컴퓨터공학부)

초록
AI-Helper

본 논문에서는 기존의 점자 학습 제품의 단점들을 보완한 점자 교육 시스템을 다룬다. 시각장애인 전용 어플리케이션은 사용자 편의성을 위해 터치 제스처 및 음성 안내를 통하여 전체 기능을 수행할 수 있도록 구성한다. 점자키트는 아두이노와 3D 프린팅을 통해 교육 목적에 맞게 제작한다. 시스템은 다음과 같은 기능들을 지원한다. 첫 째, 초성·종성·모음·약어 등 기초적인 점자의 학습. 둘 째, 단계별 퀴즈를 풀어 학습한 점자를 확인하는 기능. 셋 째, 모르는 점자가 있을 때 번역하는 기능이다. 실험을 통한 터치 제스처의 인식률과 점자 표현의 정확도를 확인하였고 번역의 경우 의도한대로 번역이 되는 것을 확인하였다. 이 시스템을 통해 시각장애인이 효율적으로 점자를 학습할 수 있다.

Abstract ▼ AI-Helper

This paper deals with the Braille Education System which complements the shortcomings of the existing Braille Learning Products. An application dedicated to the blind is configured to perform full functions through touch gestures and voice guidance for user convenience. Braille kit is produced for educational purposes through Arduino and 3D printing. The system supports the following functions. First, the learning of the most basic braille, such as initial consonants, final consonant, vowels, abbreviations, etc. Second, the ability to check learned braille by solving step quizzes. Third, translation of braille. Through the experiment, the recognition rate of touch gestures and the accuracy of braille expression were confirmed, and in case of translation, the translation was done as intended. The system allows blind people to learn braille efficiently.

주제어

표/그림 (23)

표 표 1. 관련 제품들 Table 1. Related Products
표 표 2. HW 개발 환경 Table 2. Hardware development environment
표 표 3. SW 개발 환경 Table 3. Software development environment
그림 그림 1. 시스템 구성도 Fig. 1. System configuration diagram
그림 그림 2. 점자키트의 3D 모델링 Fig. 2. 3D modeling of braille kit
그림 그림 3. 점자캡의 구현모습과 모델링 Fig. 3. Braille Caps and Modeling
그림 그림 4. ㄱ자 경첩 지지대 Fig. 4. L-shaped hinge support
그림 그림 5. 시스템의 실제 구현 모습-1 Fig. 5. Actual implementation of the system
그림 그림 6. 시스템의 실제 구현 모습-2 Fig. 6. Actual implementation of the system-2
그림 그림 7. 소프트웨어 구성도 Fig. 7. Software configuration diagram
그림 그림 8. 터치 제스처의 순서도 Fig. 8. Flowchart of Touch Gestures
그림 그림 9. 특수 터치 제스처의 순서도 - 1 Fig. 9. Flowchart of Special Touch Gestures – 1
그림 그림 10. 특수 터치 제스처의 순서도 - 2 Fig. 10. Flowchart of Special Touch Gestures – 2
그림 그림 11. 터치 제스처의 기능 Fig. 11. Function of Touch Gestures
그림 그림 12. 교육 메뉴 화면 및 점자키트 표시부 Fig. 12. Training Menu Screen and Braille Kit Display
그림 그림 13. 퀴즈 메뉴 점자 입력 화면 Fig. 13. Quiz Menu Braille Input Screen
그림 그림 14. 번역 알고리즘 순서도 - 1 Fig. 14. Translation Algorithm Flowchart - 1
그림 그림 15. 번역 알고리즘 순서도 - 2 Fig. 15. Translation Algorithm Flowchart - 2
그림 그림 16. 번역 알고리즘 순서도 - 3 Fig. 16. Translation Algorithm Flowchart – 3
그림 그림 17. 번역 알고리즘 순서도 - 4 Fig. 17. Translation Algorithm Flowchart – 4
표 표 4. 손가락의 제스처 성공 횟수 Table 4. Number of successful finger gestures
표 표 5. 점자 번역 결과 Table 5. Braille Translation Results
표 표 6. 점자키트 동작 성공 횟수 Table 6. Number of successful Braille Kit actions

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 점자를 학습하고자 하는 시각장애인이 전용 어플리케이션을 설치하고 아두이노 및 3D프린팅으로 구성된 점자키트를 통해 자가 학습 환경을 조성하여 점자를 학습할 수 있는 시스템의 기능을 다룬다. 또한 어플리케이션에서 도출되는 많이 틀린 점자나 많이 번역한 점자데이터를 웹 페이지에서 확인할 수 있다.

가설 설정

터치 제스처로 모든 기능을 실행할 수 있음에 따라 메뉴 이동과 같은 기본적인 제스처를 사용하여 정상적인 터치 입력과 잘못된 터치 입력을 구분하는 실험을 다음과 같이 진행하였다. 실제 사용하는 상황을 가정하여 한 손가락은 엄지손가락을 이용한 경우와 검지손가락을 이용한 경우로 나눠서 실험한다. 두 손가락은 검지와 중지만 이용하여 실험한다.

제안 방법

OnDot의 점자 키트는 아두이노와 3D 모델링을 기반으로 제작하였으며 어플리케이션은 시각장애인이 사용하는 만큼 디자인을 단순하게 만들었고, 어플리케이션 내 모든 기능은 터치 제스처와 음성 안내를 통해 사용할 수 있도록 개발하였다. 어플리케이션의 메뉴로는 교육, 퀴즈, 번역이 있다.
이에 본 논문에서는 시각장애인도 혼서 스마트폰과 점자키트를 이용하여 점자의 기초가 되는 자음, 모음부터 약어까지 학습할 수 있고 이를 퀴즈로 풀어 효율적으로 점자를 학습할 수 있게 하였다.
두 손가락은 검지와 중지만 이용하여 실험한다. 총 20회의 터치를 보편적으로 스마트폰 사용자가 슬라이드를 하는 방식으로 4명이 각각 5회씩 진행하였다. 실험결과, 손가락을 올려둔 시작점의 X, Y축의 좌표와 손가락을 뗀 X, Y축의 좌표의 차가 스마트폰 화면 비율의 30% 이하일 경우 실패하는 경우가 생겼고, 30% 이상일 경우 의도하고자 한 터치 제스처의 입력이 정상적으로 실행됨을 알 수 있었다.
아래의 그림 8은 터치 제스처의 순서도이다. 터치 제스처는 주된 사용자가 시각장애인임을 감안하여 맞춤형 으로 구현하였다. 어플리케이션의 모든 동작을 한 손가락 및 두 손가락의 터치 제스처를 통해 다양한 기능을 수행할 수 있다.

대상 데이터

그림 12와 13은 OnDot의 어플리케이션 화면이다. 데이터베이스에 있는 점자 데이터를 웹서버인 Aache Tomcat을 통해 XML 형식으로 데이터를 수신한다. 점자 데이터는 숫자 ‘1’과 ‘2’로 이루어져 있고 ‘2’는 점자의 돌출부를 의미한다.
아래 그림 7은 소프트웨어 구성도이다. 소프트웨어는 어플리케이션과 웹페이지로 구분되며 어플리케이션 내 터치 제스처와 어플리케이션에서 나타낼 문자를 음성으로 바꿔주는 TTS(Text-To-Speech) 기능을 사용하는 교육 모듈, 퀴즈 모듈, 점자번역 모듈로 구성된다.

이론/모형

점자 데이터 처리 및 저장 역할을 하는 웹서버와 데이터베이스는 AWS Server로 구축하였다. 서버와 어플리케이션간의 데이터의 송수신은 XML 방식으로 파싱하여 송수신하고 점자키트와 어플리케이션은 블루투스 통신방식을 이용한다.

성능/효과

OnDot의 점자키트는 많은 수의 서보모터를 제어하기 때문에 점자키트의 크기가 필연적으로 커질 수밖에 없다. 또한 220V 교류 전원의 필요로 휴대성을 확보하지 못하였다. 하지만 점자키트를 소형화 하고 휴대성을 확보하면 어디서든지 점자교육을 받을 수 있을 것이라 판단된다.
실험결과에서도 알 수 있듯이 제스처 드래그의 비율을 높여 터치 인식률을 높였고, 번역 알고리즘을 통해 의도한 대로 번역이 되는 것을 확인했다. 또한, 점자키트에 전류가 적절하게 공급되는지 확인하기 위해 부하전류를 받는 서보모터의 개수를 늘려가며 점자표현이 정확하게 되는 것을 확인하여 점자 학습에 어려움이 없다는 것을 알 수 있다.
총 20회의 터치를 보편적으로 스마트폰 사용자가 슬라이드를 하는 방식으로 4명이 각각 5회씩 진행하였다. 실험결과, 손가락을 올려둔 시작점의 X, Y축의 좌표와 손가락을 뗀 X, Y축의 좌표의 차가 스마트폰 화면 비율의 30% 이하일 경우 실패하는 경우가 생겼고, 30% 이상일 경우 의도하고자 한 터치 제스처의 입력이 정상적으로 실행됨을 알 수 있었다. 표 4는 한 손가락과 두 손가락의 터치 제스처의 판정범위를 실험하여 올바른 터치 입력이 적용되는지 나타낸 표이다.
실험결과에서도 알 수 있듯이 제스처 드래그의 비율을 높여 터치 인식률을 높였고, 번역 알고리즘을 통해 의도한 대로 번역이 되는 것을 확인했다. 또한, 점자키트에 전류가 적절하게 공급되는지 확인하기 위해 부하전류를 받는 서보모터의 개수를 늘려가며 점자표현이 정확하게 되는 것을 확인하여 점자 학습에 어려움이 없다는 것을 알 수 있다.

참고문헌 (26)

Sung-Hee Kim, "The Survey on the Status of Persons with Disabilities in 2017", Health and Welfare Ministry·Korea Institute for Health and Social Affairs, Seoul, pp.156-162. 2017.
Kim Young-il, National Institute of Korean Language, Braille Education, New Korean Language Life Vol. 27, No. 2, pp. 105-117, 2017.
TAPTILO, https://www.taptilo.com/kor
Ch-Yoon, Spring - Braille learning for the blind, https://github.com/ch-Yoon/refectoring_braille
Newstomato, "Vibrating point, blind people can use their smartphones.", 2019 July 8.
Duck-Sang Wang, Ju-Young Ahn, Sun Choi, Beong-ku An, "Development of Software Mobile Controller Contents using Bluetooth Module", "The Journal of The Institute of Internet, Broadcasting and Communication", Vol.9, No.5, pp. 39-44, 2009.
Chung-Yeol Lee, Beong-Ku An, Hong-Yeong Ahn, "Android based Local SNS", "The Journal of The Institute of Internet, Broadcasting and Communication", Vol.10, No.6, pp. 93-98, 2010.
Sun-Young Lee, Ji-Su Park, Gang-Hyeon Kim, Jin-Gon Shon, "A Mobile Braille Input Method for Reducing Hand Fatigue" Journal of Korean Institute of Information Technology. Vol.16, No.2, pp. 119-124, 2018.2. DOI : http://dx.doi.org/10.14801/jkiit.2018.16.2.119

상세보기
Eun-Mo Yeon, Hyo-Sik Choi, "Relationship between Digital Informatization Capability, Digital Informatization Accessability and Life Satisfaction of Disabled People: Multigroup Analysis of Perceived Social Support Network", The Journal of the Korea Academia-Industrial cooperation Society, Vol.20, No.12, pp.636-644, 2019. DOI : https://doi.org/10.5762/KAIS.2019.20.12.636

원문보기 상세보기
National Institute of Korean Language. 2017 Revised Korean Braille Regulations, pp.5-95, 2018.
PWM, https://www.arduino.cc/en/tutorial/PWM
Arduino UNO R3, https://store.arduino.cc/usa/ard uino-uno-rev3
PCA9865, https://cdn-shop.adafruit.com/datasheets/PCA9685.pdf
HC-06, https://www.olimex.com/Products/Components/RF/B LUETOOTH-SERIAL-HC-06/resources/hc06.pdf
SG90, http://www.ee.ic.ac.uk/pcheung/teaching/DE1_EE/sto res/sg90_datasheet.pdf
Amazon EC2 Linux, https://aws.amazon.com/ko/amazon-linux-ami/
Apache Tomcat, http://tomcat.apache.org/
Amazon RDS for Mysql, https://aws.amazon.com/ko/rds/mysql/
VScode, https://code.visualstudio.com/
Eclipse, https://www.eclipse.org/
Arduino IDE, https://www.arduino.cc/en/main/software
UG NX10.0, https://www.plm.automation.siemens.com/global/ko/ products/nx/
Adafruit_PWMServoDriver, https://github.com/adafruit/Adafruit-PWM-Servo-Driver-Library
SMPS, https://www.electronics-notes.com/articles/analogue_circuits/power-supply-electronics/switch-mode-smps-basics-primer.php
KAKAO, Kakao Voice Recognition API SDK Technical Document, https://developers.kakao.com/docs/latest/ko/voice/common
Stall Current, https://dccwiki.com/Stall_Current

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증