[논문]시각장애인을 위한 스테레오 영상기반 보행환경정보안내 단말 플랫폼 개발

오봉진; 박상헌; 김주완

doi:10.14372/iemek.2018.13.2.73

시각장애인을 위한 스테레오 영상기반 보행환경정보안내 단말 플랫폼 개발
An Implementation of Stereo Image Based Sighted Guiding Device Platform for the Visually Impaired 원문보기

대한임베디드공학회논문지 = IEMEK Journal of embedded systems and applications, v.13 no.2, 2018년, pp.73 - 81

Abstract ▼ AI-Helper

This paper describes a device platform which the blind can wear to keep path and to get surrounding information during their independent walking. Compared to the existing technologies, the proposed device could be used indoors and outdoors, and maps need not be provided in advance. It is composed of a glasses type device equipped with image sensors, and a portable device that analyzes sensor data for sighted guiding. RGB images and depth images are extracted to generate a walking map based on feature points. It also can cope with the risk of collision with bollard, color cone by applying vertical obstacle detection technology based on floor detection.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 시각장애인이 직접 착용하여 독립보행을 지원하는 기술 중, 영상기반으로 보행지도를 생성하고 경로안내를 제공하는 기술의 가능성을 보여줬다. 휴대형 단말에서 방향지시와 경로유지에 대한 안내와 함께 랜드마크나 장애물에 대한 정보를 제공함으로써, 보행과정에 대한 전체적인 상황을 파악할 수 있어 편안함을 느꼈고, 위험을 미연에 방지할 수 있는 장점이 있음을 알 수 있었다.
보행 맵에 등록되지 않은 동적 장애물의 경우는 그림 11처럼 실시간으로 검출하여 경고한다. 본 연구에서는 ELAS 알고리즘을 이용하여 바닥면에서수직 장애물을 찾아내는 기술을 개발하였다.
본 연구에서는 기존 경로안내 기술과 달리 도우미와 함께 보행교육 과정에서 영상기반으로 장소를 인식하고, 영상 특징을 이용하여 보행지도 생성 및 랜드마크 등록이 가능한 보행안내 단말 기술을 소개한다. 제안 기술은 GPS 및 상용지도 기반의 기술과 달리 실내외 보행 모두를 지원하는 장점이 있다.
본장에서는 시각장애인이 독립보행을 위해 휴대하고 환경정보획득 및 보행안내에 사용되는 단말플랫폼에 대해 기술한다.
본절에서는 센서정보처리 보드에서 실시간 전송되는 센서정보를 분석하여 시각장애인에게 보행환경정보를 안내하는 단말 기술에 대해서 기술한다.

제안 방법

720p HD 화질의 대용량 영상정보 2채널과 IMU, GPS 센서 정보 처리를 위하여 XilinxX C7A100T칩을 적용한 FPGA 회로를 설계하고, FPD 링크 III 컨넥터를 2개를 통해 각 센서 정보를 센서정보처리 보드로 전달하며, 보드 크기를 줄이기 위하여 파워보드와 핀 컨넥터를 통한 적층구조로 제작하여 100mm*50mm 크기로 줄였다.
CPU 모듈은 영상 고속처리를 위해 256개의 GPU 코어가 포함된 Jetson TX2 [19] 모듈을 사용하였고, 휴대 가능한 단말로 제작하기 위하여 TX2 개발보드를 최적화 한 확장보드를 제작하였다. 그림 6은 TX2 모듈 탑재를 위해 개발된 확장보드의 회로도를 보여주고 있다.
0 그리고 mini-HDMI 포트를 하나씩 포함한다. GPS와 IMU센서는 스테레오영상만 제공하는 상용 안경을 연결하는 경우, 위치와 움직임 정보를 획득하기 위하여 추가하였다 (자세한 사양은 표 3 참조).
TX2 기반의 보행환경정보 안내 단말에서 맵 빌딩하는 것은 처리 속도가 충분하지 않아 한번에 완성하기는 어렵다. GTX 1050 GPU 탑재 노트북 정도에서 보행안내 단말에서 수집된 영상과 미완성된 맵을 가지고 편집할 수 있도록 도구를 제공한다.
전통적인 비주얼 SLAM은 특징점 매칭을 통해 카메라의 위치를 추적하고 이들 특징점들에 대한 3차원 맵을 생성한다. 그중 PTAM은 카메라의 위치를 추적하는 트래킹 부분과 특징맵을 생성하는 맵핑 부분을 분리하여 병렬화 하였다. 특히 특징 맵 생성시 모든 프레임이 아닌 특정 키 프레임만 정밀한 알고리즘을 사용하여 처리함으로써 기존의SLAM 성능을 획기적으로 향상시켰다 [7].
시각장애인이 도우미와 함께 일정 경로를 왕복하며 보행 교육을 받게 되고, 그 과정에서 지도가 생성된다. 본 과제에서는 ORB-SLAM2 라이브러리를 이용하고 GPS 정보를 키 프레임에 포함하며, 맵포인트에 컬러를 추가하고, 맵 저장 기능 등을 확장을 위해 클래스를 정의하였다.
실내 개찰구부터 승강기 탑승전까지 점자블록을 따라 이동하도록 하고, 보행안내 단말 지시에 따라 방향을 전환하게 하였다. 실내는 빛에 의한 상황의 변화가 거의 없어 특징점 추출 결과가 일정해 보행안내가 가능함을 알 수 있었다.
표 4는 경로안내 기능이 있는 기존 서비스들과 비교한 내용을 보여준다. 실내외 보행지원 여부, 자체 지도 생성 기능 및 랜드마크와 동적 장애물 검출에 대한 지원 여부를 비교하였다.
안내 시작과 경로를 잃은 경우 위치 재탐색(Relocalization)을 통해 전체 맵에서 현재 프레임과 같은 키 프레임을 검색하여 위치를 파악한다. 이후 움직임 모델 (Motion Model)을 이용하여 위치를 추정한 후 맵 정보를 이용하여 최적화 하는 방법으로 위치를 인식한다. 움직임 모델은 최근 2개의 프레임간의 위치 차이를 이용하여 이동 속도를 계산하고, 마지막 프레임의 카메라 자세 (좌우, 상하 각도) 정보와 함께 행렬연산을 통해 현재의 프레임 위치를 추정하고, 실제 쵤영된 현재 프레임과 비교하여 정확도를 검증한다.
그중 PTAM은 카메라의 위치를 추적하는 트래킹 부분과 특징맵을 생성하는 맵핑 부분을 분리하여 병렬화 하였다. 특히 특징 맵 생성시 모든 프레임이 아닌 특정 키 프레임만 정밀한 알고리즘을 사용하여 처리함으로써 기존의SLAM 성능을 획기적으로 향상시켰다 [7].

대상 데이터

본 연구의 결과물을 이용하여 대전 정부청사역 지하철 개찰구에서 3번 출구 승강기를 거쳐, 매그놀리아 건물 안내 데스크까지 약 400m 구간에 대해 시각장애인이 참여한 현장 시험을 그림 13과 같이 진행했다.

성능/효과

실내 개찰구부터 승강기 탑승전까지 점자블록을 따라 이동하도록 하고, 보행안내 단말 지시에 따라 방향을 전환하게 하였다. 실내는 빛에 의한 상황의 변화가 거의 없어 특징점 추출 결과가 일정해 보행안내가 가능함을 알 수 있었다. 승강기 탑승 후 외부보행의 경우 시간대에 따라 특징 추출 결과가 일치하지 않는 경우가 많았는데, 이는 빛의 양과 방향의 변화로 같은 특징점의 값도 일정하지 않기 때문이었다.
본 연구에서는 기존 경로안내 기술과 달리 도우미와 함께 보행교육 과정에서 영상기반으로 장소를 인식하고, 영상 특징을 이용하여 보행지도 생성 및 랜드마크 등록이 가능한 보행안내 단말 기술을 소개한다. 제안 기술은 GPS 및 상용지도 기반의 기술과 달리 실내외 보행 모두를 지원하는 장점이 있다.
특징점 기반 위치인식은 입력 영상이 블러되는 경우 매칭에 실패하는 경우가 많으므로, 임계치의프레임 수동안은 매칭 실패에도 위치 인식이 된 마지막 프레임을 유지하는 방법으로 실패율을 감소시킬 수 있었다. 그러나 모션모델로 위치인식에 최종적으로 실패한 경우는 빛의 변화나 사람이나 자동차등이 붐벼 특징점이 가려지는 것이 원인이 될 수있다.
휴대형 단말에서 방향지시와 경로유지에 대한 안내와 함께 랜드마크나 장애물에 대한 정보를 제공함으로써, 보행과정에 대한 전체적인 상황을 파악할 수 있어 편안함을 느꼈고, 위험을 미연에 방지할 수 있는 장점이 있음을 알 수 있었다. 특히 안경형태의 영상센서와 휴대형 가방에 넣을 수 있는 크기의 단말로 서비스가 제공되어 착용에 대한 거부감도 줄일 수 있었다.
본 논문은 시각장애인이 직접 착용하여 독립보행을 지원하는 기술 중, 영상기반으로 보행지도를 생성하고 경로안내를 제공하는 기술의 가능성을 보여줬다. 휴대형 단말에서 방향지시와 경로유지에 대한 안내와 함께 랜드마크나 장애물에 대한 정보를 제공함으로써, 보행과정에 대한 전체적인 상황을 파악할 수 있어 편안함을 느꼈고, 위험을 미연에 방지할 수 있는 장점이 있음을 알 수 있었다. 특히 안경형태의 영상센서와 휴대형 가방에 넣을 수 있는 크기의 단말로 서비스가 제공되어 착용에 대한 거부감도 줄일 수 있었다.

후속연구

향후 연구과제로는 시간별로 변하는 빛의 양에 강건한 특징정보 추출 기술을 개발하여 외부보행에서도 안정적으로 사용할 수 있도록 지원하는 것이 필요하다. 또한 장애물 검출의 정확도를 높이고 검출된 장애물에 대한 객체인식을 하나의 기술로 병합함으로써, 자원의 효율성 증대와 처리속도 개선을 통해 사람의 눈과 유사한 정도의 기능을 제공하는 것이 필요하다. 이를 위해서 소프트웨어 모듈로써 구현하기 보다는 FPGA 보드에서 장애물 검출과 특징 추출 등 계산량이 많은 기능을 처리함으로써 실시간성을 높일 수 있을 것으로 보인다.
또한 장애물 검출의 정확도를 높이고 검출된 장애물에 대한 객체인식을 하나의 기술로 병합함으로써, 자원의 효율성 증대와 처리속도 개선을 통해 사람의 눈과 유사한 정도의 기능을 제공하는 것이 필요하다. 이를 위해서 소프트웨어 모듈로써 구현하기 보다는 FPGA 보드에서 장애물 검출과 특징 추출 등 계산량이 많은 기능을 처리함으로써 실시간성을 높일 수 있을 것으로 보인다.
향후 연구과제로는 시간별로 변하는 빛의 양에 강건한 특징정보 추출 기술을 개발하여 외부보행에서도 안정적으로 사용할 수 있도록 지원하는 것이 필요하다. 또한 장애물 검출의 정확도를 높이고 검출된 장애물에 대한 객체인식을 하나의 기술로 병합함으로써, 자원의 효율성 증대와 처리속도 개선을 통해 사람의 눈과 유사한 정도의 기능을 제공하는 것이 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	보행정보획득 장치의 특징은 무엇인가?	보행정보획득 장치는 시각장애인이 안경처럼 착용할 수 있도록 제작되었고, 보행 중 주위 정보를 분석하기 위해 좌우 영상을 촬영하고, 위치정보와 움직임 정도 측정을 위한 GPS 및 가속센서 (INS) 정보를 실시간 제공한다. 본 연구에서 개발한 영상센서 보드의 회로도와 사진은 그림 2와 같다.
	인프라 설치형 보행정보 기술의 장점과 단점은 무엇인가?	보행하면서 주변정보를 인지하거나, 교차로 횡단보도의 횡단방향에 대한 보행 방향에 대한 등대역할도 한다. 인프라 설치형 기술은 해당 지역을 보행하는 시각장애인 모두가 사용할 수 있는 장점이 있어 활용도가 높은 장점과 초기투자 및 관리비용이 큰 문제가 있다.
	자가인식형 보행정보제공 기술은 어떻게 구분되는가?	자가인식형 보행정보제공 기술은 필요한 시각장애자가 직접 단말을 구매하고, 주변환경을 인지하며 보행하는 것으로 SeeingEye [1], BlindSquare [2]과 구글의 HearHere [3] 등 GPS, 가속센서 기반측위기술을 활용한 경로안내 기술과 MS의 SeeingAI [4]와 삼성의 릴루미노 [5] 같이 보행환경정보를 인지하는 능력을 증강시키는 것으로 구분될 수 있다. GPS나 가속센서 이용 제품은 공간적 제한과 오차의 누적으로 활용성이 떨어지며, 실제 사용하고 있는 제품은 거의 찾아 볼 수 없는 상태이다.

참고문헌 (19)

http://www.senderogroup.com/products/shopseeingeyegps.html
https://www.applevis.com/apps/ios/navigation/blindsquare
https://folio.openknowl.com/project/7950
https://www.microsoft.com/en-us/seeing-ai/
https://www.samsungrelumino.com/home
https://en.wikipedia.org/wiki/Simultaneous_localization_and_mapping
G. Klein, D. Murray, "Parallel Tracking and mapping for small AR workspaces," Proceedings of IEEE International Symposium on Mixed and Augmented Reality, pp 225-234, 2007.
R. Wang, M. Schworer, D. Cremers, "Stereo DSO: Large-scale Direct Sparse Visual Odometry With Stereo Cameras," Proceedings of International Conference on Computer Vision, 2017.
J. Engel T. Schops D. Cremers, "LSD-SLAM: Large-scale Direct Monocular SLAM," Proceedings of European Conference on Computer Vision, pp. 834-849, 2014.
R. Mur-Artal, J.D. Tardos, “ORB-SLAM2: an Open-source SLAM System for Monocular, Stereo and RGB-D Cameras,” IEEE Transactions on Robotics, Vol. 33, No. 5, pp. 1255-1262, 2016.
J. Long, E. Shelhamer, T. Darrell, "Fully Convolutional Networks for Semantic Segmentation," Proceedings of IEEE conference on computer vision and pattern recognition, pp. 3431-3440, 2015.
O. Ryssakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A. C. Berg, L. Fei-Fei., “ImageNet Large Scale Visual Recognition Challenge,” International Journal of Computer Vision, Vol. 115, No. 3, pp. 211-252, 2014.
S. Ren, K. He, R. Girshick, J. Sun, "Faster R-CNN: Towards Real-time Object Detection With Region Proposal Networks," Proceedings of Advances in neural information processing systems, pp. 91-99, 2015.
W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Fu, A. C. Berg, "SSD: Single Shot MultiBox Detector," Proceedings of European conference on computer vision, pp. 21-37, 2016.
J. Redmon, S. Divvala, R. Girshick, A. Farhadi, "You Only Look Once: Unified, Real-time Object Detection," Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 779-788, 2015.
J. Redmon and A. Farhadi, "Yolo9000: Better, Faster, Stronger," Proceedings of the IEEE Computer Vision Foundation, pp. 7263-7271, 2016.
M. Apte, S. Mangat, P. Sekhar, "YOLO Net on iOS," 2017.
https://en.wikipedia.org/wiki/VHDL
https://developer.nvidia.com/embedded/buy/jetson-tx2

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증