선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 본 연구에서는 카메라를 사용하여 시각장애인의 도로 횡단을 돕는 내장 보조기기를 제안한다. 본 연구에서 제안한 보조기기는 안경에 달린 초소형 카메라로 영상을 입력 받아, 신용카드 크기의 내장 GPU 보드에서 기계학습 알고리즘 처리 후, 외부 소리를 방해하지 않는 골 전도 이어폰을 통해서 음성 안내 신호를 사용자에게 전달하는 방식으로 설계되었다.
- 이번 실험에서 확인된 검출률과 정확도, 그리고 연산속도는 위에서 제시한 제약조건을 만족하는 값이다. 따라서 본 연구의 기기는 도로 횡 단 보행 보조기기로서의 사용 가능성을 확인하였다. 자세한 결과는 표 6, 표 7에 기술되어 있다.
- 본 연구에서 얻을 수 있는 의의는 시각장애인을 위한 도로 횡단 보행 보조기기의 사용 가능성 여부다. 시각장애인의 독립 보행을 방해하는 요소인 보행자 신호 인식에 대한 해결은, 시각 장애인들의 독립보행 가능성을 열어줄 것이다.
- 본 연구에서는 시각장애인의 도로 횡단을 보조하는 기기를 제안하였다. 본 연구의 보조기기는 안경에 달린 소형 카메라로 영상을 입력받아, 보행자 신호를 탐지 및 인식하고, 도로 횡단 알고리즘 결과에 따라, 사용자에게 음성안내 신호를 골전도 이어폰을 통해서 전달한다.
제안 방법
- 도로 횡단 알고리즘은 장안인 실험자 1명이 보조기기를 착용한 후 실험을 진행하였다. 실험은 총 15분 동안 진행되었으며, 실험 중 마주친 교차로의 수는 2개, 보행자 신호등의 수는 4개이다.
- 도로 횡단 알고리즘의 실험에서는 시뮬레이션 실험과 달리, 골 전도 이어폰으로 전달되는 음성 신호로 검출 여부를 확인하였다. 음성 신호는 약 1초마다 신호등 검출 결과를 골 전도 이어폰을 통해 출력한다.
- 음성 신호는 약 1초마다 신호등 검출 결과를 골 전도 이어폰을 통해 출력한다. 따라서 1초마다 출력되는 음성 신호를 기준으로, 음성 신호와 현재 신호등의 상태 비교를 통해, 정확 도(precision)와 검출률(recall)의 값을 계산하였다.
- 본 연구에서는 보행 보조기기의 하드웨어를 설계하였으며, YOLOv 2[13]를 사용하여 보행자 신호 (빨간 신호, 초록 신호) 및 건널목을 학습 및 성능검증을 실험하였다. 또한, 실제 도로 환경에서 보행 보조기기를 착용한 후, 기기의 성능을 검증하였다.
- 따라서 본 연구에서는 카메라를 사용하여 시각장애인의 도로 횡단을 돕는 내장 보조기기를 제안한다. 본 연구에서 제안한 보조기기는 안경에 달린 초소형 카메라로 영상을 입력 받아, 신용카드 크기의 내장 GPU 보드에서 기계학습 알고리즘 처리 후, 외부 소리를 방해하지 않는 골 전도 이어폰을 통해서 음성 안내 신호를 사용자에게 전달하는 방식으로 설계되었다.
- 본 연구에서는 보행 보조기기의 하드웨어를 설계하였으며, YOLOv 2[13]를 사용하여 보행자 신호 (빨간 신호, 초록 신호) 및 건널목을 학습 및 성능검증을 실험하였다. 또한, 실제 도로 환경에서 보행 보조기기를 착용한 후, 기기의 성능을 검증하였다.
- 본 연구에서는 시각장애인의 도로 횡단을 보조하는 기기를 제안하였다. 본 연구의 보조기기는 안경에 달린 소형 카메라로 영상을 입력받아, 보행자 신호를 탐지 및 인식하고, 도로 횡단 알고리즘 결과에 따라, 사용자에게 음성안내 신호를 골전도 이어폰을 통해서 전달한다. 실시간 구현을 위해, NVIDIA사의 Jet son TX2 보드와 YOLOv 2 알고리즘을 사용하였으며, 휴대성을 위해, 기기의 무게와 크기를 최소화하였다.
- 본 연구의 보조기기는 안경에 달린 소형 카메라로 영상을 입력받아, 보행자 신호를 탐지 및 인식하고, 도로 횡단 알고리즘 결과에 따라, 사용자에게 음성안내 신호를 골전도 이어폰을 통해서 전달한다. 실시간 구현을 위해, NVIDIA사의 Jet son TX2 보드와 YOLOv 2 알고리즘을 사용하였으며, 휴대성을 위해, 기기의 무게와 크기를 최소화하였다.
- 도로 횡단 알고리즘은 장안인 실험자 1명이 보조기기를 착용한 후 실험을 진행하였다. 실험은 총 15분 동안 진행되었으며, 실험 중 마주친 교차로의 수는 2개, 보행자 신호등의 수는 4개이다.
- 휴대성은 무게에 제약조건을 두었지만, 프로토타입이기 때 문에, 허용 범위를 넓게 잡았다. 안전성은 정확도 (precision)과 검출률 (recall), 그리고 실시간 구현을 위한 연산속도로 제약조건을 두었다. 안전성은 본 연구에서 가장 중요하게 생각하는 부문이며, 도로횡단 보조기기의 경우, 오검출이 미검출보다 위험성이 크기 때문에, 정확도를 검출률보다 높게 설정하였다.
- 영상의 총 Frame의 수는 1363프레임이며, 빨간 신호는 960프레임, 초록 신호는 403프레임이다. 영상 속에서 보행자 신호등의 판별 여부는 Frame마다 진행하였다.
- 따라서 청각을 방해하는 이어폰은 시각장애인에게 불편함과 위험성을 증가시킨다. 위와 같은 이유로 인해, 외부 소리를 방해하지 않는 골전도 이어폰을 통해서 결과를 전달하도록 설계하였다. 골전도 이어폰은 EHPP사의 IE-01 제품을 사용했으며, 안경테와 접촉하고 있는 뼈에 소리 진동을 전달하도록 설계하였다, 안경, 골전도 이어폰, 카메라의 총 무게는 80g이며, 이는 100g 미만으로 지속해서 착용해도 무리가 없는 무게이다.
대상 데이터
- 2시간을 사용할 수 있는 양이다. 무게는 141g, 크기는 64mm*54mm이다.
- 임베디드 프로세서 사례의 크기는 115mm*75mm, 무게는 167g으로 3D 프린터로 만들었다. 사례에는 골전도 이어폰을 연결할 수 있는 Audio 포트와, 카메라 및 USB 등을 연결할 수 있는 USB 포트, 그리고 배터리를 충전할 수 있는 배터리 포트가 있다.
- 또한, 휴대하기 위해서 기기는 가볍고, 작으며, 에너지 소비가 적어야만 한다. 위의 조건들을 만족하기 위해서 사용된 임베디드 프로세서는 NVIDIA사의 Jet son TX2 보드와 or bitty사의 Carrier 보드이다. 임베디드 프로세서의 무게는 116g이며, 크기는 87mm*50mm로 신용카드 크기와 비슷하다.
- 임베디드 프로세서 사례의 크기는 115mm*75mm, 무게는 167g으로 3D 프린터로 만들었다. 사례에는 골전도 이어폰을 연결할 수 있는 Audio 포트와, 카메라 및 USB 등을 연결할 수 있는 USB 포트, 그리고 배터리를 충전할 수 있는 배터리 포트가 있다.
- 전력 공급을 위해 11.1V와 3,000mAh의 성능을 지닌 리튬-이 온 배터리를 사용하였다. 이는 최대 힘으로 임베디드 프로세서를 가동했을 때, 1.
- 포항시 도심에서 낮에 촬영된 영상과 낮, 밤에 촬영된 사진으로 검증 실험을 진행하였다. 영상과 사진은 보행 보조기기의 설계와 같이, 사람의 눈높이에서 영상을 촬영하였다.
이론/모형
- 소형 카메라와 골전도 이어폰은 Florian Wahl 등이 제작한 wineglass의 디자인을 참고하여 기성품 안경의 다리 부분에 내장되도록 하였다[14]. 이는 기성품 안경테의 디자인을 살리면서 부착되는 부분의 무게를 최소한으로 하여 편안한 착용감을 확보하기 위함이다.
성능/효과
- (1) 번 상황의 경우, 보행자는 무조건 건널목에서 다음 신호를 기다려야 하므로, 멈추라는 신호를 전달하게 된다. (2) 번 상황처럼, 빨간 신호를 먼저 인식 후, 초록 신호를 인식하였을 때만, 건널목을 건널 수 있도록 음성 안내 신호를 준다. (3)번의 경우는 초록 신호가 먼저 인식되었을 경우이다.
- 두 신호 모두 미검출은 있었으나, 오검출은 없었다. 따라 서, 빨간 신호와 초록 신호는 각각 58.8%와 65.3%의 검출률 (recall) 값을 가졌으며, 100%의 정확도 (Precision) 값을 가졌다. 이는 안전성 제약조건인 정확도 95% 이상, 검출률 80% 이상의 값을 통과하지 못한 결과였다.
- 미검출이 발생한 이유는 그림 7과 같이 차가 신호등 앞을 지나갈 때, 신호등을 가리지 않았음에도 불구하고, 검출이 안 되는 오류가 발생했기 때문이다. 또한, 학습 데이터의 부족으로 인해, 밝기의 차이로 인한 미검출이 존재하였으며, Frame 단위의 검출로 인해, 미검출률이 높아졌다고 판단하였다.
- 차가 보행자 신호 앞을 지나갈 경우), 객체를 가리지 않았음에도 인식을 하지 못하는 문제를 지니고 있다. 세 번째로, 본 기기의 효용성을 높이기 위해서는 건널목 인식 알고리즘이 함께 사용되어야 한다. 향후 본 연구의 기기 상용화를 위해서, 위의 세 가지 문제는 후속 연구를 통해 해결할 것이다.
- 4%로 확인되었다. 시뮬레이션에서는 모든 프레임에 대해서 검출 여부를 측정하였기 때문에 검출률(recall)이 낮게 측정되었으나, 실제 도로 위에서 음성 신호를 기준으로 검출하였을 때, 초록 신호, 빨간 신호의 정확도는 각각 100%, 97.1%로 측정되었으며, 검출률은 87%, 94.4%로 측정되었다. 알고리즘 처리속도 또한, 약 15 FPS의 속도로 실시간 구현이 가능하다는 것을 확인할 수 있었다.
- 실험 결과, 빨간 신호에 대한 정확도(precision)는 97.1%, 검 출 밤(recall)은 94.4%로 확인되었으며, 초록 신호에 대해서는 100%의 정확도(precision)와 87%의 검출률(recall)을 확인하였다.
- 실험 결과, 빨간 신호의 경우, 960프레임 중 564프레임을 인식했다. 초록 신호의 경우, 403프레임 중 263프레임을 인식하였다.
- 안전성은 정확도 (precision)과 검출률 (recall), 그리고 실시간 구현을 위한 연산속도로 제약조건을 두었다. 안전성은 본 연구에서 가장 중요하게 생각하는 부문이며, 도로횡단 보조기기의 경우, 오검출이 미검출보다 위험성이 크기 때문에, 정확도를 검출률보다 높게 설정하였다.
- 알고리즘 처리속도 또한 15 FPS로 확인되었다. 이번 실험에서 확인된 검출률과 정확도, 그리고 연산속도는 위에서 제시한 제약조건을 만족하는 값이다.
- 4%로 측정되었다. 알고리즘 처리속도 또한, 약 15 FPS의 속도로 실시간 구현이 가능하다는 것을 확인할 수 있었다.
- 제작된 프로토타입을 사용하여, 영상과 실제 도로에서 실험을 진행한 결과, 시뮬레이션 상에서는 초록 신호와 빨간 신호의 정확도(precision)는 100%, 검출률(recall)은 각각 65.6%와 58.4%로 확인되었다. 시뮬레이션에서는 모든 프레임에 대해서 검출 여부를 측정하였기 때문에 검출률(recall)이 낮게 측정되었으나, 실제 도로 위에서 음성 신호를 기준으로 검출하였을 때, 초록 신호, 빨간 신호의 정확도는 각각 100%, 97.
후속연구
- 시각장애인의 독립 보행을 방해하는 요소인 보행자 신호 인식에 대한 해결은, 시각 장애인들의 독립보행 가능성을 열어줄 것이다. 또한, 독립보행의 제한으로 인해 사회활동의 어려움을 겪고 있는 부분을 해결함으로써 더 나은 삶의 질을 제공할 수 있다고 사료된다.
- 세 번째로, 본 기기의 효용성을 높이기 위해서는 건널목 인식 알고리즘이 함께 사용되어야 한다. 향후 본 연구의 기기 상용화를 위해서, 위의 세 가지 문제는 후속 연구를 통해 해결할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.