선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 남자 화장실, 비상구, 지하철, 장애인, 계단 표지판 영상에 표지판이 없는 배경 영상을 더하여 총 6개 클래스의 영상들로 구성되어 있다. 또한 앞서 언급했듯이 관련 연구가 많이 없었기 때문에 표지판의 종류와 활용도만 다를 뿐 유사한 연구 분야인 교통표지판 검출 및 인식 분야를 바탕으로 연구를 수행하였다.
- 본 논문에서는 딥러닝 알고리즘을 이용하여 시각장애인을 위한 표지판을 검출, 인식하는 시스템을 제안한다.
- 본 논문에서는 시각장애인의 보행을 보조하기 위해 영상에서 시각장애인에게 필요한 주요 시설의 위치를 나타내는 표지판을 검출 및 인식하는 시스템을 제안하였다. 제안된 방법에서는 미검출률과 양성 오류 개수를 감소시키기 위해 시스템을 표지판 검출 단계와 표지판 인식 단계로 나누어서 설계하였다.
- 오늘날 영상인식 기술이 지속적으로 발전하면서 시각장애인들의 보행을 보조하는 기술이 연구되고 있다. 시각장애인들의 불편한 눈을 대신하기 위해 카메라로 받아들인 영상을 영상인식 기술로 처리하여 시각장애인들에게 도움이 될 수 있는 정보를 제공하는 것이다. 이러한 정보 제공의 대표적인 예로 장애물 검출을 통한 장애물 회피, 신호등 검출 및 인식을 통한 횡단보도 횡단, 표지판 검출 및 인식을 통한 주요 시설 위치 제공 등이 있다.
제안 방법
- 정확도 향상을 위해 이러한 강한 분류기를 연달아 4개를 학습하고 실험할 때에는 4개의 강한 분류기에서 나온 결과의 평균을 사용하는 방식을 썼다. 그리고 연산 속도 향상을 위해 4개의 강한 분류기 중에 하나라도 실험 영상을 부정 표본으로 판단할 경우 최종적으로 부정 표본이라고 확정하고 그 이후의 연산은 하지 않는 방식을 적용하였다. 강한 분류기를 학습할 때는 같은 조건에서 학습하지 않고 강한 분류기를 하나 학습할 때마다 약한 분류기의 개수를 늘리고 부정 표 본, 강한 부정 표본(hard negative sample)을 추가하는 등의 변화를 주었다.
- 그림 7은 네 가지 실험에 대해서 영상 1장당 양성 오류 개수 대 미검출률 그래프를 로그 스케일로 나타낸 것이다. 네 가지 실험은 각각 표지판 검출만 수행한 실험, 표지판 검출 후에 기울기 히스토그램과 서포트 벡터 머신(HOG + SVM)을 이용한 인식을 수행한 실험, 표지판 검출 후에 합성곱 신경망을 이용한 인식을 수행한 실험, R-CNN(Regions with CNN features)[11] 알고리즘으로 검출 및 인식을 수행한 실험이다. R-CNN 알고리즘은 영상에서 물체가 있을 법한 영역들을 영역 추출 기법을 이용하여 추출한 뒤, 추출한 영역들에 대해서만 합성곱 신경망을 적용하여 해당 영역이 어떤 물체를 나타내는지 분류하는 알고리즘이다.
- 자체제작한 표지판 데이터베이스의 경우 표지판의 크기가 매우 큰 것부터 매우 작은 것까지 다양한데 딥러닝 검출 알고리즘의 경우 검출 가능한 물체의 크기에 제약이 있으며, 물체의 위치를 정확히 찾기 위해서는 복잡한 구조의 신경망을 사용해야 하는데 이 경우 알고리즘 동작 속도가 느려지게 된다. 따라서 표지판 검출 부분에는 비교적 가볍고 성능이 좋은 아다부스트 분류기를 사용하였고 높은 성능을 보이는 인식 부분에 딥러닝 알고리즘을 적용하였다.
- 이 특징을 사용하여 뒷단에서 깊이가 2인 포화 이진 트리를 학습하게 된다. 루트 노드(root node)와 그 하위 노드에서 사용하는 분류 기준은 앞서 구한 특징벡터에서 무작위 위치의 값을 선택하여 긍정 표본(positive sample)과 부정 표본(negative sample)을 가장 잘 나누는 임계값을 기준으로 하였다. 모델의 크기는 64 × 64, 128 × 128의 두 개의 크기를 사용하였다.
- 마지막으로 영상의 크기를 48 × 48로 조절하여 정사각형이 되게 하였다.
- 맥스 풀링 레이어의 커널 크기는 일반적으로 영상의 가로, 세로 크기가 100 픽셀 이하일 때 2 × 2 크기를 많이 사용하며 그 이상을 넘을 때 더 큰 커널 크기를 사용하기 때문에 본 신경망 구조에서는 2 × 2 크기를 사용하였다.
- 그림 1은 본 논문에서 제안된 시스템의 흐름도이다. 먼저 표지판 검출 부분에서는 입력 영상에서 응집 채널 특징을 추출하고 트리를 이용한 아다부스트 분류기를 적용하여 표지판 관심영역(Region Of Interest)을 찾은뒤 비최대치 억제 기법(non-maximum suppression)을 적용하여 중복되는 영역들을 제거한다. 그 후, 표지판 인식 부분에서는 검출 부분에서 찾은 관심영역들에 딥러닝 알고리즘 중에 하나인 합성곱 신경망을 적용하여 각각의 관심영역이 어떤 표지판인지를 인식한 결과를 얻게 되고 이 결과들을 종합하여 최종 결과 영상을 출력하게 된다.
- 이런 식으로 약한 분류기를 학습하는 것을 반복하고 원하는 개수의 약한 분류기가 학습되면 이 약한 분류기들에 학습하면서 조정한 가중치를 적용해 합쳐서 강한 분류기를 만들게 된다[8] . 정확도 향상을 위해 이러한 강한 분류기를 연달아 4개를 학습하고 실험할 때에는 4개의 강한 분류기에서 나온 결과의 평균을 사용하는 방식을 썼다. 그리고 연산 속도 향상을 위해 4개의 강한 분류기 중에 하나라도 실험 영상을 부정 표본으로 판단할 경우 최종적으로 부정 표본이라고 확정하고 그 이후의 연산은 하지 않는 방식을 적용하였다.
- 본 논문에서는 시각장애인의 보행을 보조하기 위해 영상에서 시각장애인에게 필요한 주요 시설의 위치를 나타내는 표지판을 검출 및 인식하는 시스템을 제안하였다. 제안된 방법에서는 미검출률과 양성 오류 개수를 감소시키기 위해 시스템을 표지판 검출 단계와 표지판 인식 단계로 나누어서 설계하였다. 표지판 검출 단계에서는 미검출된 표지판의 개수가 최대한 감소하도록 아다부스트 분류기를 설계하였고 표지판 인식 단계에서는 딥러닝 알고리즘 중 하나인 합성곱 신경망을 사용하여 인식 정확도를 높이고 양성 오류를 제거하고자 하였다.
- 제안된 방법에서는 미검출률과 양성 오류 개수를 감소시키기 위해 시스템을 표지판 검출 단계와 표지판 인식 단계로 나누어서 설계하였다. 표지판 검출 단계에서는 미검출된 표지판의 개수가 최대한 감소하도록 아다부스트 분류기를 설계하였고 표지판 인식 단계에서는 딥러닝 알고리즘 중 하나인 합성곱 신경망을 사용하여 인식 정확도를 높이고 양성 오류를 제거하고자 하였다.
- 표지판 인식기를 학습하기 위해 학습용 데이터베이스에 영상 크로핑을 수행하였다. 영상 크로핑을 하는 목적은 학습 시 정보가 담겨있지 않은 불필요한 영역을 제거하여 인식률을 향상시키기 위함이다.
대상 데이터
- 하지만 공개된 시각장애인을 위한 표지판 데이터베이스가 없었기 때문에 자체제작한 표지판 데이터베이스를 사용하였다. 남자 화장실, 비상구, 지하철, 장애인, 계단 표지판 영상에 표지판이 없는 배경 영상을 더하여 총 6개 클래스의 영상들로 구성되어 있다. 또한 앞서 언급했듯이 관련 연구가 많이 없었기 때문에 표지판의 종류와 활용도만 다를 뿐 유사한 연구 분야인 교통표지판 검출 및 인식 분야를 바탕으로 연구를 수행하였다.
- 다양한 장소, 조명, 위치에서 촬영한 1280 × 960 크기의 영상과 인터넷 웹사이트에서 취득한 영상을 사용하였는데, 학습용 영상은 촬영한 영상과 취득한 영상에서 영상 크로핑하여 사용하였고 실험용 영상은 촬영한 영상을 그대로 사용하였다.
- 하지만 모델의 개수가 너무 많을 경우에는 학습하는데 시간이 오래 걸린다는 단점이 있다. 따라서 절충점을 찾아 두 개의 모델 크기를 사용하였다.
- 모델의 크기는 64 × 64, 128 × 128의 두 개의 크기를 사용하였다.
- 본 논문에서 사용한 표지판 데이터베이스는 총 9,722장으로, 학습용 영상 총 8,561장, 실험용 영상 총 1,161장으로 구성되어 있고 총 클래스 수는 6개이다. 다양한 장소, 조명, 위치에서 촬영한 1280 × 960 크기의 영상과 인터넷 웹사이트에서 취득한 영상을 사용하였는데, 학습용 영상은 촬영한 영상과 취득한 영상에서 영상 크로핑하여 사용하였고 실험용 영상은 촬영한 영상을 그대로 사용하였다.
- 실험에 사용한 하드웨어는 프로세서 i7-4770K (3.5GHz), 메모리 8G RAM (DDR3), 그래픽 처리 장치 GTX 650이고 개발 환경은 운영체제 Window 10 pro 64bit, 프로그래밍 도구 Visual Studio 2013이며 사용한 딥러닝 라이브러리는 Caffe[10]이다.
- 영상 크로핑을 하는 목적은 학습 시 정보가 담겨있지 않은 불필요한 영역을 제거하여 인식률을 향상시키기 위함이다. 원본 영상은 표지판 영상이고, 여기에서 인식에 영향을 주는 주요한 부분을 잘라내어 크로핑된 영상을 얻는다. 마지막으로 영상의 크기를 48 × 48로 조절하여 정사각형이 되게 하였다.
- 먼저 그림 2의 예시와 같이 입력 영상에서 채널 영상들을 계산한다. 이 때 사용되는 채널은 방향별 윤곽선(edge) 채널 6개, 윤곽선 채널 1개, LUV 색상채널 3개이다. 각 채널 영상을 구한 뒤 영상을 4 × 4 크기의 사각형 블록들로 나눈 후 각 블록 내의 픽셀 값들을 모두 더해 특징 맵(feature map)을 생성한다.
- 마지막으로 영상의 크기를 48 × 48로 조절하여 정사각형이 되게 하였다. 이렇게 크기가 조절 된 영상을 학습용 및 실험용영상으로 사용하였다. 그림 4는 영상 크로핑의 예를 보여준다.
- 그 중에서 시각장애인을 위한 표지판 검출 및 인식 분야는 아직 개발 수준이 높지 않기 때문에 꾸준한 연구를 필요로 하는 분야이다. 하지만 공개된 시각장애인을 위한 표지판 데이터베이스가 없었기 때문에 자체제작한 표지판 데이터베이스를 사용하였다. 남자 화장실, 비상구, 지하철, 장애인, 계단 표지판 영상에 표지판이 없는 배경 영상을 더하여 총 6개 클래스의 영상들로 구성되어 있다.
- 다양한 장소, 조명, 위치에서 촬영한 1280 × 960 크기의 영상과 인터넷 웹사이트에서 취득한 영상을 사용하였는데, 학습용 영상은 촬영한 영상과 취득한 영상에서 영상 크로핑하여 사용하였고 실험용 영상은 촬영한 영상을 그대로 사용하였다. 학습용 영상에서 각 클래스별 데이터의 개수는 남자 화장실 1581개, 비상구 2384개, 지하철 993 개, 장애인 1176개, 계단 1326개, 배경 1101개이고, 실험용 영상 1,161장은 다양한 클래스의 표지판이 섞여 있으며 실험용 영상에 존재하는 모든 긍정 표본의 수는 1,318개이다. 표지판 데이터베이스의 6개 클래스에 대한 예시 영상은 그림 5와 같다.
데이터처리
- 제안된 방법의 성능 평가를 위해 식 (1)과 식 (2)를 사용하여 영상 1장당 양성 오류 개수(False Positives Per Image)와 미검출률(miss rate)을 측정하였다. 영상 1장당 양성 오류 개수는 검출기가 얼마나 표지판이 아닌 물체를 표지판으로 판단하는지를 나타내는 척도이며 미검출률은 검출기가 얼마나 실제 표지판인 물체를 표지판이 아니라고 판단하는지를 나타내는 척도이다.
이론/모형
- 배경 영상을 하나의 클래스로 설정한 이유는 앞서 표지판 검출 단계에서 표지판과 유사한 배경으로 인해 발생한 양성 오류의 경우 높은 성능을 보여주는 합성곱 신경망의 인식기를 사용하면 배경 클래스로 구분되기 때문에 제거 가능성이 높아지기 때문이다. 그리고 레이어 7의 풀리 커넥티드 레이어를 학습할 때는 드롭아웃(dropout)이라는 정규화 기법을 사용하였다. 학습시 십만 번 이상의 시행 (iteration)을 반복하게 되는데 드롭아웃 정규화를 사용할 경우 각 시행마다 레이어 내의 모든 뉴런을 사용하여 학습하는 것이 아니라 일부 뉴런을 임의로 생략한 채로 학습을 하게 된다.
성능/효과
- 먼저 표지판 검출 부분에서는 입력 영상에서 응집 채널 특징을 추출하고 트리를 이용한 아다부스트 분류기를 적용하여 표지판 관심영역(Region Of Interest)을 찾은뒤 비최대치 억제 기법(non-maximum suppression)을 적용하여 중복되는 영역들을 제거한다. 그 후, 표지판 인식 부분에서는 검출 부분에서 찾은 관심영역들에 딥러닝 알고리즘 중에 하나인 합성곱 신경망을 적용하여 각각의 관심영역이 어떤 표지판인지를 인식한 결과를 얻게 되고 이 결과들을 종합하여 최종 결과 영상을 출력하게 된다.
- 실험 결과, 표지판 검출 단계에서 발생한 양성 오류들이 표지판 인식 단계를 통해 한 번 더 검증을 받게되고 이를 통해 제거가 가능해지면서 양성 오류 개수의 감소로 인한 성능 향상을 확인할 수 있었다. 그리고 복잡한 구조의 합성곱 신경망을 표지판 인식 알고리즘으로 사용함으로써 표지판의 특징을 잘 잡아낼 수 있었고, 간단한 구조의 인식 알고리즘을 사용했을 때보다 성능이 더 향상된 것을 확인할 수 있었다. 또한, 슬라이딩 윈도우 기법을 적용해 모든 영역을 훑으며 표지판을 검출함으로써 대략적인 영역 추출 기법보다 표지판의 위치를 더 잘 찾아내는 것을 확인할 수 있었다.
- 그리고 복잡한 구조의 합성곱 신경망을 표지판 인식 알고리즘으로 사용함으로써 표지판의 특징을 잘 잡아낼 수 있었고, 간단한 구조의 인식 알고리즘을 사용했을 때보다 성능이 더 향상된 것을 확인할 수 있었다. 또한, 슬라이딩 윈도우 기법을 적용해 모든 영역을 훑으며 표지판을 검출함으로써 대략적인 영역 추출 기법보다 표지판의 위치를 더 잘 찾아내는 것을 확인할 수 있었다.
- 실험 결과, 표지판 검출 단계에서 발생한 양성 오류들이 표지판 인식 단계를 통해 한 번 더 검증을 받게되고 이를 통해 제거가 가능해지면서 양성 오류 개수의 감소로 인한 성능 향상을 확인할 수 있었다. 그리고 복잡한 구조의 합성곱 신경망을 표지판 인식 알고리즘으로 사용함으로써 표지판의 특징을 잘 잡아낼 수 있었고, 간단한 구조의 인식 알고리즘을 사용했을 때보다 성능이 더 향상된 것을 확인할 수 있었다.
- 실험 결과를 보면 알 수 있듯이 검출과 인식을 동시에 했을 때 검출만 했을 때보다 더 성능이 향상되었다. 검출만 했을 때보다 더 성능이 향상된 이유는 검출 단계에 배경에서 검출된 양성 오류들이 인식 단계에서 배경 클래스로 인식되거나 배경 클래스가 아니더라도 낮은 신뢰도 값을 출력하면 제거될 수 있기 때문이다.
- 그리고 미검출된 긍정 표본의 경우는 대부분 표지판 검출 단계에서 검출하지 못한 경우가 많았으며 크게 세 가지 형태로 분류할 수 있었다. 첫 번째로 학습 데이터에 표본이 없는 새로운 실험 데이터 표본의 경우 제대로 검출이 되지 않았고, 두 번째로 조명이 너무 어둡거나 밝은 경우 색상 차이가 커서 제대로 검출되지 않았으며, 세 번째로 비최대치 억제 기법을 거치면서 배경이 복잡한 영상의 배경에 잡힌 강한 긍정 오류에 의해 오히려 근처의 긍정 표본이 제거되는 경우가 있었다.
- 표지판 검출 알고리즘에서 특징으로 윤곽선 정보와 색상 정보를 사용하였기 때문에 표지판 검출 단계에서 윤곽선 정보와 색상 정보과 유사할 경우 양성 오류가 많이 발생하였다. 클래스별로 양성 오류가 많이 발생한 경우를 살펴보면, 남자 화장실 표지판과 같이 세로 방향 윤곽선이 많을 경우 세로 방향 윤곽선이 많은 영역에서 양성 오류가 많이 발생하였고, 비상구와 지하철, 장애인 표지판과 같이 특정 색상이 대부분을 차지하는 경우 색상이 유사한 영역에서 양성 오류가 많이 발생하였으며, 계단 표지판의 경우 형태가 다양함으로 인해 발생하는 양성 오류가 많았다. 표지판 검출 알고리즘을 통과한 관심 영역들에 중에 이러한 원인 때문에 양성 오류가 된 영역이 다수 있었지만 높은 인식률을 보여주는 합성곱 신경망 알고리즘을 적용하였을 때 양성 오류가 된 관심 영역들이 대부분 제거되는 것을 확인할 수 있었다.
- 클래스별로 양성 오류가 많이 발생한 경우를 살펴보면, 남자 화장실 표지판과 같이 세로 방향 윤곽선이 많을 경우 세로 방향 윤곽선이 많은 영역에서 양성 오류가 많이 발생하였고, 비상구와 지하철, 장애인 표지판과 같이 특정 색상이 대부분을 차지하는 경우 색상이 유사한 영역에서 양성 오류가 많이 발생하였으며, 계단 표지판의 경우 형태가 다양함으로 인해 발생하는 양성 오류가 많았다. 표지판 검출 알고리즘을 통과한 관심 영역들에 중에 이러한 원인 때문에 양성 오류가 된 영역이 다수 있었지만 높은 인식률을 보여주는 합성곱 신경망 알고리즘을 적용하였을 때 양성 오류가 된 관심 영역들이 대부분 제거되는 것을 확인할 수 있었다. 합성곱 신경망 알고리즘을 적용하고 난 후에도 양성 오류가 남은 경우는 대부분 남자 화장실 표지판으로 인식이 된 경우였는데 보통 기둥이나 벽 같은 형태의 관심 영역이 화장실 표지판으로 잘못 인식되는 경우가 많았다.
- 하지만 조명 변화 때문에 발생한 역광, 반사, 그림자 등에 의해 표지판의 색상이 학습 영상들과 다르게 나타날 경우 검출률이 떨어지고, 학습 영상에 포함되지 않은 변형된 표지판의 경우도 검출률이 떨어지는 것을 확인할 수 있었다. 따라서 향후 연구로 조명 변화에 대한 시스템의 민감도를 최소화 할 수 있는 연구와 표지판의 변형에 강인한 시스템에 대한 연구가 필요하다.
후속연구
- 하지만 조명 변화 때문에 발생한 역광, 반사, 그림자 등에 의해 표지판의 색상이 학습 영상들과 다르게 나타날 경우 검출률이 떨어지고, 학습 영상에 포함되지 않은 변형된 표지판의 경우도 검출률이 떨어지는 것을 확인할 수 있었다. 따라서 향후 연구로 조명 변화에 대한 시스템의 민감도를 최소화 할 수 있는 연구와 표지판의 변형에 강인한 시스템에 대한 연구가 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.