선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 카메라를 통해 획득되는 이미지를 Fingerprint 기법의 resource로 이용한 이미지 기반의 Fingerprint 위치 추정 기법에 대해 제안한다. 이미지는 위치추정에 필요한 특징을 추출하기 위하여 영상처리 연구[13,16]에서 많이 사용되고 있는 SURF와 RANSAC 알고리즘을 사용한다.
제안 방법
- 온라인 단계는 사용자로부터 이미지를 입력받아 위치가 추정되는 단계로 데이터베이스에 저장된 이미지와 유사도 비교를 통해 가장 유사한 데이터베이스 이미지를 선별하게 된다. 이미지의 유사도를 비교하는 과정에서 우리는 SURF를 이용하여 이미지의 특징점을 찾고, 데이터베이스의 이미지와 사용자 입력 이미지의 동일 특징점을 매칭되도록 하였다. 그리고 특징점 매칭의 신뢰도를 높이기 위해 검출된 다수의 특징점 중 특징점 매칭에 불필요한 노이즈(Outlier)들을 제거하기 위해 RANSAC알고리즘을 이용하였다.
- 데이터베이스 구축 단계에 해당하는 오프라인 단계는 실험 범위 내의 각 위치에서 획득 된 이미지가 위치정보인 좌표를 포함하여 구성된다. 본 논문에서 오프라인 단계는 이미지 획득(Image acquisition)과 좌표설정(Coordinates set of image) 2가지 과정으로 진행된다.
- 이미지 획득은 [그림 5]와 같이 설정해놓은 각각의 기준 위치에서 사용자가 진행 가능한 방향으로 이미지를 획득하게 되는데 위치의 특성에 따라 복도와 같은 직선구간에서는 하나의 위치지점에서 2장의 이미지가 획득되고, 교차로와 같은 지점에서는 하나의 위치에서 4방향에 대한 이미지가 획득된다. 획득한 이미지와 함께 차 후 온라인 단계에서 사용자로부터 입력되는 이미지와 유사도 비교를 통해 위치정보를 제공하기 위해 각각의 이미지마다 획득한 위치와 방향에 대한 좌표정보를 설정하여 데이터베이스에 저장한다.
- 이미지의 좌표 정보는 DD_FF_XXX_YYY와 같은 형태로 구성된다. 먼저 DD의 경우 이미지를 획득한 방향에 대한 정보를 표현하기 위해 방위를 동(EE), 서(WW) ,남(SS), 북(NN), 북동(NE), 북서(NW), 남동 (SE), 남서(SW)로 총 8가지 방향으로 표현하도록 하였다. 다음 FF의 경우 실내에서의 위치 추정에서 층간의 구분을 위한 정보로 이미지가 실내 건물의 몇 층에서 획득한 이미지인지 층간의 정보를 표현하게 된다.
- 다음 FF의 경우 실내에서의 위치 추정에서 층간의 구분을 위한 정보로 이미지가 실내 건물의 몇 층에서 획득한 이미지인지 층간의 정보를 표현하게 된다. 마지막으로 XXX와 YYY는 이미지가 동쪽에서 서쪽으로 향하는 방향을 X축으로 설정하고 북쪽에서 남쪽으로 향하는 방향을 Y축으로 설정하여 이미지가 획득된 위치를 XY좌표로 설정하였다. 이미지는 하나의 위치에서 최소 2장에서 최대 4장까지 포함하도록 구성하였으며 모든 이미지는 자신의 좌표를 포함하여 데이터베이스에 저장된다.
- 앞선 과정에서 SURF를 통해 검출된 특징점들을 이용하여 RANSAC 알고리즘으로 이미지 매칭에 유용한 특징점들을 Inlier로 선별하고, 특징점 매칭에 불필요한 노이즈에 해당하는 특징점들을 Outlier로 선별하여 모든 특징점들 가운데 노이즈에 해당하는 Outlier들을 제거하였다.
- 본 논문에서는 이미지 상에서 검출된 모든 특징점들 가운데 무작위로 샘플 데이터를 뽑아 모델 파라미터를 구하고, 이렇게 구한 모델과 가까이에 있는 특징 점의 수를 세어 그 수가 크다면 이 모델을 기억하게끔 하고 이러한 과정을 N번 반복한 후 가장 지지하는 특징점의 수가 많았던 모델을 최종 결과로 반환하였다. SURF와 RANSAC 알고리즘을 통해 특징점 검출과 노이즈를 제거하고 나면 사용자로부터 입력된 이미지와 데이터베이스 저장 된 모든 위치의 이미지와 동일한 특징점을 매칭(Keypoint matching)하는 과정을 진행하게 된다.
- 사용자 입력 이미지는 데이터베이스에 저장 된 모든 이미지와 특징점을 매칭하는 과정이 진행된다. 여기에서 사용자 이미지는 각각의 데이터베이스 이미지와 특징점이 매칭 된 수를 Count하여 그 수를 저장(Counting matched keypoint)하고, 데이터베이스 이미지 중 사용자 입력 이미지와 특징점이 가장 많이 매칭 된 이미지를 가장 유사한 이미지로 선별하였다.
- 실험의 검증을 위해 사용한 장비는 [표 1]과 같다. 우리는 빠른 프로세싱을 위해 데이터베이스의 구축과 사용자의 위치에서 획득되는 영상의 해상도를 640x480으로 변환하여 처리하였다. 카메라의 높이는 성인 남녀의 평균 눈높이를 고려하여 150cm에서 획득하였으며, 영상 획득 시 미세한 흔들림으로 인해 발생하는 블러(Blur) 현상을 최소화하도록 브라켓을 사용하였다.
- 또한 데이터베이스의 구축과 사용자 입력 이미지의 획득 시 Zoom으로 인해 이미지가 확대 및 축소되지 않도록 카메라의 초점거리를 기본 초점 거리인 35mm 로 모든 이미지를 획득하였다. 제안하는 논문의 실험은 Visual Studio 2010을 이용하였으며, 프로그램 OpenCV를 통해 영상을 처리하였다.
- 영남대학교 IT관 및 전기관 두 건물을 포함하는 실내 및 실외 전체 범위의 가로 길이는 85m이며, 세로 길이는 90m이다. 데이터베이스 구축을 위한 위치지점은 4m 간격으로 총 230 위치지점에서 각각의 진행 방향으로 이미지를 획득하여 좌표와 함께 데이터베이스에 저장하였다.
- 우리는 실내 및 실외에서 이미지를 획득 할 때 단일 직선구간에서는 전방, 후방에 대한 2장의 이미지를 획득하였으며, 길이 만나는 교차지점에서는 모든 방향에 따라 3장 또는 4장의 이미지를 획득하였다. 이미지를 획득할 때에는 길의 정 가운데에서 이미지를 획득하였으며, 이미지의 각도는 사용자의 눈높이에서 정면을 바라보도록 고정하여 이미지를 획득하였다. 또한 이미지는 유동인구가 가장 작은 시간대에 지형지물만을 촬영할수 있도록 하여 촬영하였으며 실제 위치추정을 위해 사용한 사용자 입력 이미지는 유동인구에 관계없이 즉시적으로 이미지를 획득하여 추정에 대한 결과 값을 확인하였다.
- 이미지를 획득할 때에는 길의 정 가운데에서 이미지를 획득하였으며, 이미지의 각도는 사용자의 눈높이에서 정면을 바라보도록 고정하여 이미지를 획득하였다. 또한 이미지는 유동인구가 가장 작은 시간대에 지형지물만을 촬영할수 있도록 하여 촬영하였으며 실제 위치추정을 위해 사용한 사용자 입력 이미지는 유동인구에 관계없이 즉시적으로 이미지를 획득하여 추정에 대한 결과 값을 확인하였다.
- [표 5]는 단일 SURF만 사용하였을 때와 SURF에 RANSAC을 적용하였을 때의 특징점이 검출되고 매칭 되는데 소요된 총 시간을 나타낸다. 소요 시간을 분석하기 위해 우리는 여기에서 한 번의 실험 당 2장의 이미지만 사용하여 특징점을 검출하고, 매칭 되는 시간을 확인하였다. 실험은 총 10쌍의 이미지를 준비하여 10번의 실험을 통해 평균적으로 걸리는 시간을 계산하였다.
- 소요 시간을 분석하기 위해 우리는 여기에서 한 번의 실험 당 2장의 이미지만 사용하여 특징점을 검출하고, 매칭 되는 시간을 확인하였다. 실험은 총 10쌍의 이미지를 준비하여 10번의 실험을 통해 평균적으로 걸리는 시간을 계산하였다. S_M은 단일 SURF만 사용하였을 때 특징점이 매칭 된 결과이며 S+R_M은 SURF와 RANSAC을 함께 사용하였을 때 특징점이 매칭 된 결과이다.
- 우리는 본 논문에서 Fingerprint 기법을 사용할 때 기존의 위치추정에서 사용되는 신호의 세기를 이용하지 않고 카메라로부터 획득되는 영상데이터를 기반으로 데이터베이스를 구축하고, 사용자로부터 입력되는 현재 위치의 이미지와 비교를 통해 최종적으로 사용자의 위치를 추정하였다. 데이터베이스의 이미지와 사용자 입력 이미지의 유사도 판별을 위해서는 특징점 검출과 매칭 알고리즘은 SURF와 함께 특징점에 대한 노이즈를 제거하고 유사도 판별의 정확도를 높이기 위해 RANSAC 알고리즘을 이용하였다.
- 유사도 비교는 사용자 입력 이미지와 데이터베이스에 구축된 모든 이미지와 특징점을 매칭하여 매칭 된 특징점의 수를 Count하게 하였고, 사용자 이미지의 특징점과 가장 많이 매칭 된 데이터베이스 이미지를 가장 유사한 이미지로 판단하게 하였다. 최종적으로 가장 유사한 데이터베이스 이미지로부터 좌표정보를 제공받아 사용자의 위치를 추정하도록 하였다. 제안하는 방법은 부가적인 장비나 부착물을 필요로 하지 않으며 단일 카메라만을 이용하여 사용자의 위치를 추정한다.
- 최종적으로 가장 유사한 데이터베이스 이미지로부터 좌표정보를 제공받아 사용자의 위치를 추정하도록 하였다. 제안하는 방법은 부가적인 장비나 부착물을 필요로 하지 않으며 단일 카메라만을 이용하여 사용자의 위치를 추정한다. 본 기법은 실내 및 실외의 모든 환경에서 사용이 가능하며 기존의 위치추정의 기법이 가지는 단점인 신호가 도달하지 않는 음영지역에서 사용이 가능하다.
- 우리는 실험 공간 내의 임의의 위치 20곳에서 이미지를 획득하여 사용자의 위치를 추정하였으며, 실내 및 실외 각각 10곳으로 실험을 진행하였다. 추정의 정확도는 사용자 입력 이미지와 데이터베이스 이미지 간의 유사도 비교를 통해 사용자 위치에서 가장 근접한 데이터베이스 이미지가 검출되고, 정확한 좌표 정보를 제공받는지 확인하였다.
대상 데이터
- 우리는 빠른 프로세싱을 위해 데이터베이스의 구축과 사용자의 위치에서 획득되는 영상의 해상도를 640x480으로 변환하여 처리하였다. 카메라의 높이는 성인 남녀의 평균 눈높이를 고려하여 150cm에서 획득하였으며, 영상 획득 시 미세한 흔들림으로 인해 발생하는 블러(Blur) 현상을 최소화하도록 브라켓을 사용하였다.
- 또한 데이터베이스의 구축과 사용자 입력 이미지의 획득 시 Zoom으로 인해 이미지가 확대 및 축소되지 않도록 카메라의 초점거리를 기본 초점 거리인 35mm 로 모든 이미지를 획득하였다. 제안하는 논문의 실험은 Visual Studio 2010을 이용하였으며, 프로그램 OpenCV를 통해 영상을 처리하였다.
- 제안하는 논문의 검증을 위해 우리는 영남대학교 건물 2곳의 실내와 주변 실외 환경의 사람이 진행 가능한 구간에서 실험을 진행하였다. 실험 환경에 대한 개요는 [표 2]와 같다.
- 실험 환경에 대한 개요는 [표 2]와 같다. 영남대학교 IT관 및 전기관 두 건물을 포함하는 실내 및 실외 전체 범위의 가로 길이는 85m이며, 세로 길이는 90m이다. 데이터베이스 구축을 위한 위치지점은 4m 간격으로 총 230 위치지점에서 각각의 진행 방향으로 이미지를 획득하여 좌표와 함께 데이터베이스에 저장하였다.
- IT관의 경우 주로 직선의 복도의 형태를 띄고 있으며 전기관의 경우 ‘ㅁ’ 형태로 복도가 구성되어 있다. 우리는 실내 및 실외에서 이미지를 획득 할 때 단일 직선구간에서는 전방, 후방에 대한 2장의 이미지를 획득하였으며, 길이 만나는 교차지점에서는 모든 방향에 따라 3장 또는 4장의 이미지를 획득하였다. 이미지를 획득할 때에는 길의 정 가운데에서 이미지를 획득하였으며, 이미지의 각도는 사용자의 눈높이에서 정면을 바라보도록 고정하여 이미지를 획득하였다.
- 우리는 실험 공간 내의 임의의 위치 20곳에서 이미지를 획득하여 사용자의 위치를 추정하였으며, 실내 및 실외 각각 10곳으로 실험을 진행하였다. 추정의 정확도는 사용자 입력 이미지와 데이터베이스 이미지 간의 유사도 비교를 통해 사용자 위치에서 가장 근접한 데이터베이스 이미지가 검출되고, 정확한 좌표 정보를 제공받는지 확인하였다.
이론/모형
- 본 논문에서는 카메라를 통해 획득되는 이미지를 Fingerprint 기법의 resource로 이용한 이미지 기반의 Fingerprint 위치 추정 기법에 대해 제안한다. 이미지는 위치추정에 필요한 특징을 추출하기 위하여 영상처리 연구[13,16]에서 많이 사용되고 있는 SURF와 RANSAC 알고리즘을 사용한다. 신호 세기 기반의 Fingerprint 기법의 경우 동일한 신호 세기를 가지는 다른 위치 지점에 대한 구분이 어려우나 이미지를 사용하게 될 경우 각각의 위치지점에서 획득되는 이미지가 모두 다르기 때문에 각각의 위치지점을 모두 다른 위치로 구분 짓는 것에서 용이하며 위치에 대한 시각적 정보를 제공하여 사용자에게 위치에 대한 높은 이해와 판단을 도울 수 있다.
- 전체적인 시스템의 알고리즘은 아래 [그림 4]와 같은 순서로 진행된다. 우리는 각각의 다른 위치에서 획득되는 이미지의 고유한 정보를 표현하기 위해 이미지 상에서 SURF 알고리즘으로 이미지의 특징점을 찾아 특징점을 이미지의 정보로 사용하였으며 신뢰도 높은 특징점 검출을 위해 RANSAC 알고리즘을 적용하였다.
- 이미지의 유사도를 비교하는 과정에서 우리는 SURF를 이용하여 이미지의 특징점을 찾고, 데이터베이스의 이미지와 사용자 입력 이미지의 동일 특징점을 매칭되도록 하였다. 그리고 특징점 매칭의 신뢰도를 높이기 위해 검출된 다수의 특징점 중 특징점 매칭에 불필요한 노이즈(Outlier)들을 제거하기 위해 RANSAC알고리즘을 이용하였다. 사용자 입력 이미지와 데이터베이스에 저장된 모든 위치의 이미지를 이과 같은 과정을 통해 데이터베이스 이미지마다 사용자 입력 이미지와 특징점이 매칭 된 수를 Count하여 가장 많이 매칭 된 데이터베이스 이미지로부터 최종적으로 좌표정보를 제공받게 된다.
- 온라인 단계에서는 사용자의 위치에서 획득 된 이미지와 데이터베이스에 미리 저장 해 놓은 위치별 이미지 간의 영상매칭을 통해 유사도를 비교하게 되고, 사용자 입력 이미지와 가장 유사한 이미지로 선별된 데이터베이스 이미지로부터 좌표정보를 제공받아 사용자의 위치를 추정하는 실질적인 위치 추정 단계이다. 본 논문에서는 Fingerprint 기법의 resource로 이미지 정보를 이용하기 때문에 기 구축되어 있는 데이터베이스 이미지와 사용자로부터 입력되는 이미지의 유사도를 판단하기 위해 두 이미지의 특징점을 검출하고, 두 이미지 간의 동일한 특징점을 매칭시키기 위해 SURF 알고리즘을 사용하였다.
- 온라인 단계 중 첫 번째 과정에 해당하는 이미지의 특징점을 찾는 과정을 거치고 나면 데이터베이스 이미지와 사용자 입력 이미지간의 동일 특징점을 매칭하는 작업을 진행하게 되는데 특징점 매칭의 신뢰도를 높이기 위해 우리는 영상의 특징점들 중 노이즈 (Outlier)에 해당하는 특징점들을 제거(Remove noise keypoint)하도록 RANSAC알고리즘을 사용하였다.
- 우리는 본 논문에서 Fingerprint 기법을 사용할 때 기존의 위치추정에서 사용되는 신호의 세기를 이용하지 않고 카메라로부터 획득되는 영상데이터를 기반으로 데이터베이스를 구축하고, 사용자로부터 입력되는 현재 위치의 이미지와 비교를 통해 최종적으로 사용자의 위치를 추정하였다. 데이터베이스의 이미지와 사용자 입력 이미지의 유사도 판별을 위해서는 특징점 검출과 매칭 알고리즘은 SURF와 함께 특징점에 대한 노이즈를 제거하고 유사도 판별의 정확도를 높이기 위해 RANSAC 알고리즘을 이용하였다. 유사도 비교는 사용자 입력 이미지와 데이터베이스에 구축된 모든 이미지와 특징점을 매칭하여 매칭 된 특징점의 수를 Count하게 하였고, 사용자 이미지의 특징점과 가장 많이 매칭 된 데이터베이스 이미지를 가장 유사한 이미지로 판단하게 하였다.
성능/효과
- 실제 사용자의 위치 좌표와 가장 근접한 데이터베이스 좌표, 그리고 최종적으로 추정된 좌표를 순차적으로 나타내고 있다. 우리는 실내 10곳, 실외 10곳, 총 20곳에서 실험을 진행 해 본 결과 총 20 곳 중 6번 실험에 해당하는 위치를 제외하곤 모두 가장 근접한 데이터베이스의 좌표를 제공받는 것을 확인하였다.
- 문제가 된 6번 실험의 사용자 입력 이미지[그림 11-(a)]와 정상적으로 검출되어야 할 데이터베이스 이미지[그림11-(b)]를 살펴보았다. 그 결과 사용자 입력 이미지와 데이터베이스에 저장 된 이미지의 외부에서 유입되는 빛의 양의 차이로 인해 이미지 획득 시 두 이미지 간의 심한 조도의 차이가 발생하는 것을 확인할 수 있었고 그로 인하여 특징점이 잘못 검출되고, 동일한 특징점이 매칭되지 않아 가장 유사한 이미지로 인식되지 않았다.
- RANSAC의 성능을 분석하기 위해 전기관 3층 임의의 위치에서 이미지를 획득하고 기 구축되어있는 전기관 3층의 81장의 이미지와 비교를 해본 결과 78번의 데이터베이스 이미지를 가장 유사한 데이터베이스 이미지로 검출해 내는 것을 알 수 있다. SURF에 RANSAC 알고리즘을 적용하였을 시 사용자의 위치가 아닌 곳에서는 노이즈를 제거하여 특징점이 낮게 검출되고 가장 유사한 위치에서는 SURF만 사용하였을 때 보다 많이 특징점이 매칭 되어 이미지를 비교할 때 유사도에 대한 성능을 높이는 것을 확인 할 수 있었다.
- M1은 S1과 S2의 특징점이 매칭한 수를 의미하며 A1은 S1과 S2의 특징점의 수를 평균 내어 최종 매칭 된 특징점의 수 M1으로 나눈 값을 의미한다. 단일 SURF만 사용하여 특징점을 매칭 하였을 때에는 두 이미지 상에서 검출 된 전체의 특징점 중 평균 59% 정도의 정확도로 특징점이 매칭 되는 것을 확인 할 수 있었다. 그에 반해 SURF 알고리즘에 RANSAC 알고리즘을 적용한 결과인 S+R1과 S+R2는 이미지 상에서 특징점의 노이즈(Outlier)를 제거하여 단일 SURF만 사용하였을 때 보다 검출 되는 수가 작았지만 매칭 된 결과를 확인해 보았을 때 평균 83%의 정확도로 특징점이 매칭되는 것을 확인해 볼 수 있었다.
- 단일 SURF만 사용하여 특징점을 매칭 하였을 때에는 두 이미지 상에서 검출 된 전체의 특징점 중 평균 59% 정도의 정확도로 특징점이 매칭 되는 것을 확인 할 수 있었다. 그에 반해 SURF 알고리즘에 RANSAC 알고리즘을 적용한 결과인 S+R1과 S+R2는 이미지 상에서 특징점의 노이즈(Outlier)를 제거하여 단일 SURF만 사용하였을 때 보다 검출 되는 수가 작았지만 매칭 된 결과를 확인해 보았을 때 평균 83%의 정확도로 특징점이 매칭되는 것을 확인해 볼 수 있었다.
- S_M은 단일 SURF만 사용하였을 때 특징점이 매칭 된 결과이며 S+R_M은 SURF와 RANSAC을 함께 사용하였을 때 특징점이 매칭 된 결과이다. RANSAC를 함께 사용할 경우 1초 정도의 시간이 더 소요되는 것을 확인 할 수 있었다..
- 그래프의 세로축은 사용자의 입력 이미지와 데이터베이스 이미지의 매칭된 특징점의 수를 의미하고, 가로 축은 데이터베이스 이미지의 수에 해당된다. RANSAC의 성능을 분석하기 위해 전기관 3층 임의의 위치에서 이미지를 획득하고 기 구축되어있는 전기관 3층의 81장의 이미지와 비교를 해본 결과 78번의 데이터베이스 이미지를 가장 유사한 데이터베이스 이미지로 검출해 내는 것을 알 수 있다. SURF에 RANSAC 알고리즘을 적용하였을 시 사용자의 위치가 아닌 곳에서는 노이즈를 제거하여 특징점이 낮게 검출되고 가장 유사한 위치에서는 SURF만 사용하였을 때 보다 많이 특징점이 매칭 되어 이미지를 비교할 때 유사도에 대한 성능을 높이는 것을 확인 할 수 있었다.
후속연구
- 그러나 너무 어둡거나 빛의 양이 많은 너무 밝은 지역과 같이 조도의 차이가 심한 경우 이미지 획득 시 영상으로부터 특징점을 정확히 검출해 내기가 어려워 추정에 대한 정확도가 매우 낮아진다. 민감하게 반응하는 카메라 조도의 차이에 따라 더욱 정교하게 특징점을 검출하고, 정확하게 이미지의 유사도를 비교하는 추가적인 연구가 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.