선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이러한 과정을 개체 매칭(Entity matching)이라 한다. 본 논문에서는 각 영상으로부터 동일한 개체를 검출하기 위해, 사용 가능한 방법들에 대해 소개하고, 적절한 개체 매칭 방법을 제시한다. 최종적으로 개체 매칭의 정확도를 측정하여 실제 건설 현장에서의 개체 매칭 적용 가능성을 확인한다.
- 본 논문에서는 건설 현장에서의 영상 기반 위치 추적 시스템 개발 연구에 선행하여, 영상을 이용한 개체 매칭의 정확도를 확인하고자 한다. 먼저, 각 특징점 추출 알고리즘의 정확도를 확인하고, 가장 적절한 알고리즘을 적용하여 개체 매칭 과정을 실행, 정확도를 확인했다.
- 본 논문에서는 다양한 특징점 추출 알고리즘을 소개하고, 기초행렬 계산에 적합한 알고리즘을 선정하여 특징점을 추출해 기초행렬을 계산한다. 또한, 영상에서 건설 인력을 검출하는 알고리즘을 소개하고, 해당 알고리즘을 이용하여 건설 인력을 검출한다.
- 본 논문에서는 영상 기반 위치추적 시스템의 필수 구성 단계인 카메라 간의 개체 매칭에 대해 그 원리와 방법을 제안했다. 영상에서 건설 인력 개체를 검출할 수 있는 알고리즘과 기초행렬 계산을 위해 필요한 특징점 추출 알고리즘에 대해 소개했으며 실험 결과를 통해 적절한 특징점 추출 알고리즘을 제안했다.
- 그러므로 스케일 변화나 회전 여부에 관계없이 정확한 특징점을 추출할 수 있는 적절한 알고리즘이 필요하다. 본 논문에서는 컴퓨터 비전 분야에서 일반적으로 우수하다고 알려진 FAST, SURF와 SIFT 알고리즘 중에서 본 논문에 가장 적합한 알고리즘을 확인하여 적용하고자 한다.
제안 방법
- 다양한 특징점 추출 알고리즘의 효율성을 확인하기 위해, 시각적 방향, 거리, 회전에 따라 차이가 발생한 두 개의 영상을 이용하여 실험을 진행했다. 본 실험에서는 FAST, SURF, SIFT 알고리즘을 적용하여 특징점을 추출했다.
- 하나의 과정은 기초행렬을 계산하기 위한 과정으로, 촬영된 두 개의 영상에서 동일 프레임을 이용하여 특징점을 추출하는 것으로 시작한다. 다양한 특징점 추출 알고리즘이 존재하며 각기 다른 장단점을 지니기 때문에 가장 적합한 알고리즘을 확인하여 적용한다. 추출된 특징점들에 등극선 기하학을 적용함으로써 두 카메라와 특징점들 간의 기하학적 상관관계를 나타내는 기초행렬을 계산하면 해당 과정이 종료된다.
- 또한, 영상에서 건설 인력을 검출하는 알고리즘을 소개하고, 해당 알고리즘을 이용하여 건설 인력을 검출한다. 두 과정은 독립적으로 수행되며, 최종적으로 두 과정의 결과물인 기초행렬과 검출된 개체의 2차원 영상 좌표에 등극선 기하학을 적용하여 동일 개체를 매칭시키는 방법을 제안하고 그 정확도를 확인한다.
- 잡음으로 인해 등극선이 정확히 매칭 개체의 중심점을 통과하지는 않지만 그 중심점으로부터 등극선까지의 수직거리는 가장 짧을 것이라는 것은 자명하다. 따라서 각 후보 개체들의 중심점과 목표 개체 등극선의 수직거리를 계산하여 그 중 가장 작은 값을 갖는 개체를 매칭 개체로 선정했다. 두 번째 방법은 교차검증이다.
- 본 논문에서는 다양한 특징점 추출 알고리즘을 소개하고, 기초행렬 계산에 적합한 알고리즘을 선정하여 특징점을 추출해 기초행렬을 계산한다. 또한, 영상에서 건설 인력을 검출하는 알고리즘을 소개하고, 해당 알고리즘을 이용하여 건설 인력을 검출한다. 두 과정은 독립적으로 수행되며, 최종적으로 두 과정의 결과물인 기초행렬과 검출된 개체의 2차원 영상 좌표에 등극선 기하학을 적용하여 동일 개체를 매칭시키는 방법을 제안하고 그 정확도를 확인한다.
- 영상 기반 위치 추적 시스템은 기본적으로 두 개의 고정된 카메라를 필요로 한다. 또한, 추적하고자 하는 개체가 두 개의 카메라에 모두 포착될 수 있어야 하므로 카메라는 추적하고자 하는 개체를 포함하는 공통된 지역을 촬영한다. Figure 1에 영상 기반 3차원 위치 추적 시스템의 수행 방법을 간단하게 표현했다.
- 본 논문에서는 건설 현장에서의 영상 기반 위치 추적 시스템 개발 연구에 선행하여, 영상을 이용한 개체 매칭의 정확도를 확인하고자 한다. 먼저, 각 특징점 추출 알고리즘의 정확도를 확인하고, 가장 적절한 알고리즘을 적용하여 개체 매칭 과정을 실행, 정확도를 확인했다. 실험은 인텔 제온 8코어 16쓰레드 3.
- 본 논문에서 사용된 데이터 세트는 카메라와 피사체 간의 거리가 멀기 때문에 96×48 직립 개체 분류 모델이 적합하다고 판단하여 해당 모델을 사용하여 건설 인력 검출 과정을 수행했다.
- 본 논문에서는 영상 기반 위치추적 시스템의 필수 구성 단계인 카메라 간의 개체 매칭에 대해 그 원리와 방법을 제안했다. 영상에서 건설 인력 개체를 검출할 수 있는 알고리즘과 기초행렬 계산을 위해 필요한 특징점 추출 알고리즘에 대해 소개했으며 실험 결과를 통해 적절한 특징점 추출 알고리즘을 제안했다. 최종적으로 등극선 기하학을 이용한 영상 기반 개체 매칭 방법을 제안하고, 실험을 통해 해당 방법의 성능을 확인하여 적용성을 확인해보았다.
- 2m이다. 원본 영상은 MTS 포맷으로 촬영되었기 때문에 소프트웨어가 인식할 수 있도록 H.264 코덱을 이용하여 10fps의 MP4 포맷으로 변환하여 사용했다. 영상의 길이는 총 2분으로 1200개의 프레임을 포함하고 있다.
- 두 번째 방법은 교차검증이다. 좌측 영상과 우측 영상에서 독립적으로 매칭 과정을 수행하고 두 결과를 종합하여 최종 매칭 결과를 얻어냈다. 세 번째 방법은 반복법을 이용한 기초행렬 계산이다.
- 촬영된 양안 영상에서 각각 독립적으로 특징점을 추출하여 서로의 특징점을 비교하고, 등극선 기하학을 적용하여 추출된 특징점들로부터 두 카메라의 기하학적 상관관계를 표현한다. 이러한 과정을 통해 두 영상에 등장하는 공통된 부분을 찾을 수 있다.
- 영상에서 건설 인력 개체를 검출할 수 있는 알고리즘과 기초행렬 계산을 위해 필요한 특징점 추출 알고리즘에 대해 소개했으며 실험 결과를 통해 적절한 특징점 추출 알고리즘을 제안했다. 최종적으로 등극선 기하학을 이용한 영상 기반 개체 매칭 방법을 제안하고, 실험을 통해 해당 방법의 성능을 확인하여 적용성을 확인해보았다. 하지만 개체 매칭 과정에서 정확한 개체 매칭을 방해할 수 있는 몇 가지 문제들을 발견했다.
- 영상은 2차원 픽셀 데이터로 구성되어 있기 때문에 건설 인력을 검출하기 위한 특별한 알고리즘이 필요하다. 픽셀 그래디언트를 이용 하여 형상의 특징 데이터를 생성하고, 기계학습 기법을 적용하여 그것들을 분류함으로써 건설 인력을 검출하면 해당 과정이 종료된다. 두 과정이 모두 종료되면 최종적으로 기초행렬과 검출된 건설 인력 개체의 2차원 영상 좌표를 이용하여 등극선을 계산하면 개체 매칭을 실행할 수 있다.
대상 데이터
- Dalal 외는 분류 모델을 생성하는데 128×64 해상도의 다양한 배경에서 촬영된 ‘INRIA’라는 영상 데이터세트를 사용했으며 직립 인력 개체를 대상으로 모델을 생성했다.
- 본 논문에서 사용된 HOG 알고리즘은 128×64의 형상 데이터를 사용한 모델과 96×48의 형상 데이터를 사용한 모델을 포함한다.
- 본 논문은 개체 매칭 대상을 건설 인력으로 한다. Figure 2는 건설 인력 대상 개체 매칭의 예시이다.
- 사용된 영상은 Sony HDR-PJ30 캠코더 두 대를 이용하여 1920×1080 해상도에서 30fps로 촬영했다.
- 실험 데이터 세트는 실제 건설 현장과 유사한 환경에서 촬영된 영상을 사용했다. 직립 보행 중인 11명의 인원을 대상으로 촬영했으며 동선의 제약 없이 촬영 구역 내에서 자유롭게 보행을 실시했다.
- 본 실험에서는 FAST, SURF, SIFT 알고리즘을 적용하여 특징점을 추출했다. 실험에 사용된 영상은 촬영된 영상 중 10개 프레임을 무작위로 선정하여 해상도 변환 없이 PNG 포맷으로 저장된 파일을 사용했다.
- 먼저, 각 특징점 추출 알고리즘의 정확도를 확인하고, 가장 적절한 알고리즘을 적용하여 개체 매칭 과정을 실행, 정확도를 확인했다. 실험은 인텔 제온 8코어 16쓰레드 3.00GHz 프로세서와 16GB 메모리가 장착되고, Microsoft Windows 7 OS가 설치된 워크스테이션에서 실행했다. 사용된 영상은 Sony HDR-PJ30 캠코더 두 대를 이용하여 1920×1080 해상도에서 30fps로 촬영했다.
- 264 코덱을 이용하여 10fps의 MP4 포맷으로 변환하여 사용했다. 영상의 길이는 총 2분으로 1200개의 프레임을 포함하고 있다. SIFT를 이용한 특징점 추출 연산시간은 76.
- 실험 데이터 세트는 실제 건설 현장과 유사한 환경에서 촬영된 영상을 사용했다. 직립 보행 중인 11명의 인원을 대상으로 촬영했으며 동선의 제약 없이 촬영 구역 내에서 자유롭게 보행을 실시했다. 카메라 간의 거리는 2.
- 전체 영상 중 첫 프레임에서 SIFT를 이용하여 추출한 특징점들을 이용하여 기초행렬을 계산했다. 특징점은 좌측 영상에서 13906개, 우측 영상에서 16025개를 추출했으며 RANSAC을 통해 잡음과 이상치 데이터를 제거하여 각 영상 당 71개(총 104개)의 특징점을 사용했다. 계산된 기초행렬은 아래와 같다.
데이터처리
- 따라서 각 후보 개체들의 중심점과 목표 개체 등극선의 수직거리를 계산하여 그 중 가장 작은 값을 갖는 개체를 매칭 개체로 선정했다. 두 번째 방법은 교차검증이다. 좌측 영상과 우측 영상에서 독립적으로 매칭 과정을 수행하고 두 결과를 종합하여 최종 매칭 결과를 얻어냈다.
- 전체 영상 중 첫 프레임에서 SIFT를 이용하여 추출한 특징점들을 이용하여 기초행렬을 계산했다. 특징점은 좌측 영상에서 13906개, 우측 영상에서 16025개를 추출했으며 RANSAC을 통해 잡음과 이상치 데이터를 제거하여 각 영상 당 71개(총 104개)의 특징점을 사용했다.
이론/모형
- 또한, 고정된 카메라를 사용하는 본 논문의 특성상, 특징점 추출과 기초행렬 계산은 최초 1회만 실행되기 때문에 연산 시간은 중요한 고려사항이 아니다. 따라서, 연산 속도가 느리지만 다수의 특징점 데이터를 확보할 수 있는 SIFT 알고리즘이 본 연구에 가장 적합하다고 판단하여 특징점 추출 알고리즘으로 SIFT 알고리즘을 적용했다.
- 본 논문에서는 건설 인력 검출을 위해 Dalal 외(2005)에 의해 제안된 HOG(Histograms of Oriented Gradients) 알고리즘을 사용했다. HOG 알고리즘은 일반적으로 Human Detection에서 우수한 성능을 보이는 것으로 알려졌다.
- 두 개의 카메라를 이용하여 촬영된 영상은 각기 다른 화각과 축척을 가지기 때문에 개체 매칭을 위해서는 별도의 처리 과정이 필요하다. 본 논문에서는 두 개의 카메라로 촬영된 건설 현장에서 건설 인력 개체들을 매칭시키기 위해 등극선 기하학(Epipolar geometry)을 이용한다(Zhang 1995, Faugeras 1993). 등극선 기하학은 두 카메라의 기하학적 상관관계를 나타내는 기초행렬 (Fundamental matrix)로 표현 가능하며(Jones 1992) 영상에서 추출된 특징점들을 사용하면 더 정확한 기초행렬을 계산할 수 있다.
- 세 번째 방법은 반복법을 이용한 기초행렬 계산이다. 본 논문에서는 영상 처리 분야에서 널리 사용되는 반복법 중 하나인 RANSAC(RANdom SAmple Consensus, Fischler 1982)을 이용했다. RANSAC은 각종 오차, 편차, 노이즈, 이상치가 존재하는 데이터들로부터 최적의 모델을 생성하기 위한 절차적 방법을 뜻한다.
- 다양한 특징점 추출 알고리즘의 효율성을 확인하기 위해, 시각적 방향, 거리, 회전에 따라 차이가 발생한 두 개의 영상을 이용하여 실험을 진행했다. 본 실험에서는 FAST, SURF, SIFT 알고리즘을 적용하여 특징점을 추출했다. 실험에 사용된 영상은 촬영된 영상 중 10개 프레임을 무작위로 선정하여 해상도 변환 없이 PNG 포맷으로 저장된 파일을 사용했다.
- HOG 알고리즘은 일반적으로 Human Detection에서 우수한 성능을 보이는 것으로 알려졌다. 해당 알고리즘은 HOG를 계산하여 형상을 데이터로 표현하고 (Figure 7), 기계학습 기법 중 하나인 SVM(Support Vector Machine, Cortes 1995)을 통해 형상 데이터를 사람과 사람이 아닌 것으로 판별하여 분류하고, 분류 모델을 생성한다. Dalal 외는 분류 모델을 생성하는데 128×64 해상도의 다양한 배경에서 촬영된 ‘INRIA’라는 영상 데이터세트를 사용했으며 직립 인력 개체를 대상으로 모델을 생성했다.
성능/효과
- 영상의 길이는 총 2분으로 1200개의 프레임을 포함하고 있다. SIFT를 이용한 특징점 추출 연산시간은 76.46초, 기초행렬 계산시간은 0.27초가 소요됐으며 HOG 알고리즘의 총 연산 시간은 7570.35초(126.17분), 평균 연산시간은 프레임 당 6.31초가 소요됐다. 이 연구에서는 프로그래밍의 최적화는 이루어지지 않았으며, 추후 멀티 스레딩을 통해 멀티코어 CPU(Central Processing Unit)와 GPU(Graphic Processing Unit)를 최대로 활용하는 병렬 프로그래밍으로 연산시간을 크게 단축시킬 수 있을 것으로 사료된다.
- 기초행렬과 등극선의 특성을 이용하면 2차원 영상에서 검출된 개체와 반대쪽 영상에서 그 개체가 투영될 위치의 후보들을 알 수 있다. 각 영상에서 검출된 개체, 즉 건설 인력의 한쪽 영상에서의 중심 좌표를 알면 기초행렬을 이용하여 반대쪽 영상에서 해당 개체의 위치 후보를 직선으로 표현한 등극선을 얻을 수 있다.
- 본 논문에서 추출된 특징점들은 기초행렬을 계산하기 위해 사용되며 데이터가 많을수록 더 정확한 기초행렬을 계산할 수 있다. 또한, 고정된 카메라를 사용하는 본 논문의 특성상, 특징점 추출과 기초행렬 계산은 최초 1회만 실행되기 때문에 연산 시간은 중요한 고려사항이 아니다.
- 이 과정을 반복하여 가장 지지도가 높은 모델을 최종 모델로 선정하는 것이 RANSAC의 작동 원리다. 어떤 모델을 생성하는데 있어서 가장 적합한 파라미터를 결정해줄 수 있기 때문에 본 논문에서 특징점 매칭 모델을 생성할 때 중요한 파라미터인 기초행렬의 정확한 근사가 가능하다.
- 총 1200개의 프레임을 대상으로 영상 기반 개체 매칭을 수행한 결과, 총 2032개의 개체가 매칭된 것으로 확인됐다. 이 중, 바르게 매칭된 개체는 1727개, 잘못 매칭된 개체는 305개로 확인되었으며, 매칭 정확도는 약 85%로 계산되었다. 15% 해당하는 잘못된 매칭 결과는 이후 삼각측량에 적용될 경우, 3차원 위치 데이터의 큰 오차로 이어질 수 있다.
- Table 2에 검출 개체 매칭 결과를 정리했다. 총 1200개의 프레임을 대상으로 영상 기반 개체 매칭을 수행한 결과, 총 2032개의 개체가 매칭된 것으로 확인됐다. 이 중, 바르게 매칭된 개체는 1727개, 잘못 매칭된 개체는 305개로 확인되었으며, 매칭 정확도는 약 85%로 계산되었다.
- 빠른 연산을 수행하도록 고안된 FAST는 연산 시간 면에서 가장 우수했다. 하지만 SURF, SIFT와 비교했을 때, 추출된 특징점의 개수와 매칭된 특징점의 개수가 훨씬 적은 것으로 나타났다. SURF 알고리즘은 FAST 알고리즘보다 연산 시간이 두 배가량 소요됐지만 매칭된 특징점의 개수는 약 9배가량 많다.
- SIFT는 연산 시간으로 평균 1분 정도를 소비하여 FAST, SURF에 비해 연산 속도가 매우 느린 것을 확인할 수 있다. 하지만 다른 두 알고리즘과 비교하여 5~7배가량의 특징점을 추출했으며, FAST보다는 20배, SURF보다는 2.5배 많은 매칭 결과를 갖는 것으로 나타났다.
후속연구
- 이 외에도 잡음 개체가 검출되거나 개체가 전혀 검출되지 않아 매칭이 이루어지지 않는 경우도 있다. 따라서 등극선의 일정 범위 내에 여러 개의 개체가 존재할 경우 이들 중 정확한 매칭을 구분할 수 있는 추가적인 알고리즘에 대한 개발이 필요하다.
- 15% 해당하는 잘못된 매칭 결과는 이후 삼각측량에 적용될 경우, 3차원 위치 데이터의 큰 오차로 이어질 수 있다. 따라서, 추후 인력의 형상 및 색상 데이터 등을 활용한 매칭 알고리즘을 추가적으로 도입하여 정확도를 보다 향상시킬 필요가 있으며, 등극선과 개체 중심 좌표의 거리가 일정한 값 이상일 경우 매칭의 결과를 무시하는 방안도 고려해볼 수 있을 것이다. 궁극적으로 안정적인 3차원 위치 추적 시스템을 위해서는 100%에 가까운 정확도를 갖도록 보완될 필요가 있다.
- 배경 분리를 통해 영상에서 동적인 개체들이 위치한 부분에만 개체 매칭 방법을 적용함으로써, 배경에 존재할 수 있는 잡음 개체를 줄여 더 정확한 개체 검출을 수행할 수 있을 뿐만 아니라 프레임 당 평균 연산 시간도 절약할 수 있을 것으로 기대한다. 또한, 직립 인력 개체만을 대상으로 한 현재의 분류 모델을 발전시켜, 다른 자세의 인력 개체를 검출할 수 있으므로, 기계 학습 과정을 통해 건설 인력의 다양한 자세를 분류 모델에 추가한다면 검출 성능을 향상시킬 수 있을 것으로 예상한다.
- 향후 진행되는 연구에서 검출 문제들을 해결하기 위해서 영상 처리 분야에서 널리 사용되는 배경 분리(Background subtraction) 과정을 적용하는 것이 효과적일 것으로 예상한다. 배경 분리를 통해 영상에서 동적인 개체들이 위치한 부분에만 개체 매칭 방법을 적용함으로써, 배경에 존재할 수 있는 잡음 개체를 줄여 더 정확한 개체 검출을 수행할 수 있을 뿐만 아니라 프레임 당 평균 연산 시간도 절약할 수 있을 것으로 기대한다. 또한, 직립 인력 개체만을 대상으로 한 현재의 분류 모델을 발전시켜, 다른 자세의 인력 개체를 검출할 수 있으므로, 기계 학습 과정을 통해 건설 인력의 다양한 자세를 분류 모델에 추가한다면 검출 성능을 향상시킬 수 있을 것으로 예상한다.
- 31초가 소요됐다. 이 연구에서는 프로그래밍의 최적화는 이루어지지 않았으며, 추후 멀티 스레딩을 통해 멀티코어 CPU(Central Processing Unit)와 GPU(Graphic Processing Unit)를 최대로 활용하는 병렬 프로그래밍으로 연산시간을 크게 단축시킬 수 있을 것으로 사료된다.
- 개체와 두 카메라를 이용하여, 삼각 측량을 통해 개체의 3차원 좌표를 추정할 수 있다(Brilakis 2011, Park 2012b). 이에 앞서, 각 영상에서 추적하고자 하는 개체를 검출하고, 두 카메라의 기하학적 상관관계를 이용하여 각 영상에서 검출된 개체가 동일한 개체인지를 확인해야 한다. 이러한 과정을 개체 매칭(Entity matching)이라 한다.
- 이와 같이 영상 기반의 측위 시스템은 건설 현장에서 장비와 인력들의 이동 경로 및 패턴을 파악하기 위한 주요 데이터를 효율적으로 제공할 수 있는 기술로 인식되고 있다. 장비와 인력 간의 거리를 계산하여 안전관리 차원에서 활용할 수도 있으며, 이동 거리, 시간, 왕복 횟수 등의 데이터를 통해 생산성 분석에도 활용 가능할 것으로 기대된다. 하지만, 앞서 소개된 연구에서 제안된 방법들은 단일 카메라를 사용하여 2차원 픽셀좌표를 제공하기 때문에, 개체들의 정확한 위치를 표현하기에는 한계가 있다.
- 향후 진행되는 연구에서 검출 문제들을 해결하기 위해서 영상 처리 분야에서 널리 사용되는 배경 분리(Background subtraction) 과정을 적용하는 것이 효과적일 것으로 예상한다. 배경 분리를 통해 영상에서 동적인 개체들이 위치한 부분에만 개체 매칭 방법을 적용함으로써, 배경에 존재할 수 있는 잡음 개체를 줄여 더 정확한 개체 검출을 수행할 수 있을 뿐만 아니라 프레임 당 평균 연산 시간도 절약할 수 있을 것으로 기대한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.