초록

AI-Helper

기존의 스테레오 매칭 시스템은 얻어지는 영상에 따라 disparity의 결과가 크게 차이를 나타내게 된다. 이러한 오류를 줄이고자 일정한 패턴을 주사하여 스테레오 매칭을 계산하는 방식인 액티브 스테레오 기법이 대두되고 있다. 본 논문에서는 이러한 액티브 스테레오 매칭을 사용시에 얻어질 수 있는 패턴 영상과 패턴이 없는 원영상을 서로 조합하여 스테레오 매칭을 수행함으로서 정확한 disparity를 얻고자 한다. 이러한 영상의 합성시에 두 영상의 비율에 따라서, 얻어지는 영상의 밝기 구성에 따라서 disparity결과의 차이와 이를 실제 시스템을 구성시에 필요한 점에 대해서 확인하고자 한다.

기존의 스테레오 매칭 시스템은 얻어지는 영상에 따라 disparity의 결과가 크게 차이를 나타내게 된다. 이러한 오류를 줄이고자 일정한 패턴을 주사하여 스테레오 매칭을 계산하는 방식인 액티브 스테레오 기법이 대두되고 있다. 본 논문에서는 이러한 액티브 스테레오 매칭을 사용시에 얻어질 수 있는 패턴 영상과 패턴이 없는 원영상을 서로 조합하여 스테레오 매칭을 수행함으로서 정확한 disparity를 얻고자 한다. 이러한 영상의 합성시에 두 영상의 비율에 따라서, 얻어지는 영상의 밝기 구성에 따라서 disparity결과의 차이와 이를 실제 시스템을 구성시에 필요한 점에 대해서 확인하고자 한다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

•  그림 3은 2절에서 소개된 합성된 영상을 상기의 알고리즘을 사용하여 얻어진 disparity 결과이다. 또한 다양한 알고리즘의 경우 입력되어지는 영상에 대한 강인도가 높으므로 입력 영상에 따른 disparity의 결과 차이가 크게 나타나지 않게되기 때문에 간단한 알고리즘으로 수행하기로 했다.  
• disparity를 측정하는 피사체가 물체의 경우에는 광원의 사용에 대해서 크게 문제가 없으나, 피사체가 사람의 경우에는 가시광을 이용한 방법은 크게 제약을 받게 된다. 본 논문에서는 Kinect와 유사하게 IR영역에서 DoE를 사용하여 패턴을 조사하는 것을 사용하도록 한다. 특히 DoE를 사용함으로서 점 단위의 패턴을 사용가능하는 것도 장점이다.
• 이때 원본 영상과 패턴이 합성될 시에 두 영상간의 상대적인 밝기 정보의 비율에 의해서 disparity 정보를 얻을 때 영향을 미치게 된다. 본 논문에서는 실제로 촬영된 패턴 영상을 통해서 원본과 패턴의 세기 정도가 스테레오 매칭 결과에 미치는 영향을 알아보고, 두 정보를 모두 사용하는 시스템을 구성할 경우에 카메라의 셋팅과 두 영상정보를 합성하는 방법에 대해서 논의하고자 한다.
• 하지만 이러한 방식은 패턴이 주사되지 않은 폐색영역이나 패턴이 잘 반사되지 않는 부분에서 많은 오류가 발생하게 되며, 야외환경과 같은 프로젝션되는 패턴과 같은 파장의 빛이 들어오는 곳에서도 패턴이 보이지 않아서 거리정보를 획득할 수가 없게 된다. 본 논문에서는 이러한 점을 해결하고자 패턴과 원본 이미지의 텍스처가 혼재한 상태에서의 스테레오 매칭을 가정하고자 한다. 이때 원본 영상과 패턴이 합성될 시에 두 영상간의 상대적인 밝기 정보의 비율에 의해서 disparity 정보를 얻을 때 영향을 미치게 된다.
• 정성적으로 평가하기에 7번 영상이 다른 영상에 비하여 좋은 결과를 나타내기 때문에 이를 groundtruth처럼 가정하고 각 영상에 대해서 에러율을 측정하였다. 본 논문에서는 전체 영역에 대하여 disparity 값이 1이상 차이난 픽셀의 개수를 측정하여 전체 픽셀에 대한 비율로 에러율을 나타내었다. 패턴에 비해 원본 영상이 다음의 그림 5는 7번 영상을 기준으로 에러율이 증가함으로서 패턴의 비율이 낮거나 너무 높은 경우에는 에러율이 증가함을 알 수 있다.
• 실험은 영상을 얻을 시에 카메라의 파라미터를 조정하여 서로 다른 노출 및 Gain을 가지는 영상들의 조합을 사용하여 영상을 합성하고 3절에서 설명되어진 스테레오 매칭 알고리즘을 통해 얻어진 Disparity의 변화를 살펴보고자 하였다. 본 실험에서는 groundtruth를 획득하기가 용이하지 않기 때문에 각 disparity간의 상대적인 차이를 사용하여 비교를 하고자 한다.
• 실험은 영상을 얻을 시에 카메라의 파라미터를 조정하여 서로 다른 노출 및 Gain을 가지는 영상들의 조합을 사용하여 영상을 합성하고 3절에서 설명되어진 스테레오 매칭 알고리즘을 통해 얻어진 Disparity의 변화를 살펴보고자 하였다. 본 실험에서는 groundtruth를 획득하기가 용이하지 않기 때문에 각 disparity간의 상대적인 차이를 사용하여 비교를 하고자 한다.

가설 설정

• 정성적으로 평가하기에 7번 영상이 다른 영상에 비하여 좋은 결과를 나타내기 때문에 이를 groundtruth처럼 가정하고 각 영상에 대해서 에러율을 측정하였다. 본 논문에서는 전체 영역에 대하여 disparity 값이 1이상 차이난 픽셀의 개수를 측정하여 전체 픽셀에 대한 비율로 에러율을 나타내었다.

제안 방법

• 본 논문에서는 기존의 패시브 방식의 스테레오 매칭을 극복하고자 제안된 액티브 스테레오 매칭 방식에서 DoE 이용한 패턴을 사용한 환경을 사용하였다. 또한 이렇게 구성된 환경에서 원본 영상과의 패턴 영상과의 비율을 서로 달리 하여 스테레오 매칭을 수행한 결과 어느 한쪽이 강한 것 보다는 두 영상의 특징이 잘 나타내는 영상이 가장 좋은 결과를 얻는다는 것을 확인하였다.
• 위와 같이 IR대역의 패턴의 성능을 높이기 위해선 필터를 사용하게 되고, 원영상도 IR대역을 받아야 하므로 IR광원이 추가로 필요하게 된다. 이를 한 시스템에서 구현하고자 영상의 프레임 단위에 따라서 한번은 DoE 패턴 조사를 위한 레이저를 다음 프레임에서는 IR LED를 점등하는 방식으로 구현하고자 한다. 다음의 그림은 본 논문에서의 시스템을 사용하여 얻어진 패턴영상과 LED광원을 통한 원영상을 나타내고 있다.

이론/모형

• PF는 파라미터가 간단하고 연산량이 O(1) 수준이다. disparity computation 방법으로는 WTA(Winner Takes All), Post-processing 기법은 사용하지 않았다. 상기의 나열된 알고리즘은 구조가 간단하며 구현이 용이하고 시뮬레이션의 시간이 오래 걸리지 않는 장점이 있다.
• . 본 논문에서는 matching cost 로서 AD-Census를 사용하고 cost aggregation으로서 adaptive weight방식인 Information permeability filtering(PF)를 사용하였다. PF는 파라미터가 간단하고 연산량이 O(1) 수준이다.

성능/효과

• 본 논문에서는 기존의 패시브 방식의 스테레오 매칭을 극복하고자 제안된 액티브 스테레오 매칭 방식에서 DoE 이용한 패턴을 사용한 환경을 사용하였다. 또한 이렇게 구성된 환경에서 원본 영상과의 패턴 영상과의 비율을 서로 달리 하여 스테레오 매칭을 수행한 결과 어느 한쪽이 강한 것 보다는 두 영상의 특징이 잘 나타내는 영상이 가장 좋은 결과를 얻는다는 것을 확인하였다. 차후에 다양한 스테레오 매칭의 수행을 통한 검증으로 액티브 방식의 스테레오 매칭에서의 결과값을 예측하고, 이를 시스템 구성시에 활용하고자 한다.
•  그림 4는 패턴과 원본영상의 비율에 따른 Disparity 결과를 나타낸 것이다. 촬영된 영상에서 벽의 경우 Textureless 구간이기 때문에 패턴보다 원본영상의 비율이 클수록 에러가 나타나게 되며, 패턴의 비율이 높아질수록 에러가 줄어드는 것을 확인할 수 있다. 

후속연구

• 또한 이렇게 구성된 환경에서 원본 영상과의 패턴 영상과의 비율을 서로 달리 하여 스테레오 매칭을 수행한 결과 어느 한쪽이 강한 것 보다는 두 영상의 특징이 잘 나타내는 영상이 가장 좋은 결과를 얻는다는 것을 확인하였다. 차후에 다양한 스테레오 매칭의 수행을 통한 검증으로 액티브 방식의 스테레오 매칭에서의 결과값을 예측하고, 이를 시스템 구성시에 활용하고자 한다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기