[논문]스테레오 이미지를 이용한 특징점 매칭 기반 누락 이미지 복원

최현지; 이덕우

[국내논문] 스테레오 이미지를 이용한 특징점 매칭 기반 누락 이미지 복원
Image Restoration using Stereo Images based on Feature Matching 원문보기

최현지 (계명대학교 컴퓨터공학부) , 이덕우 (계명대학교 컴퓨터공학부)

스테레오 이미지는 카메라 두 대를 사용하여 찍은 미묘하게 다른 두 사진을 의미한다. 이 차이는 우리가 두 눈의 차이로 대상과의 거리를 계산하는 것처럼 이미지의 깊이를 예측할 수 있기에 요즘 주목받고 있는 자율주행 자동차나 로봇 비전에 이 기술이 사용된다. 심지어는 스마트폰 또한, 듀얼 카메라라는 이름으로 우리 일상생활에 쉽게 접할 수 있다. 이러한 상황에서 본 논문에서는 두 대의 카메라에서 찍힌 스테레오 이미지에서 손상된 한쪽의 이미지를 복원하는 기술문제에 대해 다루고자 한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

[1, 2, 3, 4]. 본 논문에서는 이 스테레오 이미지를 이용하여 한쪽의 손상된 이미지를 다른 쪽의 이미지를 이용하여 복원하는 문제에 대해 다루고자 한다.

가설 설정

edu/에서 제공해주는 스테레오 데이터셋을 사용한다. 그리고 하나의 이미지에 손실이 일어났음을 가정하고 픽셀한 연역을 검게 칠하여 사용한다. 이 이미지들은 흑백으로 불러 Mat 클래스에 저장된다.

제안 방법

두 이미지로 이루어진 스테레오 영상에 대한 서로의 관계를 알기 위해선 우선 두 이미지에서 특징점과 기술자를 계산하였다. 특징점과 기술자를 계산하기 위한 알고리즘은 여러 종류가 존재하지만 본 실험에서는 ORB(oriented BRIEF)라는 알고리즘을 사용한다.
FD에서 특징점의 후보를 검출한 후 후보들을 FS(Feature Score) 단계에서 주변 픽셀값들을 이용하여 값을 측정한다.
위의 식을 이용하여 밝은 픽셀들의 차의 합과 어두운 픽셀들의 차의 합중 최댓값을 각 픽셀의 점수를 매긴 후 NMS(Non Maximum Suppression) 단계에서 가장 높은 점수를 가진 후보를 최종 코너로 선택한다. 이제 ORB는 선택된 특징점에 BRIEF descriptors를 사용하여 기술자를 계산한다.
이제 ORB는 선택된 특징점에 BRIEF descriptors를 사용하여 기술자를 계산한다. 하지만 Brief 기술자 계산은 회전을 고려하지 않아 회전에 대해 제대로 작동하지 않는다.
이 이미지들은 흑백으로 불러 Mat 클래스에 저장된다. 저장된 두 개의 Mat 객체를 토대로 이 두 이미지로 이루어진 스테레오 이미지의 연관 관계를 알기 위해서 두 이미지에 ORB를 사용하여 특징점과 기술자를 구하였다.
이를 바탕으로 B 이미지의 특징점을 A 이미지 위에 만큼 차이를 두어 적용해보았다. 적용한 결과 그림5와 같이 B 이미지에서 손실된 부분으로 추정되는 구역이 특징점으로 둘러싸여 있는 모습을 볼 수 있다.
적용한 결과 그림5와 같이 B 이미지에서 손실된 부분으로 추정되는 구역이 특징점으로 둘러싸여 있는 모습을 볼 수 있다. 이 구역을 B 이미지에서 손실된 부분으로 가정하고 A 이미지를 바탕으로 B 이미지를 복원하기 위해 이 부분의 픽셀 정보를 복사하여 추출하였다.
위 실험을 통해 스테레오 이미지를 통한 이미지 복원 문제에 대해 다루어 보았다. 위 이미지는 단순한 이동변화만 있는 샘플 데이터를 사용하여 단순히 구역 하나를 손실된 부위에 그대로 사용했음에도 불구하고 좋은 복원율을 보인다.

대상 데이터

실험 환경은 Visual Studio 2019를 사용하여 C++ 언어로 openCV를 사용하여 진행하였다. 실험에 사용할 이미지는 https://vision.
사용하여 진행하였다. 실험에 사용할 이미지는 https://vision.middlebury.edu/에서 제공해주는 스테레오 데이터셋을 사용한다. 그리고 하나의 이미지에 손실이 일어났음을 가정하고 픽셀한 연역을 검게 칠하여 사용한다.

이론/모형

우선 두 이미지에서 특징점과 기술자를 계산하였다. 특징점과 기술자를 계산하기 위한 알고리즘은 여러 종류가 존재하지만 본 실험에서는 ORB(oriented BRIEF)라는 알고리즘을 사용한다. [5, 6].

성능/효과

이 현상은 손실된 주변의 급격한 픽셀 차이로 인한 현상으로 손실된 부위가 코너 점만큼의 특징점수를 얻기 때문이다. 검출된 특징점을 토대로 비교하고 유추한 결과 A 이미지의한 점 p와 B 이미지의 한점 p’는 만큼 차이가 난다고 가정할 수 있었다.

후속연구

이를 바탕으로 스테레오 카메라의 틀어짐 정도의 카메라 파라미터를 바탕으로 기초행렬(fundamental matrix)를 추정하여 적용한다면 좀 더 광범위하게 적용될 수 있을 것이다.
위 실험을 통해 스테레오 카메라에서 나오는 두 영상을 사용하면 궁극적으로는 서로의 화질을 스스로 개선할 수 있을 것으로 전망한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 스테레오 이미지를 이용한 특징점 매칭 기반 누락 이미지 복원
Image Restoration using Stereo Images based on Feature Matching 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 스테레오 이미지를 이용한 특징점 매칭 기반 누락 이미지 복원 Image Restoration using Stereo Images based on Feature Matching 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 스테레오 이미지를 이용한 특징점 매칭 기반 누락 이미지 복원
Image Restoration using Stereo Images based on Feature Matching 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper