[논문]영상 스티칭의 지역 차분 픽셀 평가 방법

이성배; 강전호; 김규헌

doi:10.5909/jbe.2019.24.5.775

영상 스티칭의 지역 차분 픽셀 평가 방법
Local Differential Pixel Assessment Method for Image Stitching 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.24 no.5, 2019년, pp.775 - 784

이성배 (경희대학교 전자공학과) , 강전호 (경희대학교 전자공학과) , 김규헌 (경희대학교 전자공학과)

초록
AI-Helper

영상 스티칭은 다수의 영상을 합성하여 카메라의 좁은 시야각(Field of View) 문제를 해결하는 기술이다. 최근 동영상 기반 Panorama, Super Resolution, 360 VR(Virtual Reality) 등의 콘텐츠 사용이 증가함에 따라, 보다 빠르고 정확한 영상 스티칭 기술의 필요성이 커지고 있다. 또한, 지금까지 필요 성능을 만족시키기 위해 많은 알고리즘이 제안되고 있지만, 정확성을 측정하는 객관적 평가 방법은 표준화되지 않고 있다. 최근에서야 PSNR(Peak signal-to-noise ratio)과 SSIM(Structural similarity index method) 측정값을 제시하는 방법이 주를 이루고 있지만, 본 논문에서는 PSNR과 SSIM 측정 방식의 문제점을 밝히고, 해당 방법의 한계점을 극복하여 기하적 유사성과 광도 측정 정보를 포괄하는 지역 차분 픽셀 평가(LDPM: Local differential pixel mean)방법을 제안한다. 또한, 본 논문에서 제안하는 LDPM(Local differential pixel mean) 평가 방식을 테스트 영상을 통해 증명하고 SSIM과 비교를 통해 해당 평가 방법의 이점을 밝힌다.

Abstract ▼ AI-Helper

Image stitching is a technique for solving the problem of narrow field of view of a camera by composing multiple images. Recently, as the use of content such as Panorama, Super Resolution, and 360 VR increases, the need for faster and more accurate image stitching technology is increasing. So far, many algorithms have been proposed to satisfy the required performance, but the objective evaluation method for measuring the accuracy has not been standardized. In this paper, we present the problems of PSNR and SSIM(Structural similarity index method) measurement methods and propose a Local Differential Pixel Mean method. The LDPM evaluation method that includes geometric similarity and brightness measurement information is proved through a test, and the advantages of the evaluation method are revealed through comparison with SSIM.

주제어

표/그림 (10)

그림 그림 1. PSNR과 영상 Fig. 1. PSNR and Image
그림 그림 2. 원본 영상과 컬러 톤 왜곡 영상 Fig. 2. Original image and color distorted image
그림 그림 3. 인공물 예시 (a) Ghost Effect (b) Seam Fig. 3. Examples of artifacts (a) Ghost Effect (b) Seam
그림 그림 4. Homography와 Overlap Region Fig. 4. Homography and Overlap Region
그림 그림 5. LP와 LDP Fig. 5. LP and LDP
그림 그림 6. Blending과 LDPFig. 6. Blending and LDP
그림 그림 7. 왼쪽 영상 (a) (c), 오른쪽 영상 (b) (d), 스티칭 결과 영상 (e) (f) Fig. 7. Left Image (a) (c), Right Image (b) (d), Stitching Image (e) (f)
그림 그림 8. 왼쪽 영상 (a) (c), 오른쪽 영상 (b) (d), 스티칭 결과 영상 (e) (f) Fig. 8. Left Image (a) (c), Right Image (b) (d), Stitching Image (e) (f)
표 표 1. 흑백 영상 스티칭 평가 Table 1. Gray Color Image Stitching Assessment
표 표 2. 컬러 영상 스티칭 평가 Table 2. Color Image Stitching Assessment

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

일반적으로 육안으로 한 주관적 평가와 PSNR, SSIM을 통한 평가가 일치하는 결과를제공하고 있으나, PSNR과 SSIM으로 평가하는 것과 육안으로 평가한 결과가 일치하지 않는 경우도 발생한다. 따라서, 본 논문에서는 PSNR과 SSIM 기반 영상 스티칭 결과평가 방법의 문제점을 밝히고 영상 스티칭 평가의 새로운방법을 제시하고 추가적인 이점 또한 밝히고자 한다.

가설 설정

마지막으로 그림 8의 (c), (d), (f)의 테스트는 서로 다른조명 환경을 갖는 좌측 영상과 우측 영상을 이용하여 솔기가 있는 스티칭 영상을 생성한 것을 가정하였으며, 스티칭영상 ①에 대해서는 MSSIMe 0.9935로 나타났고, LDPM 은 0.3183%로 나타났다 컬러 영상의 경우에도 MSSIM과 LDPM 모두 블렌딩을 적용하지 않아 솔기가 존재하는 스티칭 영상을 가장 낮은 품질의 영상이라고 평가를 내렸다.
그림 8의 (c), (d), (e) 테스트는 서로 다른 조명 환경을 갖는 좌측 영상과 우측 영상을 스티칭하는 과정에서 스티칭 영상에 솔기가 없도록 블렌딩한 것을 가정하였다 블렌딩을 통해 보정하였기 때문에 표 2에서 보는 바와 같이 스티칭 영상 (e)에 대해서 MSSIMe 0.9942로 나타났고 LDPMe 0.
그림 7의 (c), (d), (e)의 테스트는 서로 다른 조명 환경을 갖는 좌측 영상과 우측 영상을 스티칭하는 과정에서 스티칭 영상에 솔기가 없도록 블렌딩한 것을 가정하였다. 블렌딩을 통해 보정하였기 때문에 표 1에서 보는 바와 같이 스티칭 영상 (e)에 대해서 MSSIMe 0.
Di부터 Ds 중에서 하나라도 값이 다르다면 e 가 8보다 작아 match를 ‘1’로 설정하고 모두 같으면 e 가 8이 되어 match를 ‘0’으로 설정한다식 (9) entk에서 두 LDP의 Dk를 비교할 때 # 임계 값을설정하는 이유는 영상의 색 공간 이동 및 호모그래피 변환과정에서 달라질 수 있는 픽셀 값을 보상하기 위함이다. 본논문의 실험에서는 평행하게 설치된 카메라를 통하여 촬영한 흑백 영상을 활용하여, 호모그래피 변환 과정과 색 공간이동에 따른 픽셀 정보의 손실이 없으므로 임계값을 0으로설정하였다 또한 컬러 영상 실험의 경우 색 공간의 이동에따른 픽셀 정보의 손실이 예상되므로 임계값을 2로 설정하였다

제안 방법

Pixel Assessment Method)을 제시하고자 한다. 본 논문에서 제시하는 LDPMe 크게 측정 공간을 정의하는 부분과 스티칭에서 발생되는 왜곡을 측정하는 방법으로 구성되어 있다
또한 MSSIMe 여러 SSIM의 평균이기 때문에 SSIM 과 마찬가지로 픽셀 정보를 따로 사용할 수 없는 한계점이 존재한다. 이는 SSIM을 기반으로 한 IW-SSIM, FSIM, GSM 등 또한 마찬가지이다 픽셀 단위 정보는 보다 정확한 스티칭 구현에 필수적인 데이터이기에, 본 논문에서는 픽셀 단위 정보와 기하적 유사도를 결합한 영상 스티칭 평가 방법을 III장에서 제시한다.
C, Cv G는 분모가 0이 되는 경우를 방지하기 위한 안정화 변수이다. 최종 평가 지수를 구하기위해 전체 영상을 크기의 작은 윈도우(window) 단위로분할하고, 각 윈도우 단위로 계산한 SSIM의 평균인 MSSIM(Mean SSIM)을 구하여 0부터 1 사이의 평가 지수로 제시한다* [5].

대상 데이터

LDPM를 검증하고자 한다. 좌측 영상과 우측 영상은 평행하게 설치된 카메라를 통해 촬영되었고, 스티칭 영상의 설계 시스템은 Visual Studio 2015에서 C++ 기반으로 Opencv의 AutoStitch를 통해 생성했다.

성능/효과

(a), (b), (e) 테스트와 동일하게 MSSIMe 평가 지수 ‘1’을 기록하였고, LDPM 평가 방법은 ‘0’을 기록하여 컬러 영상에서도 정확한 평가 결과를 나타냈다
그림 7의 (a), (b), (e)의 테스트는 동일한 조명 환경을 갖는 좌측 영상과 우측 영상을 통해 인공물이 생성되지 않은스티칭 영상을 가정하였다 표 1에서 나타난 바와 같이 스티칭 영상 (e)에 대해서 MSSIMe 평가 지수 ‘1’을 기록하였고, LDPM 평가 방법은 ‘0’을 기록하여 두 평가 방법 모두 정확한 평가 결과를 나타냈다
전제조건을 만족하지 않은 상황에서 PSNRe 아래 그림 1과 같은 잘못된 평가를 내릴 수 있다. 그림 1에는 PSNR 수치가 비슷한 (a), (b)의 사진 두 장이 있다 PSNR의 수치는 영상 (a)가 더 높지만, 인간의 주관적 화질 평가로 판단한 경우, (b)가 해당 사진의 물체 형상을 보다 구체적으로 제공하고 있기에, (b)를 상대적으로 화질이 더 좋은 영상이라고 평가를 내린다 이를 통해서 확인할 수 있는 사항은 PSNR이 높다는 의미는 영상의 절대적인 품질이 좋다는 의미보다는 원본 영상과 비교 영상의 픽셀 정보가 유사하다는 것을 확인할 수 있다
반면 LDPMe (a), (b), (e)의 테스트는 0%, (c), (d), (e)의 테스트는 0.9315%, (c), (d), (f)의 테스트는 1.7605%로 기록되었다 블렌딩을 적용한 스티칭 영상과 블렌딩을 적용하지 않은 영상의 LDPM 차이가 약 두 배로 MSSIM보다는오류 민감도가 크게 나타났으며, 또한, 동일한 평가 공간에서 평가를 진행했음에도 LDPM이 MSSIM보다 오류 민감도가 더 큰 것을 보였다
마지막으로 그림 7의 (c), (d), (f)의 테스트는 서로 다른 조명 환경을 갖는 좌측 영상과 우측 영상을 이용하여 솔기가 있는 스티칭 영상을 생성한 것을 가정하였으며, 스티칭 영상 ①에 대해서는 MSSIMe 0.9335로 나타났고, LDPM 은 1.7605%로 나타났다 MSSIM과 LDPM 모두 블렌딩을 적용하지 않아 솔기가 존재하는 스티칭 영상을 가장 낮은 품질의 영상이라고 평가를 내렸다.
공통 영역 전체에 걸쳐 계산한 평가 값을공통 영역의 영상 사이즈로 나눈 것이 최종적인 LDPM 값으로 정의된다. 본 논문에서는 오류 지점을 찾아내는 것이주된 목적이기 때문에 LDP를 비교하는 것은 기존 PSNR과 SSIM과 달리 결과 수치가 0에 가까울수록 좋은 품질의 스티칭 영상으로 나타낸다.
앞선 그림 7의 흑백 영상 스티칭 평가에서는 좌측 영상과우측 영상의 공통 영역 크기가 501 X 1760인 반면, 컬러 영상 스티칭 평가에서는 공통 영역은 크기가 1400 X 1760이다 LDPM의 계산식에서 공통 영역의 크기는 분모에 위치하기 때문에 컬러 영상의 평가에서 LDPM 측정값이 작아졌지 만, SSIM의 평가보다 LDPM의 오류 민감도가 더 큰것을 보였다
이와 같은 실험을 통해 본 논문에서 제안하는 LDPM 방법은 SSIM에서 제공하는 구조적 유사도 기반의 평가 측정을 제공하면서, 픽셀 기반의 정보를 활용함으로써, 스티칭영상에 대한 품질에 대한 보다 정확한 평가 결과를 제공할수 있음을 확인할 수 있다

후속연구

최근 딥러닝을 통한 영상 스티칭의 시도가 늘어나고 있음에 따라, 딥러닝 시스템의 스스로 판단하는 과정에서 스티칭 영상의 결과에 대한 보다 객관적인 평가 및 판단 방법의 개발이 요구된다. 본 논문에서 제시하는 지역 차분 픽셀 평가 방법 (LDPM)은 오류 픽셀의 정보와 구조적 유사도 정보를 활용하기에, 픽셀 단위 평가를 진행하면서 오류로 판단되는 픽셀을 버퍼에 저장하고, 오류 픽셀들의 좌표들을 묶어 라벨링 (labeling)을 통해 패턴을 규정함으로써 오류의 종류까지 분류가 가능해 딥러닝 기반의 영상 스티칭에서 활용할 것으로 기대된다. 본 논문에서는 기하 적 평가를 가능하게 하는 최소 단위 크기 LP, LDP 블록을 통해 영상 스티 칭 평가를 진행 하지 만, 추가로 LDPM의 LP, LDP의 블록 사이즈를 늘리거나 LDP 블록의 외각 성분을 또 다른 LDP로 묶어 활용하는 방법 등의 추가적인 연구를 진행함으로써 보다 만족스러운 평가 결과와 딥러닝 기반 스티칭 결과를 제공할 것으로 기대된다
본 논문에서 제시하는 지역 차분 픽셀 평가 방법 (LDPM)은 오류 픽셀의 정보와 구조적 유사도 정보를 활용하기에, 픽셀 단위 평가를 진행하면서 오류로 판단되는 픽셀을 버퍼에 저장하고, 오류 픽셀들의 좌표들을 묶어 라벨링 (labeling)을 통해 패턴을 규정함으로써 오류의 종류까지 분류가 가능해 딥러닝 기반의 영상 스티칭에서 활용할 것으로 기대된다. 본 논문에서는 기하 적 평가를 가능하게 하는 최소 단위 크기 LP, LDP 블록을 통해 영상 스티 칭 평가를 진행 하지 만, 추가로 LDPM의 LP, LDP의 블록 사이즈를 늘리거나 LDP 블록의 외각 성분을 또 다른 LDP로 묶어 활용하는 방법 등의 추가적인 연구를 진행함으로써 보다 만족스러운 평가 결과와 딥러닝 기반 스티칭 결과를 제공할 것으로 기대된다

참고문헌 (14)

8K TV War which burned in the second half ... Korea, China, Japan, "Three Kingdoms", http://news.heraldcorp.com/view.php?ud20190621000013 (accessed June, 21, 2019).
Samsung Electronics Expands QLED 8K TV Market, http://www.naeil.com/news_view/?id_art315419 (accessed June, 07, 2019).
Jeonho Kang, Junsik Kim, SangIL Kim, and Kyuheon Kim, "Method of Video Stitching based on Minimal Error Seam", The Korean Institute of Broadcast and Media Engineers, Vol.24, No.1, pp.142-152, January, 2019.
Matthew Brown and David G. Lowe. "Automatic panoramic image stitching using invariant features" International Journal of Computer Vision. Vol. 74, No.1, pp.55-73. 2007.
Wang, Zhou, et al. "Image Quality Assessment: from error visibility to structural similarity." IEEE transactions on image processing, Vol.13, No.4, pp.600-612. 2004.

상세보기
R. Szeliski, "Image Alignment and Stitching: A Tutorial." Foundations and Trends in Computer Graphics and Computer Vision, Vol. 2, No.1, 2006.
A. Zomet, A. Levin, S. Peleg, Y. Weiss, "Seamless image stitching by minimizing false edges" IEEE Trans. Image Process, Vol. 15, No.4, pp.969-977, 2006.

상세보기
Eden, Ashley, Matthew Uyttendaele and Richard Szeliski, "Seamless image stitching of scenes with large motions and exposure differences.", IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06), Vol. 2, 2006.
Meer Sadeq Billah, Heejune Ahn, "Objective Quality Assessment Method for Stitched Image", The Korean Institute of Broadcast and Media Engineers, Vol.23, No.2, pp.227-234, March, 2018.
Xu, Wei, and Jane Mulligan. "Performance evaluation of color correction approaches for automatic multi-view image and video stitching." 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.263-270, 2010.
Qureshi, H. S., et al. "Quantitative quality assessment of stitched panoramic images." IET image processing, Vol.6, no.9, pp.1348-1358, 2012.

상세보기
WANG, Zhou; LI, Qiang. Information content weighting for perceptual image quality assessment. IEEE Transactions on Image Processing, Vol.20, No.5, pp.1185-1198, 2010.
Zhang, Lin, et al. "FSIM: A feature similarity index for image quality assessment." IEEE transactions on Image Processing, Vol.20, No.8, pp.2378-2389, 2011.

상세보기
Liu, Anmin, Weisi Lin, and Manish Narwaria. "Image quality assessment based on gradient similarity." IEEE Transactions on Image Processing, Vol.21, No.4, pp.1500-1512, 2011.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증