선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
-
따라서 본 논문에서는 노출이 과포화 된 영역의 전체적인 밝기의 균형을 맞춰 자연스러운 영상을 만들고 영상 내 물체를 인식하기 위해 세부 정보를 보존하여 영상을 선명 하게 하는 기법을 제안하고자 한다. 제안된 알고리듬은 Ma[15]가 제안한 패치 기반의 MEF 방법 중 신호 구조 가중치 맵에 전력 가중치 함수 (Power Weighting Function:
제안 방법
- 기존의 알고리듬에서는 영상 패치의 신호 구조를 증가시 키기 위하여 파라미터를 이용한 PWF로 가중치를 할당하였고, 지역적인 명암 대비를 높이기 위해서 패치 단위로 컨볼루션을 수행하여 평균 밝기 부분에 가중치 맵으로써 2차원 가우시안 프로파일을 이용하였다. 하지만 기존의 알고리듬은 실험을 통하여 획득한 결과를 이용하여 파라미터를 설정해야하며, 2차원 가우시안 프로파일의 특성상 단일 돌출 (Single Peak)부분이 생성되기 때문에 영상을 출력하였을 때 분포 값이 한쪽으로 치우치게 되어 물체의 윤곽선이 보존되지 않은 결과를 초래하였다.
- MEF는 일괄된 영상 중에 가장 최적의 영역을 추출하여 연속적으로 연결하고 최종적으로 융합된 영상을 만드는 방법이다. 또한 중간의 HDR 구성 단계를 우회하고 일반 디스플레이 장치에 직접 LDR 영상으로 출력함으로써 HDR 영상과 LDR 영상 간의 차이를 줄이는 효율적인 대안을 제공한다. MEF는 서로 다른 노출을 나타내는 영상을 입력하면 더 정확하게 지각할 수 있는 LDR 영상을 직접 합성 할 수 있다[7,8].
- 본 논문에서는 Laplacian을 이용한 언샤프 마스킹 필터와 감마 변환에 기반한 선형 결합을 통해 새로운 화질개선알고리듬을 제안하였고, 제안된 알고리듬의 성능을 평가하기 위해 기존의 알고리듬들과 객관적 및 주관적인 화질 비교 실험을 수행하였다. 실험결과에 따르면 제안된 알고리듬은 명암 대비 면에서 기존의 알고리듬들보다 자연스럽게 나타내었다.
- MEF-SSIM은 다중 노출 합성 알고리듬의 객관적인 화질을 평가하기 위해 사용되는 측정 지표이다. 이 측정 지표는 결과 영상의 대비 및 구조 부분에 대해 분석하고 성능을 평가한다. MEF-SSIM의 값이 1에 가까울수록 객관적 화질이 우수함을 나타낸다.
- 위에서 언급한 바와 같이 자연 영상의 경우에는 HDR에 속해있는 밝기 레벨을 포함하므로 고정된 노출 설정을 가진 일반카메라로는 영상 내 정보를 완전히 취득 할 수 없는 문제가 발생한다[6]. 이러한 문제를 해결하기 위해 단일 영상 안에서 다중 노출 영상 융합 (Multi-Exposure Image Fusion: MEF)을 사용하여 서로 다른 노출 수준을 나타내는 동일한 장면의 여러 영상을 좁은 동적 영역 (Low Dynamic Range: LDR)영상으로 합성한다. MEF는 일괄된 영상 중에 가장 최적의 영역을 추출하여 연속적으로 연결하고 최종적으로 융합된 영상을 만드는 방법이다.
- 또한 영상이 전체적으로 희뿌옇게 되어 시각적 품질이 저하되므로 화질의 손상을 발생함을 알 수 있었다. 이러한 문제점을 극복하기 위해 본 논문에서 제안하는 알고리듬은 그림 2와 같이 나타내며, 신호 구조 부분에 가중치로써 Laplacian을 이용한 언샤프 마스킹 필터와 평균 밝기 부분에 가중치로써 영상의 평균 밝기를 이용한 감마 변환 값을 선형 결합하였다 (그림 (2)). 제안된 알고리듬은 패치 단위의 공간 필터링을 사용하여 영상의 윤곽선을 선명하게 하였고, 과노출 및 저노출 영역과 같이 밝기 값이 한쪽으로 치우쳐진 영상을 교정하여 밝기 값을 부드럽게 조절된 결과 영상을 얻을 수 있게 하였다.
- 정소영[1]은 영상의 밝기 값 분포가 지나치게 한 곳으로 밀집되는 현상을 방지하기 위해 입력 영상의 평균 밝기 값을 이용하여 적절한 감마 변환 식을 도출하였다. 입력 영상의 누적분포 함수 (Cumulative Distribution Function: CDF)와 도출된 감마 변환 식을 선형 결합하여 새로운 CDF를 생성하여 히스토그램 평활화를 수행하였다. Gonzalez[2]는 단순한 화소 값을 이용하여 필터링을 수행하는 공간 필터링 기법을 제안하였다.
-
따라서 본 논문에서는 노출이 과포화 된 영역의 전체적인 밝기의 균형을 맞춰 자연스러운 영상을 만들고 영상 내 물체를 인식하기 위해 세부 정보를 보존하여 영상을 선명 하게 하는 기법을 제안하고자 한다. 제안된 알고리듬은 Ma[15]가 제안한 패치 기반의 MEF 방법 중 신호 구조 가중치 맵에 전력 가중치 함수 (Power Weighting Function:
PWF)대신 Laplacian을 이용한 언샤프 마스킹 필터와 평균 밝기 가중치 맵에 2차원 가우시안 프로파일 방법 대신 감마 변환을 이용하여 선형 결합하였다. 제안된 알고리듬은 영상 내 너무 밝거나 어두운 영상과 같이 밝기 값이 한쪽으로 치우쳐진 영상을 교정하여 밝기 값을 부드럽게 조절하였으며, 윤곽선을 보존하여 선명한 영상을 얻을 수 있게 한다. - PWF)대신 Laplacian을 이용한 언샤프 마스킹 필터와 평균 밝기 가중치 맵에 2차원 가우시안 프로파일 방법 대신 감마 변환을 이용하여 선형 결합하였다. 제안된 알고리듬은 영상 내 너무 밝거나 어두운 영상과 같이 밝기 값이 한쪽으로 치우쳐진 영상을 교정하여 밝기 값을 부드럽게 조절하였으며, 윤곽선을 보존하여 선명한 영상을 얻을 수 있게 한다.
- 이러한 문제점을 극복하기 위해 본 논문에서 제안하는 알고리듬은 그림 2와 같이 나타내며, 신호 구조 부분에 가중치로써 Laplacian을 이용한 언샤프 마스킹 필터와 평균 밝기 부분에 가중치로써 영상의 평균 밝기를 이용한 감마 변환 값을 선형 결합하였다 (그림 (2)). 제안된 알고리듬은 패치 단위의 공간 필터링을 사용하여 영상의 윤곽선을 선명하게 하였고, 과노출 및 저노출 영역과 같이 밝기 값이 한쪽으로 치우쳐진 영상을 교정하여 밝기 값을 부드럽게 조절된 결과 영상을 얻을 수 있게 하였다.
대상 데이터
- 기존의 알고리듬 [15] 와 제안하는 알고리듬에서 패치의 크기는 11 × 11를 사용하였다. 본 논문에서는 KitchenWindow, Building, Coffeeshop, PopcornCounter, Lighthouse, Cave, BelgiumHouse, OldHouse, SecretBeach, SantamonicaSunset 및 Landscape 총 11장의 실험영 상이 사용되었다. 복잡한 알고리듬이 추가됨에 따라 기존의 알고리듬 대비 전체적인 노출 합성 수행 시간이 증가하였으나 주관적 화질 측면에서는 기존 알고리듬에 비해 제안하는 알고리듬이 향상된 것을 알 수 있었다.
- 본 실험은 Windows 10 64비트 운영체제 Intel® Core™ i5-2500 CPU 3.30GHz의 PC 환경에서 MATLAB R2017a 으로 실험을 진행하였다.
데이터처리
- 복잡한 알고리듬이 추가됨에 따라 기존의 알고리듬 대비 전체적인 노출 합성 수행 시간이 증가하였으나 주관적 화질 측면에서는 기존 알고리듬에 비해 제안하는 알고리듬이 향상된 것을 알 수 있었다. 제안하는 알고리듬의 성능을 평가하기 위해서 Ma [15] 와 Liu [16] 이 제안한 알고리듬의 객관적 및 주관적인 화질을 비교하였다.
성능/효과
- 그림 8(a)의 Ma [15] 과 그림 8(b)의 Liu [16] 의 알고리듬은 건물 내 불빛이 있는 부분에 빛이 많이 번지고 그로 인해 영상 전체가 뿌옇게 되는 결과를 초래하였다. 그러나 그림 8(c)의 제안 하는 알고리듬에서는 빛이 번지는 현상을 방지하고 건물의창이나 벽의 세세한 부분을 보존하여 시각적인 품질을 향상시켰다. 그림 9(a)의 Ma [15] 과 그림 9(b)의 Liu [16] 의 알고리듬은 밝기의 부조화로 인해 영상이 전체적으로 부자연스럽다.
- 특히 건물 안의 어두운 영역의 빛이 불포화 상태가 되어 물체의 식별이 어려운 결과를 초래하였다. 그러나 그림 9(c)의 제안하는 알고리듬에서는 전체적인 영상 밝기를 조절할 뿐만 아니라 건물 안의 윤곽선이 보존됨으로써 불포화 상태가 해결되어 물체를 식별할 수 있는 결과 영상을 얻었다. 마지막으로 그림 10(a)의 Ma [15] 의 알고리듬은 영상의 대비와 윤곽선이 강조되다 보니 밝기의 부조화가 일어나 시각적 품질이 저하되었다.
- 따라서 결과 영상에서는 영상 내 과노출 영역에서 과포화 현상이 나타나는 영역 에서 물체를 식별하기 어렵다. 또한 영상이 전체적으로 희뿌옇게 되어 시각적 품질이 저하되므로 화질의 손상을 발생함을 알 수 있었다. 이러한 문제점을 극복하기 위해 본 논문에서 제안하는 알고리듬은 그림 2와 같이 나타내며, 신호 구조 부분에 가중치로써 Laplacian을 이용한 언샤프 마스킹 필터와 평균 밝기 부분에 가중치로써 영상의 평균 밝기를 이용한 감마 변환 값을 선형 결합하였다 (그림 (2)).
- 본 논문에서는 KitchenWindow, Building, Coffeeshop, PopcornCounter, Lighthouse, Cave, BelgiumHouse, OldHouse, SecretBeach, SantamonicaSunset 및 Landscape 총 11장의 실험영 상이 사용되었다. 복잡한 알고리듬이 추가됨에 따라 기존의 알고리듬 대비 전체적인 노출 합성 수행 시간이 증가하였으나 주관적 화질 측면에서는 기존 알고리듬에 비해 제안하는 알고리듬이 향상된 것을 알 수 있었다. 제안하는 알고리듬의 성능을 평가하기 위해서 Ma [15] 와 Liu [16] 이 제안한 알고리듬의 객관적 및 주관적인 화질을 비교하였다.
- 본 논문에서는 Laplacian을 이용한 언샤프 마스킹 필터와 감마 변환에 기반한 선형 결합을 통해 새로운 화질개선알고리듬을 제안하였고, 제안된 알고리듬의 성능을 평가하기 위해 기존의 알고리듬들과 객관적 및 주관적인 화질 비교 실험을 수행하였다. 실험결과에 따르면 제안된 알고리듬은 명암 대비 면에서 기존의 알고리듬들보다 자연스럽게 나타내었다. 제안된 알고리듬은 밝기 값이 한쪽으로 치우 쳐진 영상을 교정하고 부드럽게 하면서 대비를 높였고 윤곽선을 보존하여 물체가 뚜렷해짐으로써 시각적 품질이 향상된 결과를 얻을 수 있음을 확인하였다.
- 제안된 알고리듬은 밝기 값이 한쪽으로 치우 쳐진 영상을 교정하고 부드럽게 하면서 대비를 높였고 윤곽선을 보존하여 물체가 뚜렷해짐으로써 시각적 품질이 향상된 결과를 얻을 수 있음을 확인하였다. 이러한 결과를 기반으로 노출 값을 다르게 설정한 영상 3장을 이용하는 MEF 기법에 대한 디스플레이 장치에 높은 적용 가능성을 확인하였다. 추후 연구에서는 HDR 영상에서 발생하는 잡음을 제거할 수 있는 기법과 영상 대비에 대한 추가 알고리듬을 적용시켜 객관적인 품질을 향상시켜 제안하는 알고리듬에 대한 효율성을 확보해 나갈 예정이다.
- 실험결과에 따르면 제안된 알고리듬은 명암 대비 면에서 기존의 알고리듬들보다 자연스럽게 나타내었다. 제안된 알고리듬은 밝기 값이 한쪽으로 치우 쳐진 영상을 교정하고 부드럽게 하면서 대비를 높였고 윤곽선을 보존하여 물체가 뚜렷해짐으로써 시각적 품질이 향상된 결과를 얻을 수 있음을 확인하였다. 이러한 결과를 기반으로 노출 값을 다르게 설정한 영상 3장을 이용하는 MEF 기법에 대한 디스플레이 장치에 높은 적용 가능성을 확인하였다.
- 제안한 알고리듬은 Ma [15] 가 제안한 알고리듬에 비해 평균적 성능은 약간 낮게 나타났지만, Liu[16] 이 제안한 알고리듬에 비해서는 평균적인 성능이 높게 나타났다 (표 1).
- 여기서 가중치 m은 사용자 정의 상수를 의미한다 식 (13). 최적의 m을 구하기 위해 실험한 결과 m을 작게 할수록 영상이 전체적으로 밝아졌고, m을 크게 할수록 어두워졌다. 따라서 본 논문에서는 가중치의 평균으로 m=0.
후속연구
- 이러한 결과를 기반으로 노출 값을 다르게 설정한 영상 3장을 이용하는 MEF 기법에 대한 디스플레이 장치에 높은 적용 가능성을 확인하였다. 추후 연구에서는 HDR 영상에서 발생하는 잡음을 제거할 수 있는 기법과 영상 대비에 대한 추가 알고리듬을 적용시켜 객관적인 품질을 향상시켜 제안하는 알고리듬에 대한 효율성을 확보해 나갈 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.