디지털 카메라에서는 일반적으로 높은 공간주파수에 의해 발생하는 주파수 간섭을 제거하기 위해 광저대역 투과 필터(optical lowpass filter)를 사용한다. 그러나 영상을 획득할 때 광저대역 투과 필터의 사용으로 고주파 성분이 제거되어 상세 성분의 손실을 가져오게 된다. 이와 반대로, 광저대역 투과 필터를 제거한 후에 영상을 획득할 경우, 높은 공간주파수를 가지는 영역에서 moir$\acute{e}$가 발생하게 된다. 따라서, 본 논문에서는 카메라의 광저대역 투과 필터를 제거 후 영상의 상세 성분을 보존하고 moire를 제거하는 방법을 제안한다. 먼저 ISO12233 해상도 차트를 사용하여 카메라의 공간해상도(spatial frequency response)를 분석하고, 카메라의 최대 분해능에 해당하는 해상도 차트의 패턴을 모델링하여 moir$\acute{e}$가 발생하는 영역을 검출한다. 검출된 moir$\acute{e}$ 영역을 주파수 도메인에서 분석하고 DC 성분과 최대 주파수 사이의 각 주파수별 최대 값에서 발생하는 변곡점을 검출하고 변곡점에 해당하는 값을 제거하여 moir$\acute{e}$ 성분을 제거한다. 실험 결과 제안한 방법은 상세 성분의 손실을 줄이고 moir$\acute{e}$ 제거에서 우수한 성능을 보였다.
디지털 카메라에서는 일반적으로 높은 공간주파수에 의해 발생하는 주파수 간섭을 제거하기 위해 광저대역 투과 필터(optical lowpass filter)를 사용한다. 그러나 영상을 획득할 때 광저대역 투과 필터의 사용으로 고주파 성분이 제거되어 상세 성분의 손실을 가져오게 된다. 이와 반대로, 광저대역 투과 필터를 제거한 후에 영상을 획득할 경우, 높은 공간주파수를 가지는 영역에서 moir$\acute{e}$가 발생하게 된다. 따라서, 본 논문에서는 카메라의 광저대역 투과 필터를 제거 후 영상의 상세 성분을 보존하고 moire를 제거하는 방법을 제안한다. 먼저 ISO12233 해상도 차트를 사용하여 카메라의 공간해상도(spatial frequency response)를 분석하고, 카메라의 최대 분해능에 해당하는 해상도 차트의 패턴을 모델링하여 moir$\acute{e}$가 발생하는 영역을 검출한다. 검출된 moir$\acute{e}$ 영역을 주파수 도메인에서 분석하고 DC 성분과 최대 주파수 사이의 각 주파수별 최대 값에서 발생하는 변곡점을 검출하고 변곡점에 해당하는 값을 제거하여 moir$\acute{e}$ 성분을 제거한다. 실험 결과 제안한 방법은 상세 성분의 손실을 줄이고 moir$\acute{e}$ 제거에서 우수한 성능을 보였다.
Digital still camera generally uses optical low-pass filter(OLPF) to enhance its image quality because it removes high spatial frequencies causing aliasing. However, the use of OLPF causes some loss of detail. On the other hand, when image are captured by using no OLPF, the moir$\acute{e}$
Digital still camera generally uses optical low-pass filter(OLPF) to enhance its image quality because it removes high spatial frequencies causing aliasing. However, the use of OLPF causes some loss of detail. On the other hand, when image are captured by using no OLPF, the moir$\acute{e}$ is generally existed in high spatial frequency region of an image. Therefore, in this paper, moir$\acute{e}$ reduction method in case of using no OLPF is suggested. To detect the moir$\acute{e}$, spatial frequency response(SFR) of camera was firstly analyzed by using ISO 12233 resolution chart. Then, moir$\acute{e}$ region is detected by using the patterns that are related to the SFR of camera. next, this region is analysed in the frequency domain. Then, the moir$\acute{e}$ is reduced by removing its frequency component, which represents inflection point between high frequency and DC components. Through the experimental results, it is shown that the proposed method can achieve moir$\acute{e}$ reduction with preserving the detail.
Digital still camera generally uses optical low-pass filter(OLPF) to enhance its image quality because it removes high spatial frequencies causing aliasing. However, the use of OLPF causes some loss of detail. On the other hand, when image are captured by using no OLPF, the moir$\acute{e}$ is generally existed in high spatial frequency region of an image. Therefore, in this paper, moir$\acute{e}$ reduction method in case of using no OLPF is suggested. To detect the moir$\acute{e}$, spatial frequency response(SFR) of camera was firstly analyzed by using ISO 12233 resolution chart. Then, moir$\acute{e}$ region is detected by using the patterns that are related to the SFR of camera. next, this region is analysed in the frequency domain. Then, the moir$\acute{e}$ is reduced by removing its frequency component, which represents inflection point between high frequency and DC components. Through the experimental results, it is shown that the proposed method can achieve moir$\acute{e}$ reduction with preserving the detail.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 논문에서는 카메라의 광저대역 투과 필터 제거 후 영상의 상세 성분을 보존하고 moiré를 제거하는 방법을 제안한다.
본 논문은 광저대역 투과 필터를 제거한 후 획득한 영상에서의 moiré 제거방법을 제안하였다. 먼저 카메라의 공간 해상도을 이용하여 카메라의 분해능을 초과하는 영역을 검출하여 moiré 패턴 영역을 검출하였다.
제안 방법
Moiré 패턴을 검출하기 위하여 카메라의 분해능을 이용하여 moiré 패턴을 검출하였다.
Moiré의 성분을 주파수 도메인에서 분석하기 위하여 먼저 moiré 영역을 밝기 성분과 색도 성분으로 분리하고, 밝기 채널에 대하여 푸리에 변환을 적용하여 주파수 특성을 분석하였다.
각 차트당 5개의 영상을 사용하였고, moiré 영역의 부분별 채널별 비교를 통하여 평가하였다.
다음으로 ISO12233 해상도 차트 영상의 픽셀간 밝기 성분의 차이를 이용하여 카메라의 최대 분해능을 초과하는 패턴을 모델링하고, 이를 이용하여 입력 영상에서 moiré가 발생하는 영역을 검출한다.
다음으로 검출된 moiré 영역에 대하여 각 패턴에 대해 주파수 도메인에서의 변곡점을 제거하여 moiré 현상을 제거하였다.
먼저 카메라의 공간 해상도을 이용하여 카메라의 분해능을 초과하는 영역을 검출하여 moiré 패턴 영역을 검출하였다. 다음으로 검출된 영역을 주파수 도메인에서 분석하여 moiré 성분에 해당하는 변곡점을 제거함으로 영상의 moiré 현상을 제거 하였다. 실험 결과 제안한 방법은 영상의 상세 성분을 보존함과 동시에 moiré 현상을 제거하는 성능을 보였다.
다음으로 카메라의 최대 분해능 이상의 패턴을 검출하기 위해서 카메라의 분해능에 해당하는 두 픽셀차이의 패턴 또는 한 픽셀 차이의 패턴에 대해 검출한다. 따라서, 다음과 같은 두 조건들 중 하나를 만족할 때 moiré 패턴이 발생할 영역 D로 정의 하였다.
다음으로, 검출된 moiré 영역을 주파수 도메인에서 분석하고 각 주파수별 최대 값을 계산하여, 주파수 도메인에서의 moiré 성분에 해당하는 DC 성분과 최대 주파수 사이의 각 주파수별 최대값의 변곡점을 검출한다.
다음으로, 카메라의 분해능을 분석하기 위하여 NX-100 카메라와 ISO 12233 해상도 차트를 이용하여 변조 전달함수를 구하였고, 그림 2과 같은 결과를 획득하였다. 그리고 변조 전달함수의 값이 5%가 될 때의 주파수 값인 0.
따라서 주파수 영역에서 moiré 성분에 해당하는 변곡점을 찾기 위해 각 주파수별 최대값 Mi을 계산하고, 이들 값들에 대해 인근 주파수의 차이 값을 계산하여 그 차이가 큰게 발생하는 변곡점을 검출한다.
또한, moiré 가 발생하는 패턴에 대하여 살펴 본 결과 카메라의 최대 분해능을 초과하는 패턴에서 moiré가 발생하였고 이를 기반으로 그림 4에서 보는 것과 같이 가로 세로 방향의 이웃 픽셀간의 밝기 차이를 이용하여 패턴을 검출하였다.
마지막으로, 이 변곡점에 해당하는 값을 주파수 도메인에서 변곡점과 이웃하는 영역을 평균한 값으로 대체하여 moiré 성분을 제거한다.
먼저 NX-100 카메라의 광저대역 투과 필터를 제거하고 ISO 해상도 차트를 촬영하여 영상을 획득하고, moiré 패턴을 검출하였다.
본 논문은 광저대역 투과 필터를 제거한 후 획득한 영상에서의 moiré 제거방법을 제안하였다. 먼저 카메라의 공간 해상도을 이용하여 카메라의 분해능을 초과하는 영역을 검출하여 moiré 패턴 영역을 검출하였다. 다음으로 검출된 영역을 주파수 도메인에서 분석하여 moiré 성분에 해당하는 변곡점을 제거함으로 영상의 moiré 현상을 제거 하였다.
본 논문에서는 그림 1에서 보는 것과 같이 입력 영상에서 moiré 영역을 검출하고 이를 주파수 도메인에서 분석하고, 주파수 영역에서의 moiré 성분에 해당하는 변곡점을 제거하여 보정된 영상을 획득한다.
Moiré 패턴을 검출하기 위하여 카메라의 분해능을 이용하여 moiré 패턴을 검출하였다. 카메라의 분해능을 분석하기 위하여 카메라의 공간해상도(spatial frequency response)를 측정한다. 카메라의 공간해상도는 입력공간 주파수와 디지털 카메라의 응답성과의 관계를 나타내는 지표로 공간 주파수의 증가에 따른 변조 전달함수 (modulation transfer function)의 변화로 나타내어진다.
대상 데이터
제안한 방법의 moiré 제거 성능을 평가하기 위하여 NX-100 카메라와 ISO 12233 해상도 차트를 사용하였다.
데이터처리
그리고 moiré 제거 성능을 정량적으로 평가하기 위하여 ISO 12233 해상도 차트와 Zone plate 차트를 사용하여 광저대역 투과 필터를 제거하기 전 영상을 기준으로 과 광저대역 투과 필터를 제거후에 획득한 영상과 제안한 방법의 결과를 PSNR과 MSSIM을 사용하여 성능을 비교하였다[7].
성능/효과
그 결과는 표 1과 표 2에 총 5장의 영상에 대하여 평균 PSNR과 MSSIM을 나타내었다. ISO12233 해상도 차트에 대한평균PSNR 과 평균MSSIM이 41.13dB와 93.68, Zone plate 차트에 대한 평균PSNR 과 평균 MSSIM이 45.21dB와 98.16으로 우수한 성능을 나타내었다.
Moiré 영역에 대하여 주요 주파수를 찾기 위하여 DC 성분으로 정규화하여 표현하였을 때 그림 6과 같이 주 패턴에 해당하는 고주파 성분과 DC 성분 사이에 moiré에 해당하는 저주파 성분이 포함 되는 것을 확인할 수 있다.
세로 방향의 moiré 패턴이 발생할 영역은 가로 방향의 패턴 검출과 동일한 방법을 기준 픽셀에 대하여 세로 방향으로 적용하여 수행된다. 가로 세로 방향의 이웃 픽셀의 밝기 차이를 이용하여 패턴을 검출한 결과 그림 5에서 보는 것과 같이 카메라의 분해능을 초과하는 부분에 대하여 정확히 검출하였다.
는 차트의 높이를 나타낸다. 그 결과 카메라의 공간해상도와 ISO12233 해상도 차트의 공간주파수를 비교한 결과 NX-100 카메라의 공간 해상도는 ISO 12233 해상도 차트의 7번 패턴과 일치함을 확인할 수 있다. 따라서 카메라의 공간 해상도을 이용하여 카메라의 최대 공간주파수에 해당하는 7번 패턴을 분석하였고 그 결과 그림 3에서와 같이 두 픽셀의 차이를 보이는 패턴을 확인 할 수 있다.
그 결과 카메라의 공간해상도와 ISO12233 해상도 차트의 공간주파수를 비교한 결과 NX-100 카메라의 공간 해상도는 ISO 12233 해상도 차트의 7번 패턴과 일치함을 확인할 수 있다. 따라서 카메라의 공간 해상도을 이용하여 카메라의 최대 공간주파수에 해당하는 7번 패턴을 분석하였고 그 결과 그림 3에서와 같이 두 픽셀의 차이를 보이는 패턴을 확인 할 수 있다. 또한, moiré 가 발생하는 패턴에 대하여 살펴 본 결과 카메라의 최대 분해능을 초과하는 패턴에서 moiré가 발생하였고 이를 기반으로 그림 4에서 보는 것과 같이 가로 세로 방향의 이웃 픽셀간의 밝기 차이를 이용하여 패턴을 검출하였다.
실험 결과 제안한 방법은 상세 성분의 손실을 줄이고 moiré 제거에서 우수한 성능을 보였다.
다음으로 검출된 영역을 주파수 도메인에서 분석하여 moiré 성분에 해당하는 변곡점을 제거함으로 영상의 moiré 현상을 제거 하였다. 실험 결과 제안한 방법은 영상의 상세 성분을 보존함과 동시에 moiré 현상을 제거하는 성능을 보였다.
질의응답
핵심어
질문
논문에서 추출한 답변
디지털 카메라는 어떻게 영상을 획득하는가?
일반적으로 디지털 카메라는 빛을 외부 필터를 통해 받아들이고 CCD센서를 통하여 RGB의 형태로 영상을 획득한다. 이러한 카메라의 센서를 이용한 영상획득을 주파수 측면에서 살펴보면, 획득하고자 하는 이미지의 공간 주파수 스펙트럼이 2차원 평면의 x축과 y축에서 반복되는 형태의 공간 주파수 스펙트럼을 가진다.
디지털 카메라가 광저대역 투과 필터를 사용할 경우 어떠한 문제점이 생기는가?
디지털 카메라에서는 일반적으로 높은 공간주파수에 의해 발생하는 주파수 간섭을 제거하기 위해 광저대역 투과 필터(optical lowpass filter)를 사용한다. 그러나 영상을 획득할 때 광저대역 투과 필터의 사용으로 고주파 성분이 제거되어 상세 성분의 손실을 가져오게 된다. 이와 반대로, 광저대역 투과 필터를 제거한 후에 영상을 획득할 경우, 높은 공간주파수를 가지는 영역에서 moir$\acute{e}$가 발생하게 된다.
디지털 카메라에서 moiré를 없애기 위해서 어떠한 것을 사용하는가?
하지만 반대의 경우 주파수 간섭에 의해 왜곡이 발생하여 물결무늬와 같은 왜곡된 이미지를 나타낸다. 따라서 일반적인 디지털 카메라는 moiré라 불리는 상의 왜곡을 없애기 위해 영상의 공간 주파수를 센서의 분해 가능 주파수 이하로 제한하는 광저대역 투과 필터(OPLF)를 외부 필터에 추가하여 사용한다[1-3]. 하지만 최근 제조 단가의 절약을 위해 광저대역 투과 필터를 제거하고 moiré를 제거하는 연구가 시도 되었다.
참고문헌 (7)
Y. Ohtake, "Television camera having an optical filter," US Patent No. 4539584, 1985.
M. Sato, S. Nagahara, and K. Tajahashi, "Optical filter for color imaging device," US Patent No. 4626897, 1986.
T. Asaida, "Optical low-pass filter including three crystal plates for a solid-state color TV camera," US Patent No. 4761682, 1988.
Byeong-Jae Kim, "Image processing method and apparatus for bayer images," US Patent No. 0063480, 2011.
ISO 12233, Photography-Electronic still-picture camera-Resolution measurements, 2000.
ISO 14524, Photography-Electronic still-picture camera-Methods for measuring opto-electronic conversion functions (OECFs), 1999.
Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, "Image Quality Assessment: From Error Visibility to Structural Similarity," IEEE transaction on Image Processing, 31(4), 1-14 2004.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.