$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

이미지 센서에 의해 발생하는 노이즈 제거를 위한 영상의 조도에 따른 적응적 로컬 시그마 필터의 구현
Implementation of the adaptive Local Sigma Filter by the luminance for reducing the Noises created by the Image Sensor 원문보기

信號處理·시스템學會 論文誌 = Journal of the institute of signal processing and systems, v.11 no.3, 2010년, pp.189 - 196  

김병현 (동아대학교 전자공학과) ,  곽부동 ((주) 삼성전기 중앙연구소) ,  한학용 (동아대학교 전자공학과) ,  강봉순 (동아대학교 전자공학과) ,  이기동 (동아대학교 전자공학과)

초록
AI-Helper 아이콘AI-Helper

본 논문에서는 이미지 센서에 의해 발생하는 노이즈를 제거하기 위한 적응적 로컬 시그마 필터 장치를 제안하였다. 이미지 센서에 의해 발생하는 작은 노이즈는 이미지 센서의 아날로그 게인과 노출시간의 증가로 인해 영상 정보와 함께 증폭되며 이러한 노이즈 제거를 목표로 시스템을 설계 하였다. Flatness Index Map 알고리즘을 사용해 영상의 윤곽선을 추출하였으며, 임계치가 영상의 휘도에 따라 적응적으로 변화하도록 설계하여 고조도 영상에서는 윤곽선 추출을 수행하지 않으며, 저조도에서만 윤곽선을 추출하도록 하였다. 추출된 윤곽선을 판단하여 그에 해당하는 픽셀에 대해서만 Local Sigma Filter 알고리즘을 사용하여 노이즈 제거를 수행 하였다. 설계된 필터의 성능 검증을 위해 윈도우 테스트 프로그램을 제작하였다. 그리고 HDL을 사용해 하드웨어로 설계하였으며, FPGA Demonstration board와 $1280{\times}720$ 이미지 사이즈, 30 frame/sec의 성능을 갖는 HD급 CMOS 이미지 센서를 사용해 하드웨어로 설계된 로컬 시그마 필터의 동작을 검증하였다.

Abstract AI-Helper 아이콘AI-Helper

In this paper, we proposed the adaptive local sigma filter reducing noises generated by an image sensor. The small noises generated by the image sensor are amplified by increased an analog gain and an exposure time of the image sensor together with information. And the goal of this work was the syst...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

제안 방법

  • 로컬 시그마 필터를 수행한다. 그리고 Flatness Index Map에서 윤곽선 영역과 평탄 영역을 결정짓는 요소인 임계치를 영상외 휘도 신호를 입력으로 하는 Adaptive Linear Curve의 출력을 사용해 자동으로 선택하도록 설계하였다.
  • 세부 블록도 중에서 flatnessJline 블록은 3×3 마스크를 사용하기 때문에 이를 위해 대칭적 화소 확장 블록을 추가하였디. 그리고 로컬 시그마 필터 연산에서 사용되는 5x5 마스크와 Flatness Index Map 연산에서 사용되는 3X3 마스크의 그룹 딜레이 (Group Delay) 동기화를 위해 메모리 컨트롤러를 사용해 1 행이 지연되도록 하였다 .
  • 그리고 시, 용지로부터 입력 받은 외부 값을 시용해 Adaptive Linear Curve률 생성하고, 영상의 휘도 평균을 계산하여 Adaptive Linear Curve에 적용한다. Adaptive Linear Curve의 결과값으로 선택되는 임계치를 Flatness Index M&p에적용하여 입력 영상의 윤곽선 정보를 추출한 후, , 추출된 윤곽선 정보를 바탕으로 선택적으로 로컬 시그마 필터 알고리즘을 적용하여 노.
  • Vector Sigma Filter는 Order statistic theory와 Statistical switching을 사용하여 RGB 모든 컬러값에 대하여 시그마 필터링을 수행한다. 그리고 시그마 필터의 임계치를 a =1인 경우의 Minkowski iretric과 분산을 사용하여 구한다. [3].
  • 논문에서 제안한 필터 시스템은 모바일 폰과 디지털 카메라 외, 같이 휴.대용 장치에 포함되는 영상 처리 프로세서를 목표로 하여 설계되었으며, 이를 위해 작은 하드웨어 사이즈를 갖도록 하였다. 이외에도 작은 하드웨어 사이즈를 활용하여 방범 카메라오F 같은 주변이 어두운 환경에서 촬영을 수행하는 영상 장치에 사용된다면 제안한 노이즈 제거 장치의 성능을 더욱 효율적으로 사용할 수 있으리라 기대한다.
  • 있다. 먼저 하드웨어로 설계된 로컬 시그마 필터를 위한 데이터 전처리 과정 블록인 pre-processing 블록과 입력 영상의 평균 휘도에 따라 Flatness Index Map를 사용해 윤곽선을 추출하는 flatness 블록, 실제 로컬 시그마 필터를 수행하는 블록인 kcaLsigma 블록, 마지막으로 휘도 (Y) 채널만을 사용해 연산을 수행하는 로컬 시그마 필터와 색차 신호 (Cb, Cr) 채널의 Clock 동기를 밎.추기 위한 delayecbcr 블록을 포함하였다 [10].
  • 본 논문에서 제안한 적응적 로컬 시그마 필터 시스템은 이미지 센서에 의해 발생하는 노이즈를 효과적으로 제거하기 위해 그림 1과 같은 과정을 통해 연산을 수행힌다.
  • 본 논문에서 제안한 적응적 로컬 시그마 필터는 앞서 설명한 것과 같이 Adaptive Linear Curve에 외해 임계치를 결정하고, Flatness Index Map에 의해 영상의 윤곽선을 판단하여 적응적으로 로컬 시그마 필터를 수행한다. 그리고 Flatness Index Map에서 윤곽선 영역과 평탄 영역을 결정짓는 요소인 임계치를 영상외 휘도 신호를 입력으로 하는 Adaptive Linear Curve의 출력을 사용해 자동으로 선택하도록 설계하였다.
  • 본 논문에서 제안한 적응적 로컬 시그마 필터의 실제 검증을 위해 FPGA Demonstration board, 1280><720 이미지 사이즈와 30 frames/second의 처리 속도를 갖는 CMOS 이미지 센서를 사용해 실제 하드웨어에서 동작을 검증하였다. 제안된 필터 시스템은 평균 휘도에 의헤 선택적으로 필터 연산을 수행하기 때문에 일반적인 영상에서는 윤곽선이 많이 유지된다는 장점이 있다.
  • 본 논문에서는 제안한 이미지 센서에 의해 발생하는 노이즈를 제거하기 위한 필터 시스템은 하드웨어로 설계 하였으며, 약 6만 8천 #의 크기를 가진다. 제안된 필터 시스템은 평균 휘도에 의헌 선택적 필터 연산과 로컬 시그마 필터 연산의 장점으로 인해 윤곽선 보존에 뛰어나다.
  • 세부 블록도 중에서 flatnessJline 블록은 3×3 마스크를 사용하기 때문에 이를 위해 대칭적 화소 확장 블록을 추가하였디. 그리고 로컬 시그마 필터 연산에서 사용되는 5x5 마스크와 Flatness Index Map 연산에서 사용되는 3X3 마스크의 그룹 딜레이 (Group Delay) 동기화를 위해 메모리 컨트롤러를 사용해 1 행이 지연되도록 하였다 .
  • Hatness Index Mape 3><3 마스크의 중심 픽셀과 주변 픽셀의 차이의 누적 평균에 대한 히스토그램을 생성하고 이를 이용해 윤곽선을 검출하는 알고리즘이다. 여기서 생성된 히스토그램에 대해 임계치를 사용하여 윤곽선과 평탄면을 판단한다. 본 논문에서는 임계치를 결정하는 방법으료 영상의 휘도를 입력으로 시용하는 Adaptive Linear Curve를 사용하였다.
  • 이다. 이 프로그램을 사용해 노이즈가 없는 스틸이 미지 에 임의의 가우시 안 노이즈를 추가하여, 설계한 시스템의 성능을 검증하였다. 그림 7의 좌측화면이 lenna 영상에 가우시안 노이즈를 추가한 영상이며, 우측화면이 로컬시그마 필터를 사용해 노이:5* 제거한 그림이다.
  • 이러한 관점에서 노이즈를 검출하기 위해 Flatness Index Map를 사용하여 노이즈와 윤곽선을 함께 검출하였다. Hatness Index Mape 3><3 마스크의 중심 픽셀과 주변 픽셀의 차이의 누적 평균에 대한 히스토그램을 생성하고 이를 이용해 윤곽선을 검출하는 알고리즘이다.
  • 제안된 필터 시스템은 평균 휘도에 의헤 선택적으로 필터 연산을 수행하기 때문에 일반적인 영상에서는 윤곽선이 많이 유지된다는 장점이 있다. 이를 확인하게 위해 필터 연산의 결과에서 윤곽선의 기울기를 측정하였다.
  • 이전 연구에서는 로컬 시그마 필터 알고리즘을 하드웨어로 설계하여 성능을 확인하였으며, 본 논문에서는 저조도 영상에서 이미지 센서에 의해 노이즈가 발생한다는 전제조건을 가정하여 영상의 평균 휘도가 일정 값 이하인 경우에만 로컬시그마 필터가 동작하도록 설계하였다. 2장에서는 적응적 로컬시그마 필터의 전체적인 연산과정에 대해 설명하고, 3장에서는 2장에서 설명한 연산과정을 바탕으로 설계된 하드웨어 구조에 대해 보인다.
  • 는 입력 영상 중 일부를 확대한 그루1이다. 제안한 필터 시스템은 Adaptive Linear Curve의 임계치인 48 이 하의값은 모든 영역을 윤곽선으로 판단하고 로컬 시그마 필터 연산을 수행하기 때문에 이를 확인하기 위해 확대한 영상 중 윤곽선의 기울기 측정을 통하여 필터 연산의 여부를 확인하였다. 그림 8Tc)는 그림 8-(b)의 붉은 선에 대한 1차 원그래프이며, 그림 8-(d)는 제안한 필터 시스템의 결과 영상에 대한 1차원 그래프이다.
  • 그리고 수식 (2)는 비교 연산을 통해 A와 x(kj)- #에 대한 대소 비교를 구하기 위해 사용된다. 하드웨어의 복잡도 감소를 위해 대소 비교만을 연산하는 수식(2) 전체를 제곱하여 수식 (3)에 표현된 제곱근 연산을 제거하였다.

대상 데이터

  • 5 행의 데이터가 사용된다. 그리고 flatness 블록에서 Flatness Index Map 연산을 통해 검출된 1-bit, 1 행의 윤곽선 데이터가 사용된다.

데이터처리

  • 그리고 우측하단 이진 영상은 Flatness Index Map의 결과로 로컬시그마 필터링이 수행될 픽셀은 검은색으로 표시되어 있다. 윈도우 프로그램과 lenna 영상을 사용하여 제안한 필터 프로그램을 검증하였다. 표 2는 lenna 영상의 휘도 신호에 5dB부 터 30dB까지 의 가우시안 (Gaussian) 노이즈를 5dB 단위로 추가하여 재안한 필터 시스템과 3×3 평균 필터, 5x5 평균 필터 연산에 대해 측정한 PSNR (Peak Signal to Noise Ratio)을 니타낸 것이다.

이론/모형

  • 데이터 bit 확장 블록은 Dithering 알고리즘을 사용하여 8 bit 데이터를 미리 지정된 4 bit 패턴을 사용해 12 bit으로 확장한다. 그리고 하드웨어 필터 연산을 위햬 1 행의 순차 주사 방식의 데이터룔' 4 행으로 확장하기 위한 메모리 컨트롤러 블록이 존재한다.
  • 여기서 생성된 히스토그램에 대해 임계치를 사용하여 윤곽선과 평탄면을 판단한다. 논문에서는 임계치를 결정하는 방법으료 영상의 휘도를 입력으로 시용하는 Adaptive Linear Curve를 사용하였다.
  • 히스토그램 생성과 CDF 연산을 수행한다. 블록은 FSM (Finite State Machine) 설계 기법을 사용해 설계하였다 [11][12]. FSM 설계 기법을 사용해 설계하기 위해 가장 먼저 고려해야 할 것이 상태 천이이다.
  • 글로벌 시그마 필터는 영상의 모든 픽셀에 대하여 연산을 수행하므로, 하드웨어로 설계 할 때 복잡도'가 커지는 단점이 있다. 이를 피하기 위해 본 논문에서는 마스크를 사용하여 제한된 영역 내에서 분산을 사용하는 로컬 시그마 필터 (Local Sigma Filter) 알고리즘을 선택하여 설계하였다.
본문요약 정보가 도움이 되었나요?

참고문헌 (12)

  1. Junichi Nakamura, Image Sensors And Signal Processing For Digital Still Camera, CHC Pr I LIe, 2005. 

  2. Andrew Adams, Natasha Gelfand, Kari Pulli, "Viewfinder Alignment," Eurographies Conferences, Vol.27, No.2, pp.599-606, 2008. 

  3. Rastislav Lukaca. Bogdan Smolkab, Konstantinos N. Plataniotisa and Anastasios N. Venetsanopoulos, "Vector sigma filters for noise detection and removal in color images," Journal of Visual Communication and Image Representiation, Vol.17, Issue 1, pp.1-26, 2006. 

  4. 김병현, 장원우, 신선미, 양훈기, 강봉순, "로컬 시그마 필터를 사용한 영상의 노이즈 제거 장치 구현," 한국신호처리시스템학회 2009년 추계 학술대회 논문집, 제10권, 2호, pp.298-301, Nov. 2009. 

  5. Rafael C. Gonzalez, Richard E. Woods, Steven L. Eddins, Digital Image Processing using MATLAB, pearson Prentice Hall, 2004. 

  6. 정성환, 김남철, "국부통계를 이용한 적응 시그마 필터의 영상복원 알고리즘," 대한전자공학회 학술대회논문집 제9권 2호, pp. 378-380. Jan. 1986. 

  7. 정성환, 김남철, "국부통계를 이용한 시그마 필터의 적응 영상복원," 전자공학회논문지, 제25권, 3호, pp.322-326, Mar. 1988. 

  8. 구미란, 한학용, 이성목, 강봉순, 강대성, "시그마 필터를 이용한 영상 노이즈 제거," 제22회 한국신호처리합동학술대회 논문집, 제22권, 1호, pp.72-80, Sep. 2009. 

  9. 김병현, 장원우, 이성목 곽부동, 강봉순, "영상의 윤곽선 정보에 의한 잡음제거 필터 구현," 2010년 SoC 학술대회 논문집. (발표 예정) 

  10. K. Jack, Video Demystified : a handbook for the digital engineer 2nd edition, LLH Technology, 1996. 

  11. D. Smith, HDL Chip Design, Doone Publications, 1996. 

  12. 김병현, 장원우, 안호필, 하주영, 강봉순, "Single Port SRAM을 이용한 히스토그램의 구현," 한국신호처리시스템학회 2009년도 하계 학술대회 논문집, 제10권, 1호, pp.54-57, June 2009. 

저자의 다른 논문 :

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로