선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 문제점 해결을 위하여 운전자 상황인식을 위해 영상처리를 복합적으로 적용한 이동차량 안정화를 위한 흔들림 보정 기법을 제안한다. 제안된 흔들림 보정 기법은 객체와 배경의 흔들림을 제거하고, 영상 안정화 알고리즘을 차량 영상의 흔들림을 보정을 위한 IP에 적용하여 움직임 보정 기술 칩을 개발한다.
- 본 논문에서는 운전자 상황인식을 위해 기존의 차량용 흔들림 보정 기법이 가지는 문제점을 보완하고, 영상처리를 복합적으로 적용하여 차량 영상의 흔들림을 보정 하는 흔들림 보정 기법을 제안하였다. 제안된 흔들림 보정 기법을 적용한 움직임 보정 기술 칩은 입력으로 받은 영상 이미지 프레임의 색상 분리를 통한 변환 및 분리정보에 대한 누적 히스토그램을 계산, 흔들린 차량용 영상 이미지를 보정한 결과에서 색상 정보를 맞추기 위해 히스토그램을 매칭하는 기능으로 구성하였다.
제안 방법
- 문제점 해결을 위해 실시간으로 RGB2YCbCr 변환을 처리를 할 수 있는 이미지 흔들림 보정 기술을 사용하였다. RGB2YCbCr의 RGB는 YCbCr에 비해 색상 분리효과는 약하지만 적은 데이터로 보다 많은 색상을 표현 가능하여 하드웨어 IP에 더 용이하기 때문에, 입력으로 받은 영상 이미지 프레임을 YCbCr에서 RGB로 변환하였다. Y는 빛의 양인 휘도를 뜻하고, Cb와 Cr은 각각 blue와 red에 대한 색차 정보를 나타낸다.
- 실시간으로 이미지프레임의 흔들림으로 발생하는 노이즈를 제거하기 위해 가우시안 모델로 모델링 하였다. 그러나 가우시안 모델에서 노이즈 제거를 위해 널리 사용되는 Bilateral 필터는 계산양이 많고 하드웨어로 구현하기 어렵기 때문에 실시간 처리가 가능하면서 적은 계산 횟수로 가우시안 노이즈를 효율적으로 제거하는 방법이 필요하여 노이즈 제거 필터를 구현하였다. 그림 4는 실시간 이미지 흔들림 노이즈 제거를 위해 하드웨어 IP로 구현된 가우시안 노이즈 제거 필터를 나타낸다.
- 은 영상 프레임 P1의 누적 히스토그램, Lk는 밝기 신호 크기, 은 히스토그램의 값을 의미한다. 누적 히스토그램의 향상을 위해 휘도와 집선 (concentration), 분포(population) 세 가지 가중치의 제한을 통한 기울기 조절로 향상된 히스토그램을 만들었다. 이때, 하나의 영상을 서브 이미지들로 나누어 히스토그램을 향상시키며, 향상된 히스토그램을 병합할 때 생길 수 있는 경계의 인위적 생성(boundary artifact) 현상을 제거하기 위해 양측 가중 방식(Bilateral weighting scheme)을 사용하였다.
- 제안된 흔들림 보정 기법을 적용한 움직임 보정 기술 칩은 입력으로 받은 영상 이미지 프레임의 색상 분리를 통한 변환 및 분리정보에 대한 누적 히스토그램을 계산, 흔들린 차량용 영상 이미지를 보정한 결과에서 색상 정보를 맞추기 위해 히스토그램을 매칭하는 기능으로 구성하였다. 또한, 실험을 통해 기존 차량 영상 안정화 기술과 비교하고, 효율성 분석 및 성능평가를 하였다.
- 움직임 보정 기술 칩의 기능은 입력 영상의 이미지 프레임을 색상 분리를 통해 변환 및 정보를 이용한 누적 히스토그램 계산 및 차량 영상 이미지를 보정한 결과에서 색상 정보를 맞추기 위해 히스토그램 매칭 기능으로 구성한다. 또한, 실험을 통해 기존 차량 영상 안정화 기술과 휘도 레벨 및 컬러 레벨을 비교하고, 효율성 분석 및 성능 평가를 한다.
- 운전자의 상황인식을 고려한 차량 영상 정보 시스템에 움직임 보정 기술 칩을 실장 테스트 결과, 움직임 보정 알고리즘을 통해 모션 벡터를 구분하고 흔들림 영상이 보정된 결과 영상 시퀀스가 정상적으로 출력되는 것을 확인할 수 있었고, 기존의 알고리즘과 휘도레벨과 컬러 레벨을 비교하였을 때, 노이즈가 가장 적고 영상의 자연스러움이 더 뛰어난 복원 결과를 얻을 수 있었다. 또한, 움직이는 물체에 대한 흔들림 보정을 하면서 메모리를 사용하지 않고 실시간으로 처리하였기 때문에 다른 방법과 비교하여 효율성을 입증하였다.
- 이를 위해 이미지 데이터를 프레임 메모리에 저장할 경우 하드웨어의 규모가 커지게 되는 문제점이 발생된다. 문제점 해결을 위해 실시간으로 RGB2YCbCr 변환을 처리를 할 수 있는 이미지 흔들림 보정 기술을 사용하였다. RGB2YCbCr의 RGB는 YCbCr에 비해 색상 분리효과는 약하지만 적은 데이터로 보다 많은 색상을 표현 가능하여 하드웨어 IP에 더 용이하기 때문에, 입력으로 받은 영상 이미지 프레임을 YCbCr에서 RGB로 변환하였다.
- 차량용 영상에 생긴 흔들림과 노이즈로 인해 영상은 선명하지 않기 때문에, 노이즈를 제거하는 노이즈 제거 과정을 거쳐야 한다. 실시간으로 이미지프레임의 흔들림으로 발생하는 노이즈를 제거하기 위해 가우시안 모델로 모델링 하였다. 그러나 가우시안 모델에서 노이즈 제거를 위해 널리 사용되는 Bilateral 필터는 계산양이 많고 하드웨어로 구현하기 어렵기 때문에 실시간 처리가 가능하면서 적은 계산 횟수로 가우시안 노이즈를 효율적으로 제거하는 방법이 필요하여 노이즈 제거 필터를 구현하였다.
- 그림 2는 고성능 차량 영상 정보 시스템 개발을 위한 영상 안정화 기술 칩 설계의 세부 사항을 나타낸다. 움직이는 자동차에서의 흔들림 없는 뚜렷한 영상을 실시간으로 인식하기 위해서 실시간 처리가 가능한 영상 이미지 흔들림 보정 기술이 필요하기 때문에 실시간 이미지 흔들림 노이즈 제거 알고리즘을 적용한 실시간 RGB to YCbCr 변환 및 룩 업 테이블 기반 누적 히스토그램 매치 과정을 거치는 실시간 영상 이미지 흔들림 보정을 위한 영상 안정화 기술을 개발하였다.
- 본 논문에서는 문제점 해결을 위하여 운전자 상황인식을 위해 영상처리를 복합적으로 적용한 이동차량 안정화를 위한 흔들림 보정 기법을 제안한다. 제안된 흔들림 보정 기법은 객체와 배경의 흔들림을 제거하고, 영상 안정화 알고리즘을 차량 영상의 흔들림을 보정을 위한 IP에 적용하여 움직임 보정 기술 칩을 개발한다. 움직임 보정 기술 칩의 기능은 입력 영상의 이미지 프레임을 색상 분리를 통해 변환 및 정보를 이용한 누적 히스토그램 계산 및 차량 영상 이미지를 보정한 결과에서 색상 정보를 맞추기 위해 히스토그램 매칭 기능으로 구성한다.
- 제안된 흔들림 보정 기법은 성능 및 시간, 이미지의 차이점을 사용하여 성능평가를 했다. 그림 8은 차량용 카메라에서 얻은 영상정보에 차량 영상 흔들림 제거 알고리즘을 적용하고, 본 논문에서 제안된 흔들림 보정 기법을 적용한 IP를 통해 얻어진 영상의 흔들림 제어 검증 결과를 나타낸다.
- 본 논문에서는 운전자 상황인식을 위해 기존의 차량용 흔들림 보정 기법이 가지는 문제점을 보완하고, 영상처리를 복합적으로 적용하여 차량 영상의 흔들림을 보정 하는 흔들림 보정 기법을 제안하였다. 제안된 흔들림 보정 기법을 적용한 움직임 보정 기술 칩은 입력으로 받은 영상 이미지 프레임의 색상 분리를 통한 변환 및 분리정보에 대한 누적 히스토그램을 계산, 흔들린 차량용 영상 이미지를 보정한 결과에서 색상 정보를 맞추기 위해 히스토그램을 매칭하는 기능으로 구성하였다. 또한, 실험을 통해 기존 차량 영상 안정화 기술과 비교하고, 효율성 분석 및 성능평가를 하였다.
- 표 1은 본 논문에서 제안하는 효율적인 차량용 영상 안정화 IP의 세부 정보를 나타낸다. 차량 주행 중에 흔들리는 차량용 카메라의 흔들림을 보정하기 위한 IP의 개발공정은 디지털(0.18um)이고, 파운드리는 TSMC를 통해 개발하였다. 검증은 DE2-70 FPGA Board를 이용하였다.
- 그림 8은 차량용 카메라에서 얻은 영상정보에 차량 영상 흔들림 제거 알고리즘을 적용하고, 본 논문에서 제안된 흔들림 보정 기법을 적용한 IP를 통해 얻어진 영상의 흔들림 제어 검증 결과를 나타낸다. 첫 번째 이미지와 두 번째 이미지를 비교하여 변화된 내용을 캡처하고, 캡처한 이미지를 4방향에 대해 흔들림을 제거하여 실제 차량용 카메라로부터 얻어진 영상에 적용하였으며, 그림 9와 같이 정상적으로 흔들림이 제거된 영상의 출력 결과를 얻었다.
- 히스토그램 매칭 할 때에는 그림 6의 노란색 영역과 같이 하나의 누적 히스토그램 값이 두 개의 밝기 값을 가질 경우, 밝기 값들 중에서 최댓값을 선택하였다. 초록색 영역과 같이 하나의 누적 히스토그램 값이 두 개보다 많은 밝기 값을 가질 경우, 중간 값을 선택하여 차량용 영상 이미지의 밝기로 정하였다. 그림 7은 룩업 테이블 기반 누적 히스토그램 매칭 그래프를 나타낸다.
- 본 논문에서 제안하는 차량용 흔들림 보정 기법은 객체와 배경의 흔들림을 제거한 차량용 카메라의 영상 정보를 노이즈를 제거하여 영상의 자연스러움을 복원하는 시스템이다. 효율적인 차량 영상 안정화를 위해 사용하는 흔들림 제거 기법은 차량용 카메라에서 얻은 영상정보를 다수의 영역에서 움직임을 예측하도록 각 매크로 블록 영역에서 픽셀 값들을 이용하여 이전 프레임과 현재 프레임을 비교하고, 어떠한 이동과 변화를 했는지 추정하여 차량용 영상 이미지의 흔들림을 보정하기 위해 4방향으로 보정하는 알고리즘을 설계하였다. 그림 1은 움직임 보정 기술 칩에 적용하기 위해 설계한 차량 영상 흔들림 제거 알고리즘을 나타낸다.
이론/모형
- 누적 히스토그램의 향상을 위해 휘도와 집선 (concentration), 분포(population) 세 가지 가중치의 제한을 통한 기울기 조절로 향상된 히스토그램을 만들었다. 이때, 하나의 영상을 서브 이미지들로 나누어 히스토그램을 향상시키며, 향상된 히스토그램을 병합할 때 생길 수 있는 경계의 인위적 생성(boundary artifact) 현상을 제거하기 위해 양측 가중 방식(Bilateral weighting scheme)을 사용하였다. 누적 히스토그램은 식 (9)를 이용하여 계산하였고, 향상된 결과 값을 얻을 수 있었다.
성능/효과
- 입력인 영상 시퀀스가 들어오면 RGB2YCbCr 색상변환, 노이즈 제거, 히스토그램 계산, 룩업 테이블 기반의 히스토그램 매칭 단계를 거쳐 흔들림 보정결과가 RGB Bayer pattern의 구조로 출력되고 있음을 확인하였다. 결과적으로 모션 벡터를 구분하고 흔들림 영상이 보정된 결과 영상 시퀀스가 정상적으로 출력되는 것을 확인할 수 있었다.
- . 기존의 방법들과 비교한 제안한 알고리즘은 H/W 방식으로 구현하여 FPGA방식의 시스템이 요구되었고, 영상 이미지 흔들림 보정은 실시간으로 이루어 졌으며, 메모리를 사용하지 않는 결과를 얻을 수 있었다.
- 그림 11은 휘도 레벨의 비교를 나타낸다. 다른 알고리즘과 비교하여 영상 전체의 디테일, 노이즈, 자연스러움을 판단하였을 때, 그림의 사각형 안에 존재하는 모자는 제안한 방법의 결과에서 모자 자체의 디테일이 원본에 가장 가깝게 복원되어 있으며 노이즈가 가장 적고 영상의 자연스러움이 더 뛰어난 결과를 얻을 수 있었다.
- 운전자의 상황인식을 고려한 차량 영상 정보 시스템에 움직임 보정 기술 칩을 실장 테스트 결과, 움직임 보정 알고리즘을 통해 모션 벡터를 구분하고 흔들림 영상이 보정된 결과 영상 시퀀스가 정상적으로 출력되는 것을 확인할 수 있었고, 기존의 알고리즘과 휘도레벨과 컬러 레벨을 비교하였을 때, 노이즈가 가장 적고 영상의 자연스러움이 더 뛰어난 복원 결과를 얻을 수 있었다. 또한, 움직이는 물체에 대한 흔들림 보정을 하면서 메모리를 사용하지 않고 실시간으로 처리하였기 때문에 다른 방법과 비교하여 효율성을 입증하였다.
- 그림 10은 고성능 차량 영상 정보 시스템의 차량 영상 안정화 알고리즘의 출력 결과를 통해 얻어진 흔들림 제거 영상을 흔들림 보정 기법에 적용하여 얻어진 실장 테스트 결과를 나타내었다. 입력인 영상 시퀀스가 들어오면 RGB2YCbCr 색상변환, 노이즈 제거, 히스토그램 계산, 룩업 테이블 기반의 히스토그램 매칭 단계를 거쳐 흔들림 보정결과가 RGB Bayer pattern의 구조로 출력되고 있음을 확인하였다. 결과적으로 모션 벡터를 구분하고 흔들림 영상이 보정된 결과 영상 시퀀스가 정상적으로 출력되는 것을 확인할 수 있었다.
- 그림 12는 컬러 레벨의 비교를 나타낸다. 컬러 레벨에서도 다른 알고리즘과 비교하여 영상 전체의 디테일, 노이즈, 자연스러움이 더 뛰어나게 복원되는 결과를 얻을 수 있었다. 그림 13은 복원 결과의 객관성을 증명하기 위한 다른 영상의 컬러 레벨을 결과 비교를 나타낸다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.