선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 특히 본 논문에서는 인터폴레이션, 이미지 스케일 및 AWB의 하드웨어 설계에 대해 자세히 다루고자 한다. 기존 ISP의 주요 모듈 기능에서 영상 인터폴레이션 수행은 3×3라인 보간을 이용하여 처리 하였다[5].
제안 방법
- 그림 8의 (a)는 Lena 원본영상 256x256의 크기에서 Lena의 특징적 인 눈을 확대하여 다양한 스케일 알고리즘으로 처리한 데이터들을 비교하였다. 그림 (b)는 가장이 웃한 화소 픽 셀 알고리 즘(Nearest Interpolation)을 적 용하였다.
- 본 논문에서는 하드웨어 칩 면적과 레지스터 수를 줄일 수 있는 알고리즘을 적용하였다. ISP 주요 모듈 기능에서 칩의 면적을줄이기 위해 인터폴레이션 수행시 2x2라인을 사용하여 구현하였다. 또한 AWB의 계수를 구하기 위해 YCbCr의 변환 데이터 포맷에서 Cb, Cr의 평균값을 구하여 1개 프레임의 연산량으로 줄일 수 있도록 하였다.
- 위한 작업을 수행한다. ISP는 인터폴레이션, 이미지 스케일, AWB 기능 블록의 최적화 알고리즘을 도출하고 저전력, 저비용을 고려한칩의 면적 최소화, 필요한 레지스터 수를 줄임으로써 최종 효과적인 하드웨어 설계를 진행하였다. 또한 하드웨어 성능 분석을 통해 인터폴레이션의 2x2라인 처리는 라인버퍼의 개수를 줄여 칩의 면적을 줄였으며, 이미지 스케일은 양선형 알고리즘의 연산량은 비슷하면서 화질의 개선의 성능을 보였다.
- ISP 블록도 처리 순서는 다음과 같다. 감마교정 블록, 스케일링을 포함하는 컬러 인터폴레이션 블록, 컬러 교정&컬러 공간적 변환 블록, 3 Auto Focus(Auto Exposure, Auto White Balance, Auto Focus) 블록, Contrast/ Brightness 블록, Hue/Saturation 블록, 엣지 향상 블록 (Edge Enhancement), 이미지 효과 블록, 역 컬러 공간 변환(Reverse Color Space Conversion) 블록으로 그림 1 에 서와 같이 ISP를 처리 절차 순서로 진행한다[1][2].
- 다음은 PCI 인 터 페 이 스를 이용한 기 능블록의 데이터를 FPGA 칩 에 다운로드한 후 사용자 어플리케이션으로 각 기능을 동작 수행하여 데이터 검증을 진행한다. 이전검 증에서는 카메 라 센서 의 ISP 프로세서 를 설계 하여 각 기능 블록의 검증을 위해 윈도우 환경 에서 Xilinx 7.
- 다음은 영상의 이미지를 부분 확대하여 영상의 일그러짐 정도와 영상의 부드러운 이미지의 차이를 비교하였다. 이미지는 Lena 표준영 상을 사용하였다.
- 또한 연속 스트림 데이터를 처리 하기 위해 핑퐁 RAM 액 세스 방법을 사용하였다. 데 이 터 와 가중치 계산을 위해 곱셈기 4개와 가산기 3개를 사용하여 출력 결과를 얻도록 설계하였다.
- 의 액세스를 효과적으로 할 수 있게 하였다. 데이터 처리는 두 개의 라인을 사용하여 0~4개의 원본 이미지 픽셀 값과 가중치를 계산하여 새로운 이미지 스케일 데이터를 처리 한다. 또한 연속 스트림 데이터를 처리 하기 위해 핑퐁 RAM 액 세스 방법을 사용하였다.
- ISP 주요 모듈 기능에서 칩의 면적을줄이기 위해 인터폴레이션 수행시 2x2라인을 사용하여 구현하였다. 또한 AWB의 계수를 구하기 위해 YCbCr의 변환 데이터 포맷에서 Cb, Cr의 평균값을 구하여 1개 프레임의 연산량으로 줄일 수 있도록 하였다. 마지막으로 이미지 스케일에 보간 알고리즘에서 양 선형과 비교하여 연산량 대비 이미지 화질을 개선할 수 있는 이미지 스케일을 처리하여 적용하였다.
- 또한 이 중 포트 라인버퍼 RAM을 사용하여 쓰고/읽기 의 액세스를 효과적으로 할 수 있게 하였다. 데이터 처리는 두 개의 라인을 사용하여 0~4개의 원본 이미지 픽셀 값과 가중치를 계산하여 새로운 이미지 스케일 데이터를 처리 한다.
- 또한 AWB의 계수를 구하기 위해 YCbCr의 변환 데이터 포맷에서 Cb, Cr의 평균값을 구하여 1개 프레임의 연산량으로 줄일 수 있도록 하였다. 마지막으로 이미지 스케일에 보간 알고리즘에서 양 선형과 비교하여 연산량 대비 이미지 화질을 개선할 수 있는 이미지 스케일을 처리하여 적용하였다. 이러한ISP 처리기능을 수행하여 하드웨어 설계시 저전력, 저비용을 고려한 설계를 진행하였다.
- 프레임 단위의 AWB 처리에서 계수 값을 구하기 위해 2개 프레 임 의 연산량을 필요로 하였다[8]. 본 논문에서는 하드웨어 칩 면적과 레지스터 수를 줄일 수 있는 알고리즘을 적용하였다. ISP 주요 모듈 기능에서 칩의 면적을줄이기 위해 인터폴레이션 수행시 2x2라인을 사용하여 구현하였다.
- 다른 세 가지 알고리즘 처리와 비교하였을 때 영역 가중치, 가중치 합 계산에 필요한 가산기, 곱셈기 수가 가장 많이 소요되었다. 본 논문은 칩의 저전력, 저비용을 고려하여 연산량이 비슷한 제안한 알고리즘을 사용하여 양선형의 처리에 필요한 연산 컴포넌트수와 큰 차이를 가지지 않으면서 영상의 화질의 개선할 수 있는 하드웨어를 설계하였다[6][15].
- 또한 다중영 역 분할 방법을 사용하여 각 분할 영역 에 가중치 를 두고 있다. 분할 영역 에 가중치가 적용된 값으로 히스토그램 방법을 사용하여 다분할 AWB 프로세서 블록을 통해 Cb, Cr의 값이 허용범위에 들어오도록 데이터 처리를 수행한다[8][9].
- 마지막으로 이미지 스케일에 보간 알고리즘에서 양 선형과 비교하여 연산량 대비 이미지 화질을 개선할 수 있는 이미지 스케일을 처리하여 적용하였다. 이러한ISP 처리기능을 수행하여 하드웨어 설계시 저전력, 저비용을 고려한 설계를 진행하였다.
- 이전 데이터에 대한버퍼링을고려해서 라인버퍼 1개와 필요한4개의 레지스터를 두고 각 라인별 처리를 수행한다. 행렬 라인에 대한 처리는 짝수행(짝수, 홀수열) 과 홀수행(짝수, 홀수열)으로 구분하여 이를 위해 행 카운트와 열 카운트를 사용한다.
- 정보를 표로 나타내었다. 인터폴레인션 블록의 회로 합성 한 결과를 입 력도착 시 간, 출력 요구시 간, 조합회로 지연시간을 비교한 정보를 표로 나타내었다.
- 나타내었다. 전체 게이트사용량에서 제안한IP와3×3라인의 IP의 사용량을 비교하였다. 게이트 사용량은 왼쪽에서부터 플립-플롭의 사용량 2x2라인 처리의 1.
- 0을 이용하여 각 기능 불록의 데 이 터 검증을 진행하였다. 최종적으로 데이터 검증을 진행하기 위 해 PC환경 과 타켓 XCV-1000e 라이브러리칩을 사용한 FPGA 보드 상에서 ISP기능 수행 TOP모듈의 최종 (.bit) 파일을 생성 하여 이를 FPGA 타켓 칩 에 다운로드하고 PC환경에서 소프트웨어를 통한 데이터를 전송하고 이를 FPGA에 전송하여 데이터를 ISP프로세서에서 처리한 후 전송 받은 데이터를 PC 에서 결과를 보여주는 보드 레벨의 검증을 수행하였다[15]. 다음 그림 9는 PC와타켓 보드와의 데이터 전송 중재를 위한 인터페이스 데이 터 블록을 보여주고 있다.
데이터처리
- 이전검 증에서는 카메 라 센서 의 ISP 프로세서 를 설계 하여 각 기능 블록의 검증을 위해 윈도우 환경 에서 Xilinx 7.1i 툴을 이용하여 VHDL 을 사용한 알고리즘을 기술하고 이를 Model_SIM 6.0을 이용하여 각 기능 불록의 데 이 터 검증을 진행하였다. 최종적으로 데이터 검증을 진행하기 위 해 PC환경 과 타켓 XCV-1000e 라이브러리칩을 사용한 FPGA 보드 상에서 ISP기능 수행 TOP모듈의 최종 (.
이론/모형
- 그림 (c)는 3차 회 선 보간법 (Bicupic Interpolation)을 적용하여 비교 대상 알고리즘에서 가장 좋은 영상의 화질과 엣지를 나타내었다. 그림(d)에서는 양선형 보간법(Bilnear Interpolation)을사용하였다. 양선형 보간법에서는 영상을 확대하여 보았을 때 부드러운 이미지 영상으로 나타나지만 영상의 엣지(Edge) 검출한 이미지에 대해서는 엣지 처리가 잘 나타나지 않았다.
- 데이터 처리는 두 개의 라인을 사용하여 0~4개의 원본 이미지 픽셀 값과 가중치를 계산하여 새로운 이미지 스케일 데이터를 처리 한다. 또한 연속 스트림 데이터를 처리 하기 위해 핑퐁 RAM 액 세스 방법을 사용하였다. 데 이 터 와 가중치 계산을 위해 곱셈기 4개와 가산기 3개를 사용하여 출력 결과를 얻도록 설계하였다.
- 이미지는 Lena 표준영 상을 사용하였다.
성능/효과
- 전체 게이트사용량에서 제안한IP와3×3라인의 IP의 사용량을 비교하였다. 게이트 사용량은 왼쪽에서부터 플립-플롭의 사용량 2x2라인 처리의 1.5배 이상 연산량이 요소 되었고, 나머지 슬라이스 점유율, 전체 게이트 사용량에서 도 3×3라인은 2x2라인 처리 연산량보다 1.5배 이상의 게 이트 수를 차지 하는 것을 알 수 있다.
- 가장 좋은 영상의 화질을 보이는 Bicubice 메모리 액세스에서 최대 16번 읽어 연산을 수행하여 하드웨어 구현 시 가장 많은 연산량을 필요로 한다. 다른 세 가지 알고리즘 처리와 비교하였을 때 영역 가중치, 가중치 합 계산에 필요한 가산기, 곱셈기 수가 가장 많이 소요되었다. 본 논문은 칩의 저전력, 저비용을 고려하여 연산량이 비슷한 제안한 알고리즘을 사용하여 양선형의 처리에 필요한 연산 컴포넌트수와 큰 차이를 가지지 않으면서 영상의 화질의 개선할 수 있는 하드웨어를 설계하였다[6][15].
- ISP는 인터폴레이션, 이미지 스케일, AWB 기능 블록의 최적화 알고리즘을 도출하고 저전력, 저비용을 고려한칩의 면적 최소화, 필요한 레지스터 수를 줄임으로써 최종 효과적인 하드웨어 설계를 진행하였다. 또한 하드웨어 성능 분석을 통해 인터폴레이션의 2x2라인 처리는 라인버퍼의 개수를 줄여 칩의 면적을 줄였으며, 이미지 스케일은 양선형 알고리즘의 연산량은 비슷하면서 화질의 개선의 성능을 보였다. 결과적으로 카메라 이미지 센서용 영상신호 처리 적용 칩에서 제안한 알고리즘이 효과적으로 적용될 수 있을 것으로 사료된다.
- 경우이다. 양선형 보간법의 부드러운 이미지 영상과 가장 인접한 픽셀 보간법의 엣지 특징을 잘 나타내어져 두 가지의 장점을 가진 알고리즘으로 양선형과 비교하여 연산량은 비슷하지만 영상의 이미지는 더 좋은 화질의 결과를 보였다.
- 그림 (b)는 가장이 웃한 화소 픽 셀 알고리 즘(Nearest Interpolation)을 적 용하였다. 이웃한 픽 셀 값을 바로 복사하여 사용하기 때문에 확대한 이미지에서 경계선 처리 문제에 대한 일그러짐 현상이 보였고 엣지는 전체적으로 잘 나타났다. 그림 (c)는 3차 회 선 보간법 (Bicupic Interpolation)을 적용하여 비교 대상 알고리즘에서 가장 좋은 영상의 화질과 엣지를 나타내었다.
후속연구
- 또한 하드웨어 성능 분석을 통해 인터폴레이션의 2x2라인 처리는 라인버퍼의 개수를 줄여 칩의 면적을 줄였으며, 이미지 스케일은 양선형 알고리즘의 연산량은 비슷하면서 화질의 개선의 성능을 보였다. 결과적으로 카메라 이미지 센서용 영상신호 처리 적용 칩에서 제안한 알고리즘이 효과적으로 적용될 수 있을 것으로 사료된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.