선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 하지만 고성능 CPU를 탑재한 컴퓨터는 전력 소모가 높고 발열이 심하기 때문에 자동차에서 사용하기에 부적합하다. 따라서 본 논문에서는 실시간으로 보행자 및 차량을 인식하기 위한 차량용 고성능 하드웨어 회로 구조 및 설계를 제안한다.
- 본 논문은 Haar-like 특징과 AdaBoost 인식을 이용한 고성능 보행자 및 차량 인식 회로를 제안한다. 제안하는 회로는 효율적인 메모리 관리를 통해 데이터를 저장하기 위한 메모리의 크기 및 지연 시간을 줄였다.
제안 방법
- 따라서 본 논문에서는 한 프레임 전체에 대한 영상 데이터를 저장하는 대신 필요한 만큼의 영상 데이터만을 저장하여 사용한다. 제안하는 회로는 한 번에 두 개의 슬라이딩 윈도 우를 처리하기 때문에 슬라이딩 윈도우가 640×480 영상을세로로 두 번 스캔할 수 있는 양 만큼의 영상 데이터를 메모리에 저장한다.
- 하지만 모든 특징을 이용하지 않기 때문에 인식률이 떨어질수 있다는 단점이 있다. 따라서 제안하는 회로는 모든 특징을 이용하여 보행자 및 차량을 인식하기 위해 인식 과정을한 개의 스테이지로 처리하며, 스테이지를 나누지 않아도실시간 처리가 가능하다. 제안하는 회로에서는 각 약 분류 기의 결과가 판별 상수보다 크면 약 분류기의 결과 값을 누적시킨다.
- 본 논문에서 제안하는 고성능 보행자 및 차량 인식 회로는 Verilog HDL(Hardware Description Language)을 사용하여 구현하였다. 또한 Synopsys사의 Design Compiler를 통해 130nm 표준 셀 라이브러리를 이용하여 게이트 수준의 회로로 합성하였다. 합성된 회로는 1,388,260개의 게이트로 구성되며 최대 동작 주파수는 203MHz이고, 초당 약 47.
- 제안하는 고성능 보행자 및 차량 인식 회로는 효율적인 메모리 관리를 통해 데이터를 저장하기 위한 메모리의 크기 및 지연 시간을 줄였다. 또한 병렬 회로 구조를 적용하여 슬라이딩 윈도우 두 개를 동시에 처리하며, 각 슬라이딩 윈도우마다 8개의 Haar-like 특징 값을 동시에 추출한다. 제안하는 회로는 AXI (Advanced eXtensible Interface) 및 APB(Advanced Peripheral Bus) 버스를 이용한 데이터 전송이 가능하도록 설계되었기 때문에 AMBA(Advanced Micro controller Bus Architecture) 3.
- 그림 1의 I 1 ∼I 4 영역에 대한 적분 값은 Haar-like 특징 값을 계산하기 위해 사용되며, 각 특징의 종류에 따라 식 (4)～ (6)의 연산을 이용한다. 본 논문에서 제안하는 Haar-like 특징 값 추출 회로는 슬라이딩 윈도우 당 한 번에 8개의 Haar-like 특징 값을 추출한다. 또한 고성능으로 보행자 및차량을 인식하기 위해 슬라이딩 윈도우 두 개를 동시에 처리하므로, 한 번에 16개의 Haar-like 특징 값을 추출한다.
- 본 논문에서 제안하는 고성능 보행자 및 차량 인식 회로는 Verilog HDL(Hardware Description Language)을 사용하여 구현하였다. 또한 Synopsys사의 Design Compiler를 통해 130nm 표준 셀 라이브러리를 이용하여 게이트 수준의 회로로 합성하였다.
- 본 논문에서 제안하는 고성능 보행자 및 차량 인식 회로는 Verilog HDL를 사용하여 RTL로 구현하였으며, Cadence 사의 NC-Verilog 및 AMBA 3.0 버스 환경을 이용하여 회로의 동작을 검증하였다. 또한 Synopsys사의 Design Compiler를 통해 130nm 표준 셀 라이브러리를 이용하여 게이트 수준의 회로로 합성하였다.
- 제안하는 적분 이미지 생성 회로는 그림 5와 같다. 본 논문에서 제안하는 보행자 및 차량 인식 회로는 한 번에 두개의 슬라이딩 윈도우를 처리한다. 따라서 두 개의 슬라이딩 윈도우 크기를 고려한 양만큼의 영상 데이터 및 적분 이미지 데이터를 메모리에 저장한다
- 본 논문에서 제안하는 회로는 640×480 영상 한 장과 640×480 영상을 80% 크기로 연속적으로 축소시킨 서로 다른 크기의 영상 10장(9단계의 스케일링 다운 적용)을 모두 처리하는데 총 4,711,924 클럭 사이클이 소요된다.
- 84장 처리하며, 차량 및 보행자를 인식하기 위한 논문 [6]의 회로는 1,715개의 Haar-like 특징을 이용하여 320x240 크기의 영상을 초당 64장 처리한다. 본 논문에서 제안하는 회로는 64x64 또는 48x96 크기의 슬라이딩 윈도우를 이용하여 640x480 크기의 영상을 처리하며, 두 개의 슬라이딩 윈도우를 동시에 처리하기 때문에 한 번에 400개의 특징을 이용한다. 논문 [5], [6]의 회로들과 본 논문에서 제안하는 회로의 성능 비교를 위해 입력 영상과 슬라이딩 윈도우의 크기, 스케일링 정도, 한 번에 이용하는 Haar-like 특징 개수 등을 동일하게 적용하면, 본 논문에서 제안하는 회로는 640x480 크기의 영상을 초당 약 48장 처리할 수 있는 반면, 같은 조건에서 논문 [5]와 논문[6]의 회로는 각각 초당 13장과 14장을 처리할 수 있다.
- 여기에서 111비트는 Haar-like 특징의 종류(3비트)와 Haar-like 특징을 계산하기 위해 필요한 좌표 데이터(9개 ×12비트)를 고려한 것이다. 본 논문에서 제안하는 회로는 보행자 및 차량을 인식하기 위해 슬라이딩 윈도우 당 200개의 Haar-like 특징 값을 추출하여 사용한다. 따라서 한 번에 8개의 Haar-like 특징 값을 추출하기 위해서 각 특징의 종류 및 좌표 데이터는 25개의 주소에 나누어 메모리에 저장 된다.
- 본 논문 에서 계산된 적분 이미지는 105개의 9×192비트 메모리에 저장된다. 본 논문에서 제안하는 회로는 한 번에 두 개의 슬라이딩 윈도우를 처리하며, 슬라이딩 윈도우 당 한 번에 8 개의 Haar-like 특징 값을 계산한다. 따라서 메모리에 저장 되는 각 데이터의 크기는 192비트(24비트×8개)이며 모두 9개(72화소/8개)의 주소에 나뉘어 저장된다.
- 본 논문에서는 보행자 및 차량을 인식하기 위해 640×480 크기의 입력 영상을 슬라이딩 윈도우 단위로 처리하며, 보행자를 인식하기 위한 슬라이딩 윈도우의 크기는 48×96이고 차량을 인식하기 위한 슬라이딩 윈도우의 크기는 64×64이 다.
- 본 논문에서는 실시간 처리를 위해 72×480×8 크기의 영상을 두 개의 그룹으로 나누어서 번갈아 저장한다.
- 하지만 본 논문에서는 한 번에 두개의 슬라이딩 윈도우를 처리하기 때문에 두 개의 슬라이딩 윈도우 양 만큼의 데이터를 저장할 수 있는 크기의 메모리를 사용한다. 제안하는 적분 이미지 연산 회로는 슬라이딩 윈도우의 최대 가로 크기 64화소 및 최대 세로 크기 96화소와 슬라이딩 윈도우의 최대 이동 단위인 8화소를 고려하여 가로 72 화소, 세로 105 화소 크기에 대한 적분 이미지를 계산하여 메모리에 저장한다. 72×105 크기의 영상에 대한 적분 이미지의 각 데이터는 최대 24비트로 표현된다.
- 제안하는 회로는 640×480 크기의 영상을 슬라이딩 윈도우 단위로 처리하여 보행자 및차량을 인식한다.
- 보행자 및 차량을 추출하기 위해 사용하는 Haar-like 특징의 개수는 슬라이딩 윈도우 당 200개이며, 실시간 처리를 위해 8개의 Haar-like 특징 값을 동시에 추출한다. 제안하는 회로는 9단계의 스케일링 다운을 적용한 640×480 영상을 초당 약 48 프레임을 처리할 수 있기 때문에 실시간으로 보행 자와 차량을 인식하기 위해 사용될 수 있다.
- 제안하는 회로는 슬라이딩 윈도우 두 개를 동시에 처리하는 병렬 회로 구조를 적용하였으며 각 슬라이딩 윈도우에서 한번에 8개의 Haar-like 특징 값을 추출한다. 슬라이딩 윈도우의 이동 단위를 4화소 단위로 적용할 경우 한 프레임 당 처리해야 하는 슬라이딩 윈도우의 최대 개수는 35,996개이다.
- 각 분류기를 위한 파라미터들은 버스를 통해 입력되어 내부 메모리에 저장된다. 제안하는 회로는 여러 개의 약 분류기를 하나의 스테이지로 처리 한다. AdaBoost 인식 과정을 여러 스테이지로 나누어 처리하면 각 스테이지의 인식 결과에 따라 인식 과정을 중간에멈출 수 있기 때문에 속도를 빠르게 하는 장점이 있다.
- 그림 4는 본 논문에서 제안하는 고성능 보행자 및 차량 인식 회로의 전체적인 구조를 나타내며, 그림과 같이 적분이미지 생성 회로, Haar-like 특징 값 추출 회로, AdaBoost 인식 회로로 구성된다. 제안하는 회로는 인식을 위해 필요한 데이터를 AXI 및 APB 버스를 통해 전송 받는다. 처리하는 영상 및 슬라이딩 윈도우의 크기 등은 APB 버스를 통해 입력되고, AdaBoost 인식기에서 사용되는 파라미터 및 입력영상 데이터 등은 AXI 버스를 통해 입력된다.
- 따라서 한 번에 8개의 Haar-like 특징 값을 추출하기 위해서 각 특징의 종류 및 좌표 데이터는 25개의 주소에 나누어 메모리에 저장 된다. 제안하는 회로는 한 번에 8개의 특징 값을 추출하기 위해 적분 값 계산 및 Haar-like 특징 계산 회로에 병렬 구조를 적용하였다.
- 제안하는 회로는 한 번에 두 개의 슬라이딩 윈도 우를 처리하기 때문에 슬라이딩 윈도우가 640×480 영상을세로로 두 번 스캔할 수 있는 양 만큼의 영상 데이터를 메모리에 저장한다.
- 보행자 및 차량을 인식하기 위해 사용하는 Haar-like 특징의 개수는 슬라이딩 윈도우 당 200개이며, 실시간 처리를 위해 8개의 특징 값을 한 번에 추출하여 사용 한다. 제안하는 회로에서 사용된 Haar-like 특징의 종류는 OpenCV를 이용한 훈련 과정에서 결정되며, 훈련 과정에서는 인식하는 대상에 따라 서로 다른 종류의 Haar-like 특징이 결정되기 때문에 보행자와 차량을 인식하기 위해 사용된 Haar-like 특징의 종류는 다르다.
- 화소 당 8비트의 크기를 갖는 640×480 영상 전체에 대한적분 이미지는 최대 27비트로 표현되며, 이를 저장하기 위해서는 최대 641×481×27비트(641화소×481화소×27비트) 크기의 메모리가 필요하다. 하지만 본 논문에서는 한 번에 두개의 슬라이딩 윈도우를 처리하기 때문에 두 개의 슬라이딩 윈도우 양 만큼의 데이터를 저장할 수 있는 크기의 메모리를 사용한다. 제안하는 적분 이미지 연산 회로는 슬라이딩 윈도우의 최대 가로 크기 64화소 및 최대 세로 크기 96화소와 슬라이딩 윈도우의 최대 이동 단위인 8화소를 고려하여 가로 72 화소, 세로 105 화소 크기에 대한 적분 이미지를 계산하여 메모리에 저장한다.
대상 데이터
- 그림 7은 특정 영역에 대한 적분 값을 구하기 위해 좌표데이터에 따른 적분 이미지 데이터를 선택하는 과정을 나타낸다. 제안하는 회로는 먼저 Y좌표에 따라 105개의 SRAM 중에서 하나의 SRAM을 선택한다. X좌표는 Y좌표를 이용 하여 선택된 SRAM에서 하나의 24비트 적분 이미지 데이터를 선택하기 위해 사용된다.
- 본 논문에서 제안하는 회로는 640×480 영상 한 장과 640×480 영상을 80% 크기로 연속적으로 축소시킨 서로 다른 크기의 영상 10장(9단계의 스케일링 다운 적용)을 모두 처리하는데 총 4,711,924 클럭 사이클이 소요된다. 제안하는 회로를 130nm 표준 셀 라이브러리로 합성하였을 때 최대 동작 주파수는 203MHz이고 회로의 크기는 1,388,260 게이트 이다. 본 논문에서 제안하는 고성능 보행자 및 차량 인식 회로는 9단계의 스케일링 다운을 적용한 640×480 영상을 초당 약 47.
- 각 분류기의 판별 상수, 신뢰도 등은 AdaBoost 훈련 과정에서 결정된다. 제안하는 회로에서 사용된 약 분류기의 개수는 슬라이딩 윈도우 당 추출하는 Haar-like 특징의 개수와 같은 200개이다. 각 분류기를 위한 파라미터들은 버스를 통해 입력되어 내부 메모리에 저장된다.
- 또한 Synopsys사의 Design Compiler를 통해 130nm 표준 셀 라이브러리를 이용하여 게이트 수준의 회로로 합성하였다. 합성된 회로는 1,388,260개의 게이트로 구성되며 최대 동작 주파수는 203MHz이고, 초당 약 47.8장의 영상을 처리할 수 있다.
이론/모형
- 제안하는 회로가 보행자 및 차량 인식을 위해 사용한 방법은 Haar-like 특징 추출[1] 및 AdaBoost 인식 방법[2]이 다. 본 절에서는 이 두 가지 방법에 대해 요약하여 설명하고자 한다.
성능/효과
- 논문 [5], [6]의 회로들과 본 논문에서 제안하는 회로의 성능 비교를 위해 입력 영상과 슬라이딩 윈도우의 크기, 스케일링 정도, 한 번에 이용하는 Haar-like 특징 개수 등을 동일하게 적용하면, 본 논문에서 제안하는 회로는 640x480 크기의 영상을 초당 약 48장 처리할 수 있는 반면, 같은 조건에서 논문 [5]와 논문[6]의 회로는 각각 초당 13장과 14장을 처리할 수 있다. 따라서 본 논문에서 제안하는 회로는 Haar-like 특징의 수, 슬라이딩 윈도우의 크기 및 이동 단위 등을 종합적으로 고려했을 때 다른 회로 들보다 성능이 더 좋다.
- 본 논문에서 제안하는 고성능 보행자 및 차량 인식 회로는 9단계의 스케일링 다운을 적용한 640×480 영상을 초당 약 47.8장 처리할 수 있다.
- 제안하는 고성능 보행자 및 차량 인식 회로는 효율적인 메모리 관리를 통해 데이터를 저장하기 위한 메모리의 크기 및 지연 시간을 줄였다. 또한 병렬 회로 구조를 적용하여 슬라이딩 윈도우 두 개를 동시에 처리하며, 각 슬라이딩 윈도우마다 8개의 Haar-like 특징 값을 동시에 추출한다.
- 본 논문은 Haar-like 특징과 AdaBoost 인식을 이용한 고성능 보행자 및 차량 인식 회로를 제안한다. 제안하는 회로는 효율적인 메모리 관리를 통해 데이터를 저장하기 위한 메모리의 크기 및 지연 시간을 줄였다. 또한 병렬 회로 구조를 적용하여 슬라이딩 윈도우 두 개를 동시에 처리한다.
후속연구
- 또한 병렬 회로 구조를 적용하여 슬라이딩 윈도우 두 개를 동시에 처리하며, 각 슬라이딩 윈도우마다 8개의 Haar-like 특징 값을 동시에 추출한다. 제안하는 회로는 AXI (Advanced eXtensible Interface) 및 APB(Advanced Peripheral Bus) 버스를 이용한 데이터 전송이 가능하도록 설계되었기 때문에 AMBA(Advanced Micro controller Bus Architecture) 3.0 규격을 이용하는 다른 시스템에도 쉽게 적용되어 사용될 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.