특징 추출 알고리즘은 영상 내에서 중요한 특징을 추출하기 위해 실시간 영상 처리 응용 분야에서 활용된다. 특히, 특징 추출 알고리즘은 추적 및 식별의 목적으로 다양한 영상처리 알고리즘에 특징 정보를 제공하기 위해서 활용되며, 주로 영상처리 전처리 단계에서 구현되고 있다. 광범위한 응용 분야에 이용되는 특징 추출 알고리즘의 처리 속도를 높인다면 혼합되어 사용될 다른 알고리즘 처리 소요 시간의 여유를 확보 할 수 있을 뿐만 아니라, 특징 추출 알고리즘이 적용된 영상 처리 응용 분야의 실시간 요건을 만족시키기 용이하기 때문에 중요하다. 본 논문에서는 특징 추출 기법을 고속으로 처리하기 위해 FPGA 기반의 하드웨어 가속기를 제안한다. 하드웨어 가속기 구현에 사용된 E. Rosten의 Feature from Accelerated Segment Test 알고리즘과 디지털 로직으로 구현한 하드웨어 가속기의 구조와 동작 절차에 대해 기술하였다. 설계한 하드웨어 가속기는 ModelSim을 이용해 동작 및 성능을 검증하였고, Xilinx Vertex IV FPGA 기반으로 로직을 합성해 구현 비용을 계산하였다. 제안한 하드웨어 가속기를 구현하기 위해 2,217개의 Flip Flop, 5,034개의 LUT, 2,833개의 Slice, 그리고 18개의 Block RAM을 사용하였으며, $640{\times}480$ 크기의 영상으로부터 954개의 특징을 추출하는데 3.06 ms의 시간이 소요되어 기존의 결과보다 구현 비용 면에서의 우월함이 확인되었다.
특징 추출 알고리즘은 영상 내에서 중요한 특징을 추출하기 위해 실시간 영상 처리 응용 분야에서 활용된다. 특히, 특징 추출 알고리즘은 추적 및 식별의 목적으로 다양한 영상처리 알고리즘에 특징 정보를 제공하기 위해서 활용되며, 주로 영상처리 전처리 단계에서 구현되고 있다. 광범위한 응용 분야에 이용되는 특징 추출 알고리즘의 처리 속도를 높인다면 혼합되어 사용될 다른 알고리즘 처리 소요 시간의 여유를 확보 할 수 있을 뿐만 아니라, 특징 추출 알고리즘이 적용된 영상 처리 응용 분야의 실시간 요건을 만족시키기 용이하기 때문에 중요하다. 본 논문에서는 특징 추출 기법을 고속으로 처리하기 위해 FPGA 기반의 하드웨어 가속기를 제안한다. 하드웨어 가속기 구현에 사용된 E. Rosten의 Feature from Accelerated Segment Test 알고리즘과 디지털 로직으로 구현한 하드웨어 가속기의 구조와 동작 절차에 대해 기술하였다. 설계한 하드웨어 가속기는 ModelSim을 이용해 동작 및 성능을 검증하였고, Xilinx Vertex IV FPGA 기반으로 로직을 합성해 구현 비용을 계산하였다. 제안한 하드웨어 가속기를 구현하기 위해 2,217개의 Flip Flop, 5,034개의 LUT, 2,833개의 Slice, 그리고 18개의 Block RAM을 사용하였으며, $640{\times}480$ 크기의 영상으로부터 954개의 특징을 추출하는데 3.06 ms의 시간이 소요되어 기존의 결과보다 구현 비용 면에서의 우월함이 확인되었다.
Various feature extraction algorithms are widely applied to real-time image processing applications for extracting significant features from images. Feature extraction algorithms are mostly combined with image processing algorithms mostly for image tracking and recognition. Feature extraction functi...
Various feature extraction algorithms are widely applied to real-time image processing applications for extracting significant features from images. Feature extraction algorithms are mostly combined with image processing algorithms mostly for image tracking and recognition. Feature extraction function is used to supply feature information to the other image processing algorithms and it is mainly implemented in a preprocessing stage. Nowadays, image processing applications are faced with embedded system implementation for a real-time processing. In order to satisfy this requirement, it is necessary to reduce execution time so as to improve the performance. Reducing the time for executing a feature extraction function dose not only extend the execution time for the other image processing algorithms, but it also helps satisfy a real-time requirement. This paper explains FAST (Feature from Accelerated Segment Test algorithm) of E. Rosten and presents FPGA-based embedded hardware accelerator architecture. The proposed acceleration scheme can be implemented by using approximately 2,217 Flip Flops, 5,034 LUTs, 2,833 Slices, and 18 Block RAMs in the Xilinx Vertex IV FPGA. In the Modelsim - based simulation result, the proposed hardware accelerator takes 3.06 ms to extract 954 features from a image with $640{\times}480$ pixels and this result shows the cost effectiveness of the propose scheme.
Various feature extraction algorithms are widely applied to real-time image processing applications for extracting significant features from images. Feature extraction algorithms are mostly combined with image processing algorithms mostly for image tracking and recognition. Feature extraction function is used to supply feature information to the other image processing algorithms and it is mainly implemented in a preprocessing stage. Nowadays, image processing applications are faced with embedded system implementation for a real-time processing. In order to satisfy this requirement, it is necessary to reduce execution time so as to improve the performance. Reducing the time for executing a feature extraction function dose not only extend the execution time for the other image processing algorithms, but it also helps satisfy a real-time requirement. This paper explains FAST (Feature from Accelerated Segment Test algorithm) of E. Rosten and presents FPGA-based embedded hardware accelerator architecture. The proposed acceleration scheme can be implemented by using approximately 2,217 Flip Flops, 5,034 LUTs, 2,833 Slices, and 18 Block RAMs in the Xilinx Vertex IV FPGA. In the Modelsim - based simulation result, the proposed hardware accelerator takes 3.06 ms to extract 954 features from a image with $640{\times}480$ pixels and this result shows the cost effectiveness of the propose scheme.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
또한 특징 추출 알고리즘만을 수행할 시에는 초당 약 326개 영상의 특징이 추출 가능하다. 본 논문에서 비교 평가로 사용한 다양한 플랫폼에 적용된 특징 추출 모듈들과 비교해 적은 하드웨어 비용으로 높은 성능을 가짐을 확인하였다. 그 중, SUSAN을 하드웨어 가속기로 구현한 가속기와 비교해 2.
본 논문에서는 FAST-9 알고리즘을 이용한 특징 추출을 가속화하기 위한 하드웨어 가속기에 대해 설명하였다. 제안한 가속기는 3단계로 나누어져 각각의 단계가 파이프라인 구조를 가지도록 설계되었으며, 영상 크기 및 임계값 변경이 소프트웨어적으로 용이하도록 설계에 반영되었다.
제안 방법
Feature Information과 Feature Position 정보를 저장하고 부르기 위해 First In First Out (FIFO)를 이용하였다. FS 모듈의 결과물 중 특징 후보들의 점수는 정보의 양이 방대하기 때문에 외부 메모리에 640x480KB를 할당하고 저장하였다. 이렇게 외부 메모리에 저장된 특징 후보의 점수들은 4줄까지 저장 가능한 순환 구조의 Score Line을 두어, NMS 모듈이 저장된 특징 후보들의 점수를 외부 메모리로부터 가능한 지연 없이 읽어오도록 설계하였다.
설계된 각 모듈들은 처리 효율을 향상시키기 위해 파이프라인 구조를 채택하였다. 각 단계에서 필요로 하는 데이터들의 접근성을 높이기 위해 Block RAM (BRAM)을 사용하였다. 특히, 외부 메모리와 가속기 간의 접근성을 높이기 위해 사용된 BRAM은 Finite-state Machine (FSM)을 사용해 제어하였다.
본 논문에서는 디지털 논리 회로를 이용해 FAST-9 하드웨어 가속기(그림 2)를 FPGA에 설계하였다. 구현된 FAST-9 하드웨어 가속기는 알고리즘을 수행하기 위해 크게 특징 후보를 추출하는 FD 단계, 특징 후보들의 점수를 생성하는 FS 단계, 그리고 인접한 특징 후보들 간의 점수를 비교해 대표 특징을 찾는 NMS 단계로 나누어 설계하였다. 설계된 각 모듈들은 처리 효율을 향상시키기 위해 파이프라인 구조를 채택하였다.
본 논문에서 제안한 하드웨어 가속기의 성능을 검증하기 위해 ModelSim 툴을 사용하였다. 또한 성능 비교를 위해 다른 논문에서 제안한 Harris, SUSAN, 그리고 FAST 알고리즘을 적용한 플랫폼들과 표 1에서 비교하 였다. 특징 추출 가속기는 640x480 크기의 영상을 입력 받아, 영상 한 장당 총 307,200개의 픽셀들에 대해 특징 유무를 검사한다.
. 본 논문에서는 구현비용 및 실시간을 고려하여 수식이 비교적 단순한 FAST-n (Feature from Accelerated Segment Test)[6] 알고리즘을 하드웨어로 구현하였다. FAST-n 알고리즘은 기준 픽셀과 인접 픽셀들 간의 어둡고 밝음을 임계값을 이용해 판단하고, n개 이상의 연속되는 인접 픽셀들이 어두운 상태 혹은 밝은 상태를 유지하면 해당 기준 픽셀을 특징으로 판단한다.
본 논문에서는 디지털 논리 회로를 이용해 FAST-9 하드웨어 가속기(그림 2)를 FPGA에 설계하였다. 구현된 FAST-9 하드웨어 가속기는 알고리즘을 수행하기 위해 크게 특징 후보를 추출하는 FD 단계, 특징 후보들의 점수를 생성하는 FS 단계, 그리고 인접한 특징 후보들 간의 점수를 비교해 대표 특징을 찾는 NMS 단계로 나누어 설계하였다.
본 장에서는 제안한 특징 추출 가속기의 성능과 하드웨어 구현비용을 설명하고, 다른 논문에서 수행한 특징 추출 알고리즘들과 비교하였다.
구현된 FAST-9 하드웨어 가속기는 알고리즘을 수행하기 위해 크게 특징 후보를 추출하는 FD 단계, 특징 후보들의 점수를 생성하는 FS 단계, 그리고 인접한 특징 후보들 간의 점수를 비교해 대표 특징을 찾는 NMS 단계로 나누어 설계하였다. 설계된 각 모듈들은 처리 효율을 향상시키기 위해 파이프라인 구조를 채택하였다. 각 단계에서 필요로 하는 데이터들의 접근성을 높이기 위해 Block RAM (BRAM)을 사용하였다.
FS 모듈의 결과물 중 특징 후보들의 점수는 정보의 양이 방대하기 때문에 외부 메모리에 640x480KB를 할당하고 저장하였다. 이렇게 외부 메모리에 저장된 특징 후보의 점수들은 4줄까지 저장 가능한 순환 구조의 Score Line을 두어, NMS 모듈이 저장된 특징 후보들의 점수를 외부 메모리로부터 가능한 지연 없이 읽어오도록 설계하였다. 제안한 가속기의 설정 및 시작과 끝은 FPGA에 내장된 PPC440 프로세서를 이용해 소프트웨어로 처리하였다.
94ms 시간이 확보 가능하다. 정량적 평가를 위해 클럭 사이클 당, 몇 개의 픽셀을 처리할 수 있는지를 계산하였다. 본 논문의 하드웨어 가속기는 (640 x 480)/(100 MHz x 3.
본 논문에서는 FAST-9 알고리즘을 이용한 특징 추출을 가속화하기 위한 하드웨어 가속기에 대해 설명하였다. 제안한 가속기는 3단계로 나누어져 각각의 단계가 파이프라인 구조를 가지도록 설계되었으며, 영상 크기 및 임계값 변경이 소프트웨어적으로 용이하도록 설계에 반영되었다. 시험을 통해 640x480 화소를 가지는 영상에서 약 950개의 특징을 추출하는데 3.
제안한 가속기의 구현 비용은 FAST-9 알고리즘에 해당하는 FD, FS, NMS 로직, 가속기 설정을 위한 Configuration 로직, 그리고 외부 메모리로부터 데이터를 읽고 쓰기위해 Native Port Interface (NPI) 및 Video Frame Buffer Controller (VFBC)를 제어하는 로직을 포함한다. 설계된 하드웨어는 100MHz의 동작 클록을 가지며 2,217개의 Flip Flops, 5,034개의 LUTs, 2,833개의 Slices, 그리고 18개의 BRAMs이 사용되었다.
이렇게 외부 메모리에 저장된 특징 후보의 점수들은 4줄까지 저장 가능한 순환 구조의 Score Line을 두어, NMS 모듈이 저장된 특징 후보들의 점수를 외부 메모리로부터 가능한 지연 없이 읽어오도록 설계하였다. 제안한 가속기의 설정 및 시작과 끝은 FPGA에 내장된 PPC440 프로세서를 이용해 소프트웨어로 처리하였다. 설계된 하드웨어는 아래 절차에 따라 수행된다.
제안한 하드웨어 가속기의 구현 비용을 계산하기 위해 자일링스 Vertex Ⅳ FPGA 기반 ISE (Integrated Software Environment) 개발 툴을 이용해 합성하고, 구현 비용을 확인하였다. 제안한 하드웨어 가속기의 구현 비용을 비교 평가하기 위해 성능이 유사하게 나타난 SUSAN[4]을 이용하였다.
FAST-n 알고리즘은 기준 픽셀과 인접 픽셀들 간의 어둡고 밝음을 임계값을 이용해 판단하고, n개 이상의 연속되는 인접 픽셀들이 어두운 상태 혹은 밝은 상태를 유지하면 해당 기준 픽셀을 특징으로 판단한다. 처리 과정이 간단한 가감셈 연산과 비교 연산만으로 구성되기 때문에 순수 하드웨어 구현시, 적은 비용을 들여 로직 설계가 가능하여 하드웨어 가속기에 해당 알고리즘을 선정하고 구현하였다.
FAST-9 기법은 3단계로 나누어 정의된다. 특정 픽셀을 인접한 픽셀들과 임계값 t를 기준으로 비교해, 9개 이상의 인접 픽셀들이 연속으로 밝거나 어두울 경우를 찾아 특징 후보를 정의하는 Feature Detection (FD) 단계, 각 특징 후보들의 특징 정도에 따라 점수를 부여하는 Feature Score (FS) 단계, 그리고 인접한 특징 후보들 간의 점수를 비교해 높은 점수를 가진 특징을 찾는 Non-maximal Suppression (NMS) 단계로 구성된다.
대상 데이터
설계된 하드웨어는 100MHz의 동작 클록을 가지며 2,217개의 Flip Flops, 5,034개의 LUTs, 2,833개의 Slices, 그리고 18개의 BRAMs이 사용되었다. 비교 대상으로 사용된 SUSAN 가속기는 외부 메모리와 데이터를 주고받기 위해 사용한 PLB bus IP interface (IPIF)를 제외한 하드웨어 비용이 고려되었으며, 총 2,281개의 Flip Flops, 8,450개의 LUTs, 4,601개의 Slices, 16개의 BRAMs, 그리고 1개의 MULT18X18가 사용되었다. 비록, 하드웨어 구현 비용 평가로부터 제안된 하드웨어 가속기는 SUSAN보다 2개의 BRAMs을 추가 사용하였지만, 외부 인터페이스 모듈의 구현 비용까지 고려했음에도 불구하고 2.
제안한 가속기의 구현 비용은 FAST-9 알고리즘에 해당하는 FD, FS, NMS 로직, 가속기 설정을 위한 Configuration 로직, 그리고 외부 메모리로부터 데이터를 읽고 쓰기위해 Native Port Interface (NPI) 및 Video Frame Buffer Controller (VFBC)를 제어하는 로직을 포함한다. 설계된 하드웨어는 100MHz의 동작 클록을 가지며 2,217개의 Flip Flops, 5,034개의 LUTs, 2,833개의 Slices, 그리고 18개의 BRAMs이 사용되었다. 비교 대상으로 사용된 SUSAN 가속기는 외부 메모리와 데이터를 주고받기 위해 사용한 PLB bus IP interface (IPIF)를 제외한 하드웨어 비용이 고려되었으며, 총 2,281개의 Flip Flops, 8,450개의 LUTs, 4,601개의 Slices, 16개의 BRAMs, 그리고 1개의 MULT18X18가 사용되었다.
또한 성능 비교를 위해 다른 논문에서 제안한 Harris, SUSAN, 그리고 FAST 알고리즘을 적용한 플랫폼들과 표 1에서 비교하 였다. 특징 추출 가속기는 640x480 크기의 영상을 입력 받아, 영상 한 장당 총 307,200개의 픽셀들에 대해 특징 유무를 검사한다. 설계된 하드웨어 가속기는 외부 메모 리에 영상이 적재되는 시점을 기준으로 640x480 영상 내에서 954개의 특징 추출을 마치고 인터럽트 컨트롤러에게 동작이 완료되었다는 신호를 보낼 때까지 3.
데이터처리
본 논문에서 제안한 하드웨어 가속기를 FAST가 아닌 다른 알고리즘을 적용한 플랫폼들과 표 1에서 성능을 비교하였다. Harris 알고리즘은 GPU 상에서 구현하였을 시에 특징 추출은 2.
본 논문에서 제안한 하드웨어 가속기의 성능을 검증하기 위해 ModelSim 툴을 사용하였다. 또한 성능 비교를 위해 다른 논문에서 제안한 Harris, SUSAN, 그리고 FAST 알고리즘을 적용한 플랫폼들과 표 1에서 비교하 였다.
이론/모형
하드웨어 가속기는 전체 영상에서 8줄 씩을 미리 저장 할 수 있게 순환 구조의 Pixel Line을 두었다. Feature Information과 Feature Position 정보를 저장하고 부르기 위해 First In First Out (FIFO)를 이용하였다. FS 모듈의 결과물 중 특징 후보들의 점수는 정보의 양이 방대하기 때문에 외부 메모리에 640x480KB를 할당하고 저장하였다.
본 연구에서는 Rosten의 FAST-n 알고리즘의 n에 9를 적용(FAST-9)하여 실시간 처리가 가능한 하드웨어 가속기를 로직으로 FPGA에 구현하였다. Ⅱ장에서는 FAST-9 알고리즘을 3단계로 구분하여 설명하고, 설계된 하드웨어 가속기를 설명 세부적으로 설명한다.
제안한 하드웨어 가속기의 구현 비용을 계산하기 위해 자일링스 Vertex Ⅳ FPGA 기반 ISE (Integrated Software Environment) 개발 툴을 이용해 합성하고, 구현 비용을 확인하였다. 제안한 하드웨어 가속기의 구현 비용을 비교 평가하기 위해 성능이 유사하게 나타난 SUSAN[4]을 이용하였다. 표 2는 제안한 가속기와 SUSAN의 구현 비용이다.
각 단계에서 필요로 하는 데이터들의 접근성을 높이기 위해 Block RAM (BRAM)을 사용하였다. 특히, 외부 메모리와 가속기 간의 접근성을 높이기 위해 사용된 BRAM은 Finite-state Machine (FSM)을 사용해 제어하였다. 하드웨어 가속기는 전체 영상에서 8줄 씩을 미리 저장 할 수 있게 순환 구조의 Pixel Line을 두었다.
성능/효과
본 논문에서 비교 평가로 사용한 다양한 플랫폼에 적용된 특징 추출 모듈들과 비교해 적은 하드웨어 비용으로 높은 성능을 가짐을 확인하였다. 그 중, SUSAN을 하드웨어 가속기로 구현한 가속기와 비교해 2.89%의 Flip Flops, 67.86%의 LUTs, 62.41%의 Slices, 그리고 1개의 MULT18X18 로직을 감소시켰다. 제안한 하드웨어 가속기는 특징 추출이 필요한 다양한 영상 응용 분야에 적용될 것으로 기대된다.
제 안한 논문과 유사한 FPGA 환경에서 설계된 SUSAN[4]은 다른 플랫폼에 적용된 SUSAN[10], SUSAN[8]보다 소요 시간 및 pixel/clock cycle 측면 성능이 우수하다. 또한 제안한 가속기는 결과가 SUSAN[4]하고 유사하지만, 처리 시간이 약 2% 단축되고 pixel/clock cycle이 4% 향상되었다.
정량적 평가를 위해 클럭 사이클 당, 몇 개의 픽셀을 처리할 수 있는지를 계산하였다. 본 논문의 하드웨어 가속기는 (640 x 480)/(100 MHz x 3.06 ms) = 1.0039 pixel/clock cycle의 성능을 가진다. 본 논문의 하드웨어 가속기에 적용한 FAST-9 알고리즘을 2.
0039 pixel/clock cycle의 성능을 가진다. 본 논문의 하드웨어 가속기에 적용한 FAST-9 알고리즘을 2.6GHz의 Opteron 프로세서를 가지는 플랫폼에서 구현하면 약 500개의 특징을 추출하는데 1.33 ms가 소요되어[7], (640 x 480)/(2.6 GHz x 1.33 ms) = 0.064 pixel/clock cycle의 성능을 가진다. 약 450개 이상의 특징을 더 추출함에도 불구하고, 본 논문에서 제안한 하드웨어 가속기가 약 16배의 pixel/clock cycle 성능이 향상되었다.
비교 대상으로 사용된 SUSAN 가속기는 외부 메모리와 데이터를 주고받기 위해 사용한 PLB bus IP interface (IPIF)를 제외한 하드웨어 비용이 고려되었으며, 총 2,281개의 Flip Flops, 8,450개의 LUTs, 4,601개의 Slices, 16개의 BRAMs, 그리고 1개의 MULT18X18가 사용되었다. 비록, 하드웨어 구현 비용 평가로부터 제안된 하드웨어 가속기는 SUSAN보다 2개의 BRAMs을 추가 사용하였지만, 외부 인터페이스 모듈의 구현 비용까지 고려했음에도 불구하고 2.89%의 Flip Flops, 67.86%의 LUTs, 62.41%의 Slices, 그리고 1개의 MULT18X18 재원의 사용을 감소시켜 구현을 간소화하였다.
특징 추출 가속기는 640x480 크기의 영상을 입력 받아, 영상 한 장당 총 307,200개의 픽셀들에 대해 특징 유무를 검사한다. 설계된 하드웨어 가속기는 외부 메모 리에 영상이 적재되는 시점을 기준으로 640x480 영상 내에서 954개의 특징 추출을 마치고 인터럽트 컨트롤러에게 동작이 완료되었다는 신호를 보낼 때까지 3.06ms의 시간이 소요되었다.
제안한 가속기는 3단계로 나누어져 각각의 단계가 파이프라인 구조를 가지도록 설계되었으며, 영상 크기 및 임계값 변경이 소프트웨어적으로 용이하도록 설계에 반영되었다. 시험을 통해 640x480 화소를 가지는 영상에서 약 950개의 특징을 추출하는데 3.06 ms가 소요되어 1.0039 pixel/clock cycle의 성능을 가짐을 확인 하였다. 25Hz의 비디오 영상을 받아 특징을 추출하였을 경우 프레임 별 40 ms의 시간을 가질 때, 기타 알고리즘 처리를 위해 매 프레임마다 36.
064 pixel/clock cycle의 성능을 가진다. 약 450개 이상의 특징을 더 추출함에도 불구하고, 본 논문에서 제안한 하드웨어 가속기가 약 16배의 pixel/clock cycle 성능이 향상되었다.
142 ms[4]가 소요되었다. 제안한 가속기보다 GPU에서 Harris 알고리즘을 적용한 플랫폼이 영상 내에서 특징을 추출하는데 적은 시간이 소요되었지만, 동작 클럭이 높기 때문에 제안한 가속기가 약 11배의 높은 pixel/clock cycle 성능을 가진다. 제 안한 논문과 유사한 FPGA 환경에서 설계된 SUSAN[4]은 다른 플랫폼에 적용된 SUSAN[10], SUSAN[8]보다 소요 시간 및 pixel/clock cycle 측면 성능이 우수하다.
제안한 하드웨어 가속기는 입력 영상에 대해 FD 그리고 FS 단계를 거쳐 NMS 단계를 수행해 특징 추출을 마치게 되면, 인터럽트 제어기에 인터럽트 신호를 ‘1’로 설정함으로서 PPC440 프로세서에게 특징 추출이 완료 되었음을 알려준다.
후속연구
41%의 Slices, 그리고 1개의 MULT18X18 로직을 감소시켰다. 제안한 하드웨어 가속기는 특징 추출이 필요한 다양한 영상 응용 분야에 적용될 것으로 기대된다.
질의응답
핵심어
질문
논문에서 추출한 답변
널리 이용되는 특징 추출 기법은 어떤 것들이 있는가?
널리 이용되는 특징 추출 기법들로서는 SIFT[1], Harris[2], SUSAN[3] 등이 있으나, 적은 하드웨어 자원으로 구성된 내장형 시스템에서 실시간 처리되도록 구현 하기에는 계산 수식이 복잡해 실시간 요건을 만족시키기 힘들거나 시스템 구현비용이 커진다[4,5]. 본 논문에서는 구현비용 및 실시간을 고려하여 수식이 비교적 단순한 FAST-n (Feature from Accelerated Segment Test)[6] 알고리즘을 하드웨어로 구현하였다.
내장형 시스템에 적용할 특징 추출 알고리즘의 선정은 영상 처리를 수행하는데 소요되는 수행시간을 결정짓는 중요한 요소가 되는 이유는?
일반적인 특징 추출 알고리즘은 입력 영상 내의 모든 픽셀들에 대해 특징 추출 검사를 하기 때문에, 추출된 특징 정보만을 사용하는 다른 알고리즘에 비해 수행 시간이 길다. 따라서 내장형 시스템에 적용할 특징 추출 알고리즘의 선정은 영상 처리를 수행하는데 소요되는 수행시간을 결정짓는 중요한 요소가 된다.
FAST-n 알고리즘의 원리는?
본 논문에서는 구현비용 및 실시간을 고려하여 수식이 비교적 단순한 FAST-n (Feature from Accelerated Segment Test)[6] 알고리즘을 하드웨어로 구현하였다. FAST-n 알고리즘은 기준 픽셀과 인접 픽셀들 간의 어둡고 밝음을 임계값을 이용해 판단하고, n개 이상의 연속되는 인접 픽셀들이 어두운 상태 혹은 밝은 상태를 유지하면 해당 기준 픽셀을 특징으로 판단한다. 처리 과정이 간단한 가감셈 연산과 비교 연산만으로 구성되기 때문에 순수 하드웨어 구현시, 적은 비용을 들여 로직 설계가 가능하여 하드웨어 가속기에 해당 알고리즘을 선정하고 구현하였다.
참고문헌 (17)
D. G. Lowe, "Distinctive Image Features from Scales-invariant Keypoints," International Journal of Computer Vision, vol 60, no. 2, pp. 91-110, 2004.
C. Harris, and M. Stephens, "A Combined Corner and Edge Detector," Proceedings of the Fourth Alvey Vision Conference, pp. 147-151, 1988.
S. Smith, and J. Brady, "SUSAN-A New Approach to Low-level Image Processing," International Journal of Computer Vision, vol. 23, pp. 45-48, 1997.
C. Claus et al, "Optimizing the SUSAN Corner Detection Algorithm for a High Speed FPGA Implementation," International Conference on Field Programmable Logic and Application, pp. 138-145, 2009.
L. Teixeria, W. Celes, and M. Gattass, "Accelerated Corner-detector Algorithms," in BMVC08, 2008. [Online]. Available: http://www.comp.leeds.ac.uk/bmvc2008/proceedings/paper/45.pdf
E. Rosten et al, "Faster and better: A Machine Learning Approach to Corner Detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 1, pp. 105-119, 2010.
E. Rosten, T. Drummond, "Machine Learning for High-speed Corner Detection," European Conference on Computer Vision, vol. 1, pp. 430-443, 2006.
M. Arias-Estrada, E. Rodriguez-Palacios, "An FPGA Co-processor for Real-Time Visual Tracking," in Proceedings of International Conference on Field-Programmable Logic and Application, pp. 710-719, 2002.
C. Claus, W. Stechele, A. Herkersdorf, "Autovision - a Runtime Reconfigurable MPSoC architecture for Future Driver Assistance Systems," it - Information Technology, vol. 49, no. 3, pp. 181-187, 2007.
C. Torres-Huitzil, M. Arias-Estrada, "An FPGA Architecture for High Speed Edge and Corner Detection," IEEE International Workshop on Computer Architectures for Machine Perception, pp. 112-116, Washington, DC, USA, 2000.
E. Rosten, T. Drummond, "Fusing Points and Lines for High Performance Tracking," IEEE International Conference on Computer Vision, vol. 2. Springer 1508-1515, Beijing, China, 2005.
B. Yu, et al. "A Corner Detection Algorithm Based on the Difference of FCC," International Conference on Computer Design and Application, vol. 4, pp. 226-229, Qinhuangdao, China, 2010.
W. Wang, R. D. Dony. "Evaluation of Image Corner Detectors for Hardware Implementation," Canadian Conference on Electrical and Computer Engineering, vol. 3, pp. 1285-1288, 2004.
F. Mokhtarian, R. Suomela, "Robust Image Corner Detection Through Curvature Scale Space," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 12, pp. 1376-1381. 1998.
L.-H. Zou et al, "The Comparison of Two Typical Corner Detection Algorithms," Second International Symposium on Intelligent Information Technology Application, pp. 211-215, Shanghai, China, 2008.
김택규, 박기용, 김영기, "영상 특징 추출을 위한 내장형 가속기 구현," 대한전자공학회 하계종합학술대회 논문집, 제 34권, 1호, 698-701쪽, 2011년 6 월.
김택규, 박기용, 김영기, "하드웨어기반 실시간 특징추출을 위한 로봇 비전 가속기 설계 및 구현," 제6회 한국로봇종합학술대회 논문집, 197-200쪽, 2011년 6월.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.