[논문]SoC FPGA 기반 실시간 객체 인식 및 추적 시스템 구현

김동진; 주연정; 박영석

doi:10.14372/iemek.2015.10.6.363

SoC FPGA 기반 실시간 객체 인식 및 추적 시스템 구현
An Implementation of SoC FPGA-based Real-time Object Recognition and Tracking System 원문보기

대한임베디드공학회논문지 = IEMEK Journal of embedded systems and applications, v.10 no.6, 2015년, pp.363 - 372

김동진 (ETRI) , 주연정 (Kyungnam University) , 박영석 (Kyungnam University)

Abstract ▼ AI-Helper

Recent some SoC FPGA Releases that integrate ARM processor and FPGA fabric show better performance compared to the ASIC SoC used in typical embedded image processing system. In this study, using the above advantages, we implement a SoC FPGA-based Real-Time Object Recognition and Tracking System. In our system, the video input and output, image preprocessing process, and background subtraction processing were implemented in FPGA logics. And the object recognition and tracking processes were implemented in ARM processor-based programs. Our system provides the processing performance of 5.3 fps for the SVGA video input. This is about 79 times faster processing power than software approach based on the Nios II Soft-core processor, and about 4 times faster than approach based the HPS processor. Consequently, if the object recognition and tracking system takes a design structure combined with the FPGA logic and HPS processor-based processes of recent SoC FPGA Releases, then the real-time processing is possible because the processing speed is improved than the system that be handled only by the software approach.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 SoC FPGA 기반 실시간 객체 인식 및 추적 시스템을 구현하여 Nios II 소프트코어 프로세서 및 ASIC SoC에 비해 SoC FPGA의 우월한 처리 성능을 확인하고자 한다. 영상 입출력과 전처리 과정, 배경 차분은 FPGA 논리로 구현하였고, 객체 인식 및 추적은 ARM 프로세서 기반의 응용 프로그램으로 구현하였다.
본 연구에서는 SoC FPGA 기반 실시간 객체 인식 및 추적 시스템을 구현하였다. 영상 입․출력과 전처리 과정, 배경 차는 FPGA 논리로 구현하였으며, 객체 인식 및 추적은 ARM 프로세서 기반의 응용 소프트웨어로 구현하였다.
본 장에서는 SoC FPGA 기반 실시간 객체 인식 및 추적 시스템을 구현하고자 한다. 그림 1은 시스템 전체 블록도로서 HPS(Hard Processor System)[5] 영역과 FPGA 영역으로 구성된다.
본 절에서는 Quartus II 설계 소프트웨어[7]를 사용하여 SoC FPGA 기반 실시간 객체 인식 및 추적 시스템을 위한 영상 입·출력과 전처리 과정, 배경 차분을 FPGA 논리로 구현하고자 한다.

제안 방법

본 절에서는 SoC FPGA 시스템의 소프트웨어를 설계하고자 한다. 그림 5는 SoC FPGA 시스템의 소프트웨어 블록도로서 FPGA에서 수행된 프레임 차 영상은 FPGA-to-HPS 브릿지(Bridge)를 통해 리눅스 디바이스 드라이버(/dev/fb0)를 통해 HPS의 DDR3 SDRAM에 저장된다.
수신된 차 영상을 획득하기 위해 디바이스 파일 (“dev/fb0, fb1")을 열고 프레임 버퍼의 가변 정보와 고정 정보를 획득한다.
본 연구에서는 SoC FPGA 기반 실시간 객체 인식 및 추적 시스템을 구현하였다. 영상 입․출력과 전처리 과정, 배경 차는 FPGA 논리로 구현하였으며, 객체 인식 및 추적은 ARM 프로세서 기반의 응용 소프트웨어로 구현하였다. 구현된 시스템은 SVGA 영상을 초당 5.
본 연구에서는 SoC FPGA 기반 실시간 객체 인식 및 추적 시스템을 구현하여 Nios II 소프트코어 프로세서 및 ASIC SoC에 비해 SoC FPGA의 우월한 처리 성능을 확인하고자 한다. 영상 입출력과 전처리 과정, 배경 차분은 FPGA 논리로 구현하였고, 객체 인식 및 추적은 ARM 프로세서 기반의 응용 프로그램으로 구현하였다.
배경 차분 방법으로 영상을 배경과 객체로 분리하게 되면, 객체가 아님에도 객체로 인식되는 잡음이 나타난다. 이 잡음을 처리하기 위해 모폴로지(Morphology) 연산을 사용하는데, 그 중에서도 침식(Erosion)과 팽창(Dilation) 연산을 사용하였다.

대상 데이터

본 연구의 실험을 위한 시스템 구성은 표 1과 같이 Altera Cyclone V SoC 디바이스가 장착된 SoCKit 개발 보드와 ASIC SoC 개발 보드는 Raspberry 2 Model B를 사용하였으며, 인텔 i7-2630QM 프로세서와 8GB RAM이 장착된 PC를 사용하였다.

데이터처리

구현회로 검증은 윈도우 7 OS 환경에서 Modelsim-Altera 시뮬레이션 소트프웨어[8]를 사용하여 RTL 회로를 검증하였다.

이론/모형

영상에서 관심 영역은 물체가 되고 나머지는 배경으로 취급된다. 객체 분할을 위해 라벨링(labeling)을 이용하였다. 라벨링은 인접하여 연결된 모든 화소에 동일한 번호를 붙이고 다른 연결성분에는 다른 번호를 붙이는 영역 구분 방법이다.
표 2는 처리구조별 성능 평가표로서 VGA와 SVGA 해상도를 적용하여 실험하였다. VGA 영상의경우 Nios II 프로세서 기반 응용 프로그램으로 객체 표시까지 수행하였을 경우 초당 0.

성능/효과

3 프레임의 처리성능을 제공 하였다. 이는 Nios II Soft-core 프로세서 기반 응용 소프트웨어로 처리하였을 경우보다 약 75배 그리고 HPS 기반 응용소프트웨어로 처리하였을 경우 보다 약 4배 빠른 처리 성능을 확인하였다.
3프레임의 처리 성능을 제공하였다. 이는 Nios II 프로세서 기반 응용 프로그램과 비교하였을 때 약 79배, HPS 기반 응용 프로그램과 비교하였을 때 4.4배 그리고 ASIC SoC 기반 응용 프로그램으로 처리 하였을 경우보다 약 4.9배 빠른 처리 성능을 확인 하였다.
5 프레임의 처리성능을 제공 하였다. 이는 Nios II 프로세서 기반 응용 프로그램으로 처리한 경우보다 약 75배, HPS 기반 응용 프로그램으로 처리하였을 경우보다 약 4.2배 그리고 ASIC SoC 기반 응용 프로그램으로 처리하였을 경우보다 약 4.5배 빠른 처리 성능을 확인하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	하드 ARM 코어를 채택한 ASIC SoC의 장단점은 무엇인가?	소프트 프로세서 코어를 채택하는 단일 칩 솔루션 역시 구현하기에는 비교적 용이하나 성능에 있어서 한계가 있다. 하드 ARM 코어를 채택한 ASIC SoC는 전력, 성능, 최적화는 뛰어나지만 개발 시간 때문에 제품 출시 시간이 길어지고, 유연성이 떨어지며, 대다수 애플리케이션에서 이용하기에는 비용이 너무 높다[2].
	배경 차분 방법으로 영상을 배경과 객체로 분리 할 때 발생하는 잡음은 어떤 연산에 의해 처리될 수 있는가?	배경 차분 방법으로 영상을 배경과 객체로 분리 하게 되면, 객체가 아님에도 객체로 인식되는 잡음이 나타난다. 이 잡음을 처리하기 위해 모폴로지 (Morphology) 연산을 사용하는데, 그 중에서도 침식(Erosion)과 팽창(Dilation) 연산을 사용하였다.
	배경 차분 방법이란?	움직이는 객체를 검출하는 방법 중에서 많이 사용되는 방법은 연산이 간단한 배경 차분 방법이다. 배경 차분 방법(Background Subtraction)은 이전에 생성된 배경 영상과 현재 영상을 비교하여 차이점이 있다면 그 부분을 검출하는 방법이다. 이러한 배경 차분 방법은 화소 기반의 연산으로 식 (1)과 같이 표현할 수 있다.

참고문헌 (8)

Todd Koelling, User-customized ARM-based SoC FPGA for Next-Generation Embedded Systems, Embedded News, Dec., 2011 (in Korean).
E.J. Hwang, User-Customized ARM-based SoC, Embedded News, July, 2012 (in Korean).
SangHaifeng, XuChao, "Moving Object Detection Based on Background Subtraction of Block Updates," IEEE International Conference on Intelligent Networks and Intelligent Systems, pp.51-54, 2013.
K.I. Kim, "Binary Connected-component Labeling with Block-based Labels and a Pixel-based Scan Mask", Journal of The Institute of Electronics Engineers of Korea, Vol, 50, No. 5, pp.1307-1314, 2013 (in Korean).
Cyclone V Hard Processor System Technical Reference Manual, pp.1-3323, 2014.
Altera Corp., Avalon Interface Specifications, pp.1-58, 2015.
Altera Corp., Quartus II Handbook, pp.1-1767, 2014
Altera Corp., Using ModelSim to Simulate Logic Circuits for Altera FPGA Devices, pp.1-30, 2011.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

SoC FPGA 기반 실시간 객체 인식 및 추적 시스템 구현
An Implementation of SoC FPGA-based Real-time Object Recognition and Tracking System 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

질의응답

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

SoC FPGA 기반 실시간 객체 인식 및 추적 시스템 구현 An Implementation of SoC FPGA-based Real-time Object Recognition and Tracking System 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

질의응답

참고문헌 (8)

이 논문을 인용한 문헌

저자의 다른 논문 :

박영석 (21)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

SoC FPGA 기반 실시간 객체 인식 및 추적 시스템 구현
An Implementation of SoC FPGA-based Real-time Object Recognition and Tracking System 원문보기

AI 본문요약
AI-Helper