[논문]곤충의 시각 신경망 기반 충돌감지 기술의 효율적인 VLSI 구조 설계

정수용; 이재현; 송덕용; 박태근

doi:10.5370/kiee.2018.67.12.1671

곤충의 시각 신경망 기반 충돌감지 기술의 효율적인 VLSI 구조 설계
Design of an Efficient VLSI Architecture for Collision Detection Based on Insect's Visual Interneuron 원문보기

전기학회논문지 = The Transactions of the Korean Institute of Electrical Engineers, v.67 no.12, 2018년, pp.1671 - 1677

정수용 (Dept. of Information, Communication, and Electronic Engineering, The Catholic University of Korea) , 이재현 (Dept. of Information, Communication, and Electronic Engineering, The Catholic University of Korea) , 송덕용 (Dept. of Information, Communication, and Electronic Engineering, The Catholic University of Korea) , 박태근 (Dept. of Information, Communication, and Electronic Engineering, The Catholic University of Korea)

Abstract ▼ AI-Helper

In this research, the collision detection system based on insect's visual interneuron has been designed. The lobula giant movement detector (LGMD) corresponds to the movement value that increases in direct collision process. If the collision is detected by the LGMD only, it could generate a crash warning even in a non-collision situation, resulting in a lot of false alarms. Directionally sensitive movement detectors (DSMD) are directionally sensitive algorithm based on the elementary movement detectors (EMD) in four directions (up, down, left, and right). In this paper, we propose an efficient VLSI architecture for a realtime collision detection system that is robust to the surrounding environment while improving accuracy. The proposed architecture is synthesized with Dongbu Hightech 110nm standard cell library and shows 333MHz of maximum operating frequency and requires 8400 gates with about 16.5KB of internal memories.

주제어

표/그림 (14)

그림 그림 1 LGMD의 동작 개념 Fig. 1 Conceptual structure of LGMD
그림 그림 2 DSMD의 동작 개념 Fig. 2 Conceptual structure of DSMD
그림 그림 3 전체 시스템 구조 Fig. 3 Overall system structure
그림 그림 4 LGMD 구조 Fig. 4 LGMD structure
그림 그림 5 V-MD 구조 Fig. 5 V-MD structure
그림 그림 6 충돌 영상(1, 5, 9, 13번째 프레임) Fig. 6 Collision video sample (1, 5, 9, 13 frame)
그림 그림 7 충돌 영상 LGMD 값 Fig. 7 LGMD value for the collision
그림 그림 8 충돌 영상 DSMD 값 Fig. 8 DSMD value for the collision
그림 그림 9 지나가는 영상(1, 5, 9, 13번째 프레임) Fig. 9 Passing video (1, 5, 9, 13 frame)
그림 그림 10 사선 충돌 영상(9, 11, 13, 15번째 프레임) Fig. 10 Diagonal Collision video sample(9, 11, 13, 15 frame)
그림 그림 11 사선 충돌 영상 LGMD 값 Fig. 11 LGMD value for the diagonal collision
그림 그림 12 사선 충돌 영상 DSMD 값 Fig. 12 DSMD value for the diagonal collision
그림 그림 13 지나가는 영상 LGMD 값 Fig. 13 LGMD value for the passing
그림 그림 14 지나가는 영상 DSMD 값 Fig. 14 DSMD value for the passing

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 방향성에 강한 곤충의 시각 신경망을 기반으로 한 LGMD와 DSMD 알고리즘을 효율적인 VLSI 하드웨어 구조로 설계하였다. 제안된 시스템은 입력 신호와 내부 모듈들을 제어하는 제어 모듈과 충돌을 감지하는 충돌 판단 모듈, 전체 움직임의 총량을 연산하는 LGMD 모듈, 각 4개의 방향(상, 하, 좌, 우)의 방향적 특징을 파악하여 충돌감지의 신뢰도를 높이는 DSMD 모듈로 구성 되어있다.

가설 설정

제안된 많은 감지 알고리즘들은 기하학적인 기반에서 충돌 가능성을 계산하였다[2-4]. 많은 충돌감지 알고리즘은 물체의 이동하는 속도와 방향이 감지 시점 근처에서 크게 변하지 않는다는 가정을 적용하였다. Fuerstenberg는 레이저를 이용하여 속도와 가속도를 한정하는 특정한 영역(RONE영역)을 정의하고 그 안에서 충돌을 감지하는 방법을 제안하였다[2].

제안 방법

LSTM인코더를 이용하여 과거 동선을 분석하였고 LSTM 디코더를 이용하여 미래 동선을 예측하였으며, 이 때 디코더의 출력 중에 가장 적합한 경우를 결정하기 위하여 “beam search” 기술을 적용하였다.
경계에서의 연산처리를 고려하여 설계하였으며 저역필터링 계산의 효율성을 위해서 계산 단위 화소는 3×3 행렬로 설정하였다.
또한 곤충의 망막은 이미지의 화소처럼 2차원 배열로 구성되어 있다. 따라서 본 논문에서는 LGMD와 DSMD 뉴런의 동작을 기반으로 하는 알고리즘을 이용하여 영상의 화소 값을 처리해서 차량의 충돌 감지시스템을 설계하였다.
경계에서의 연산처리를 고려하여 설계하였으며 저역필터링 계산의 효율성을 위해서 계산 단위 화소는 3×3 행렬로 설정하였다. 또한 회로의 복잡도를 낮추기 위해 곱셈 및 나눗셈은 가능한 쉬프트 연산을 이용해서 구현하여 하드웨어 요구량을 개선하였다. 이 때 발생하는 연산의 근사화로 인한 오류는 성능분석을 통하여 검증하였다.
본 논문에서는 곤충의 시각 신경망을 이용한 차량 충돌 감지시스템을 하드웨어로 설계하였다. 물체의 움직임 총량을 판단하는 LGMD와 방향성을 판단하는 DSMD를 결합하여 충돌하는 경우와 지나가는 경우를 구분하여 신뢰도를 높였으며 이를 효율적인 하드웨어 구조로 매핑하여 설계하였다. 입력 영상에서 한 번에 세로 3픽셀씩 처리하여 3×3 저역필터의 구현을 용이하게 하였고 곱셈과 나눗셈을 간단한 쉬프트 연산으로 치환하였고 이에 발생하는 에러를 포함하여 파라미터를 모의실험을 통하여 결정하였다.
본 논문에서 제안한 충돌 감지 시스템은 verilogHDL로 설계하여 검증하였고, Synopsys를 사용하여 합성하였다. 제안한 구조는 동부하이텍 110nm 표준셀 라이브러리로 합성한 결과로 8400개의 게이트를 필요로 하며 내부 데이터를 저장할 I-mem은 약14KB, S-mem은 약 2.
본 논문에서는 곤충의 시각 신경망을 이용한 차량 충돌 감지시스템을 하드웨어로 설계하였다. 물체의 움직임 총량을 판단하는 LGMD와 방향성을 판단하는 DSMD를 결합하여 충돌하는 경우와 지나가는 경우를 구분하여 신뢰도를 높였으며 이를 효율적인 하드웨어 구조로 매핑하여 설계하였다.
Decision Block은 LGMD와 DSMD의 결과 값을 이용하여 충돌을 감지하는 블록이다. 본 연구에서는 다양한 도로영상을 분석하여 충돌감지를 위한 파라미터를 설정하였으며 자세한 내용은 4장에서 설명하였다.
본 연구에서는 다양한 도로영상을 분석하여 충돌감지를 위한LGMD와 DSMD의 임계값을 10000으로 설정하였다. 그리고 DSMD의 두 방향성 중 한 방향 값이 반대 방향 값보다 8배 이상일 경우, 충돌이 아닌 지나가는 움직임으로 감지함과 동시에 LGMD에서 감지된 충돌이 아니라고 판단하게 된다.
본 연구에서는 평균값을 구하기 위하여 오른쪽 쉬프트 3(>>3)으로 치환했으며 이에 대한 오차는 파라미터 보정으로 충돌감지에 문제없음을 검증하였다.
또한 회로의 복잡도를 낮추기 위해 곱셈 및 나눗셈은 가능한 쉬프트 연산을 이용해서 구현하여 하드웨어 요구량을 개선하였다. 이 때 발생하는 연산의 근사화로 인한 오류는 성능분석을 통하여 검증하였다.
물체의 움직임 총량을 판단하는 LGMD와 방향성을 판단하는 DSMD를 결합하여 충돌하는 경우와 지나가는 경우를 구분하여 신뢰도를 높였으며 이를 효율적인 하드웨어 구조로 매핑하여 설계하였다. 입력 영상에서 한 번에 세로 3픽셀씩 처리하여 3×3 저역필터의 구현을 용이하게 하였고 곱셈과 나눗셈을 간단한 쉬프트 연산으로 치환하였고 이에 발생하는 에러를 포함하여 파라미터를 모의실험을 통하여 결정하였다. 네 방향에 대한 DSMD 계산에서 각각의 데이터 의존도에 의하여 중간 결과를 저장하기 위해 필요한 저장 공간은 스케줄링을 분석하여 용량을 최소화하였다.
다양한 알고리즘과 특징을 가진 충돌감지 시스템에 대한 많은 연구가 진행되어 왔다[2-3]. 제안된 많은 감지 알고리즘들은 기하학적인 기반에서 충돌 가능성을 계산하였다[2-4]. 많은 충돌감지 알고리즘은 물체의 이동하는 속도와 방향이 감지 시점 근처에서 크게 변하지 않는다는 가정을 적용하였다.
본 논문에서는 방향성에 강한 곤충의 시각 신경망을 기반으로 한 LGMD와 DSMD 알고리즘을 효율적인 VLSI 하드웨어 구조로 설계하였다. 제안된 시스템은 입력 신호와 내부 모듈들을 제어하는 제어 모듈과 충돌을 감지하는 충돌 판단 모듈, 전체 움직임의 총량을 연산하는 LGMD 모듈, 각 4개의 방향(상, 하, 좌, 우)의 방향적 특징을 파악하여 충돌감지의 신뢰도를 높이는 DSMD 모듈로 구성 되어있다. 해당 모듈에서는 처리과정에서의 휴식구간을 최소화하고 중간 데이터가 저장되는 임시 저장 공간을 최소화하도록 설계하였다.
제안된 시스템은 입력 신호와 내부 모듈들을 제어하는 제어 모듈과 충돌을 감지하는 충돌 판단 모듈, 전체 움직임의 총량을 연산하는 LGMD 모듈, 각 4개의 방향(상, 하, 좌, 우)의 방향적 특징을 파악하여 충돌감지의 신뢰도를 높이는 DSMD 모듈로 구성 되어있다. 해당 모듈에서는 처리과정에서의 휴식구간을 최소화하고 중간 데이터가 저장되는 임시 저장 공간을 최소화하도록 설계하였다. 경계에서의 연산처리를 고려하여 설계하였으며 저역필터링 계산의 효율성을 위해서 계산 단위 화소는 3×3 행렬로 설정하였다.

이론/모형

이 문제를 보완하기 위하여 보행자 동선(trajectory)에 대한 확률에 근거한 접근방법들이 제안되었다. 동적 모델을 기반으로 한 몬테 카를로(Monte Carlo) 알고리즘을 이용하여 물체의 다양한 동선을 계산하고 이를 근거로 충돌은 물체의 동선 조각들을 분석하여함으로써 진행된다[4].
다만 구체적인 구조에 대한 제안 없이 추상적인 수준에서의 분석으로 제한되었다. 또한 퍼지 이론을 바탕으로 한 하이브리드 기법을 적용하여 자동차나 로봇의 충돌감지 시스템이 FPGA로 구현되었다[10]. Linan-Cembrano 등은 영상 센서, 곤충 신경망을 기반으로 하는 full-custom 연산 유닛과 이를 제어하는 디지털 프로세서 등을 SoC(System-on-chip) 기술로 집적한 시스템을 개발하여 자동차에 적용한 사례를 발표하였다[11].
Strickland 등은 자율주행 물체의 충돌위험 감지에 대하여 C-LSTM(convolutional LSTM) 기법을 적용한 예측모델을 제안하였다[5]. 이 연구에서 multi-modal 정보에 대한 처리와 환경내의 불확실성을 최대한 고려할 수 있는 기법을 적용하였다. Park 등은 실시간으로 움직이는 물체 주변상황을 고려하여 물체움직임을 예측할 수 있는 딥러닝 기법을 제안하였다[6].
하지만 충돌하지 않고 지나가는 물체도 큰 값으로 판단하는 단점이 있다. 이를 보완하기 위해 DSMD뉴런을 이용한다. DSMD는 충돌하는 움직임인지 지나가는 움직임인지 판단해서 LGMD의 충돌감지가 유효한지 유효하지 않은지 판단하는 역할을 한다.
최근 연구들에서 LSTM(long short-term memory)을 이용한 딥러닝(Deep learning) 기법을 물체의 동선예측에 적용하였다[5-6]. Strickland 등은 자율주행 물체의 충돌위험 감지에 대하여 C-LSTM(convolutional LSTM) 기법을 적용한 예측모델을 제안하였다[5].

성능/효과

150×100 영상을 기준으로 할 때, 상하의 움직임을 판단하는 V_MD(vertical movement detector)의 경우는 영상의 중앙에 대응되는 71열에서 80열까지, 좌우의 움직임을 판단하는 H_MD(horizontal movement detector)의 경우에는 마찬가지로 중앙에 대응되는 35행에서 44행까지에서 진행된다. 결과적으로 LGMD 모듈에서 얻어진 움직임의 총량 값과 DSMD 모듈에서 계산된 네 방향에 해당하는 값을 종합하여Decision Block에서 충돌을 예측한다.
입력 영상에서 한 번에 세로 3픽셀씩 처리하여 3×3 저역필터의 구현을 용이하게 하였고 곱셈과 나눗셈을 간단한 쉬프트 연산으로 치환하였고 이에 발생하는 에러를 포함하여 파라미터를 모의실험을 통하여 결정하였다. 네 방향에 대한 DSMD 계산에서 각각의 데이터 의존도에 의하여 중간 결과를 저장하기 위해 필요한 저장 공간은 스케줄링을 분석하여 용량을 최소화하였다. 제안한 구조는 동부하이텍110nm 표준셀 라이브러리를 사용하여 합성한 결과로 8400개의 게이트가 필요하며 최대 동작주파수는 333MHz로 VGA(640×480)기준 약 1085fps을 보여준다.
본 논문에서 제안한 충돌 감지 시스템은 verilogHDL로 설계하여 검증하였고, Synopsys를 사용하여 합성하였다. 제안한 구조는 동부하이텍 110nm 표준셀 라이브러리로 합성한 결과로 8400개의 게이트를 필요로 하며 내부 데이터를 저장할 I-mem은 약14KB, S-mem은 약 2.5KB 정도 필요하다. 최대 동작주파수는333MHz로 VGA(640×480) 기준 약 1085fps을 보여준다.
네 방향에 대한 DSMD 계산에서 각각의 데이터 의존도에 의하여 중간 결과를 저장하기 위해 필요한 저장 공간은 스케줄링을 분석하여 용량을 최소화하였다. 제안한 구조는 동부하이텍110nm 표준셀 라이브러리를 사용하여 합성한 결과로 8400개의 게이트가 필요하며 최대 동작주파수는 333MHz로 VGA(640×480)기준 약 1085fps을 보여준다.

후속연구

따라서 향후 더 큰 영상을 다루거나 자율주행을 위하여 다른 시스템을 집적하여도 충분한 성능을 보여준다. 충돌감지 알고리즘에 대한VLSI 설계 사례 중에 본 연구와 비교할 수 있는 사례가 없어 객관적인 성능비교가 어렵지만 향후 자율주행 자동차의 실시간 시스템 구현에 기여할 수 있을 것으로 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	충돌감지 기술은 어떤 분야에 사용되고 있으며, 설계하기 위해 어떤 것이 고려되어야 하는가?	충돌감지 기술은 장애물이나 보행자, 자동차가 나타나면 자동으로 감지해서 자동차가 브레이크를 밟거나 피해서 사고를 미연에 방지하는 기술이다. 이러한 충돌 감지시스템은 무인자동차, 로봇비전, 장애물 인식 등 다양한 응용 분야에서 사용되고 있는데, 하드웨어로 설계하기 위해서는 충돌 감지의 정확도와 실시간 처리 여부가 중요하게 고려되어야 한다.
	자율주행 기술에서 핵심 기술은 무엇인가?	4차 산업혁명 기술 중에서 미래 자동차에 대한 관심이 증가하고 있다. 미래 자동차의 핵심 기술 중 하나는 자동차가 스스로 운행을 제어하는 자율주행 기술이며 이에 대한 중요한 핵심 기술은 충돌감지 기술이다[1]. 충돌감지 기술은 장애물이나 보행자, 자동차가 나타나면 자동으로 감지해서 자동차가 브레이크를 밟거나 피해서 사고를 미연에 방지하는 기술이다.
	충돌감지 기술은 무엇인가?	미래 자동차의 핵심 기술 중 하나는 자동차가 스스로 운행을 제어하는 자율주행 기술이며 이에 대한 중요한 핵심 기술은 충돌감지 기술이다[1]. 충돌감지 기술은 장애물이나 보행자, 자동차가 나타나면 자동으로 감지해서 자동차가 브레이크를 밟거나 피해서 사고를 미연에 방지하는 기술이다. 이러한 충돌 감지시스템은 무인자동차, 로봇비전, 장애물 인식 등 다양한 응용 분야에서 사용되고 있는데, 하드웨어로 설계하기 위해서는 충돌 감지의 정확도와 실시간 처리 여부가 중요하게 고려되어야 한다.

참고문헌 (11)

T. Gandhi and M. M. Trivedi, "Pedestrian protection systems: Issues, survey, and challenges", IEEE Trans. on Intell. Trans. Syst., vol. 8, no. 3, pp. 413-430, 2007.
K. C. Fuerstenberg, "Pedestrian protection using laserscanners", IEEE Intell. Trans. Syst. Conf., pp. 437-442, 2005.
P. Kumar, S. Ranganath, H. Weimin, and K. Sengupta, "Framework for real-time behavior interpretation from traffic video", IEEE Trans. Intell. Trans. Syst., vol. 6, no. 1, pp. 43-53, 2005.
Y. Abramson and B. Steux, "Hardware-friendly pedestrian detection and impact prediction", IEEE Intell. Veh. Symp. Conf., pp. 590-595, 2004.
M. Strickland1, G. Fainekos1, and H. Amor, "Deep predictive models for collision risk assessment in autonomous driving", IEEE Int. Conf. on Robotics and Automation, 2018.
S. H. Park, B. Kim, C. M. Kang, C. C. Chung, and J. W. Choi, "Sequence-to-sequence prediction of vehicle trajectory via LSTM encoder-decoder Architecture", IEEE Intell. Vehicles Symposium, 2018.
F. Rind and P. Simmons, "Seeing what is coming: building collision sensitive ons", Trends Neurosci. vol. 22 pp. 215-220, 1999.
R. Stafford, R. D. Santer, F. C. Rind, "A bio-inspired visual collision detection mechanism for cars: Combining insect inspired neurons to create a robust system", BioSystems, vol. 87, pp. 164-171, 2006.
J. Cuadri, G. Linana, R. Stafford, M. Keila, and E. Roca, "A bioinspired collision detection algorithm for VLSI implementation", Bioengineered and Bioinspired Systems II, vol. 5839, 2005.
H. Liang, T. Morie, Y. Suzuki, K. Nakada, T. Miki, and H. Hayashi, "An FPGA-based collision warning system using hybrid approach", IEEE Int. Conf. on Hybrid Intell. Systems, pp. 30-35, 2007.
G. Linan-Cembrano, L. Carranza, C. Rind, A. Zarandy, M. Soininen, and A. Rodriguez-Vazquez, "Insect-vision inspired collision warning vision processor for automobiles", IEEE Circuits and Systems Magazine, vol. 8 no. 2, pp. 6-24, 2008.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증