[논문]보행자 및 차량 검지를 위한 레이더 영상 융복합 시스템 연구

조성윤; 윤여환

doi:10.7236/jiibc.2024.24.1.197

[국내논문] 보행자 및 차량 검지를 위한 레이더 영상 융복합 시스템 연구
A Study on Radar Video Fusion Systems for Pedestrian and Vehicle Detection

The journal of the institute of internet, broadcasting and communication : JIIBC, v.24 no.1, 2024년, pp.197 - 205

조성윤 (안양대학교 소프트웨어학과) , 윤여환 (한국건설기술연구원 도로교통연구본부)

초록
AI-Helper

자율주행 자동차 개발 및 상용화에 있어서 주행안전도 확보가 가장 중요한 시점에서 이를 위해 전방 및 주행차량 주변에 존재하는 다양한 정적/동적 차량의 인식과 검출 성능을 고도화 및 최적화하기 위한 AI, 빅데이터 기반 알고리즘개발 등이 연구되고 있다. 하지만 레이더와 카메라의 고유한 장점을 활용하여 동일한 차량으로 인식하기 위한 연구 사례들이 많이 있지만, 딥러닝 영상 처리 기술을 이용하지 않거나, 레이더의 성능상의 문제로 짧은 거리만 동일한 표적으로 감지하고 있다. 따라서 레이더 장비와 카메라 장비에서 수집할 수 있는 데이터셋을 구성하고, 데이터셋의 오차를 계산하여 동일한 표적으로 인식하는 융합 기반 차량 인식 방법이 필요하다. 본 논문에서는 레이더와 CCTV(영상) 설치 위치에 따라 동일한 객체로 판단하기에 데이터 오차가 발생하기 때문에 설치한 위치에 따라 위치 정보를 연동할 수 있는 기술 개발을 목표로 한다.

Abstract ▼ AI-Helper

Development of AI and big data-based algorithms to advance and optimize the recognition and detection performance of various static/dynamic vehicles in front and around the vehicle at a time when securing driving safety is the most important point in the development and commercialization of autonomous vehicles. etc. are being studied. However, there are many research cases for recognizing the same vehicle by using the unique advantages of radar and camera, but deep learning image processing technology is not used, or only a short distance is detected as the same target due to radar performance problems. Therefore, there is a need for a convergence-based vehicle recognition method that configures a dataset that can be collected from radar equipment and camera equipment, calculates the error of the dataset, and recognizes it as the same target. In this paper, we aim to develop a technology that can link location information according to the installation location because data errors occur because it is judged as the same object depending on the installation location of the radar and CCTV (video).

주제어

표/그림 (20)

표 표 1. 밀리미터 레이더 관련 선행연구 Table 1. Previous Study on Millimeter Radar
표 표 2. 딥러닝 기반 레이더와 영상 이중화 관련 선행연구 Table 2. Previous Study on Deep Learning-Based Radar and Video Redundancy
그림 그림 1. 객체 분석 알고리즘 순서도 Fig. 1. Object Analysis Algorithm Flowchart
그림 그림 2. 객체 분석 알고리즘 모듈별 시나리오 Fig. 2. Object Analysis Algorithm Module-Specific Scenarios
표 표 3. 레이더 객체 데이터 구성 Table 3. Configuring Radar Object Data
그림 그림 3. 객체 분석 알고리즘 모듈별 시나리오 Fig. 3. Object Analysis Algorithm Module-Specific Scenarios
그림 그림 4. 레이더와 영상 이중화 제어기의 데이터 전송 흐름도 Fig. 4. Data Transfer Flowchart for Radar and Image Redundancy Controllers
그림 그림 5. 레이더 네트워크로 구성된 검지 영역 Fig. 5. Detection area consisting of Radar Network
그림 그림 6. 레이더와 카메라 이중화 제어기 구성도 Fig. 6. Radar and Camera Redundancy Controller Configuration Diagram
표 표 4. 필드 타입 종류 Table 4. Field Type Type
그림 그림 7. 밀리미터 웨이브 레이더 객체 검지 프로그램 UI Fig. 7. Millimeter Wave Radar Object Detection Program UI
그림 그림 8. 밀리미터 웨이브 레이더 날씨 환경 테스트 결과 Fig. 8. Millimeter Wave Radar Weather Environmental Test Results
표 표 5. 성능평가를 위한 테스트 계획 Table 5. Test plan for performance evaluation
그림 그림 9. 밀리미터 웨이브 레이더 거리 및 속도 테스트 결과 Fig. 9. Millimeter Wave Radar Distance and Speed Test Results
그림 그림 10. 이중화 센싱 파일럿 시스템 테스트 구성도 Fig. 10. Redundancy Sensing Pilot System Test Configuration Diagram
그림 그림 11. 이중화 제어기 소프트웨어 초기 모습 Fig. 11. Redundancy Controller SW Initial View
그림 그림 12. 레이더와 실영상 연동을 통한 AI 기반 객체 인식 결과 Fig. 12. AI-based object recognition results through radar and real-time interworking
그림 그림 13. 필드 테스트 구성 Fig. 13. Field Test Configuration
그림 그림 14. 데이터 전송 시간(성능) 테스트 결과 Fig. 14. Data Transfer Time(Performance) Test Results
그림 그림 15. 객체 ID 및 속도 프로토콜 수정 및 테스트 Fig. 15. Modifying and testing object IDs and speed protocols

AI 본문요약
AI-Helper

문제 정의

본 논문은 밀리미터 웨이브 레이더의 주파수를 증가(30GHz → 60GHz)시키고, 안테나(Tx, Rx)의 등방성 값을 증가(7dbi →23dbi)하는 등의 센서 자체의 성능을 향상시키는 것을 목표로 한다. 그리고 레이더를 통해 획득할 수 있는 객체 추적 데이터를 통해 보행자의 이동 특성을 분석하고, 객체 추적 중 사라지거나 이상 패턴을 보이는 돌발 상황을 대비한 이동 특성 알고리즘을 개발하는 것을 목표로 한다. 또한, 레이더와 CCTV 이중화 제어기(파일럿 시스템)을 구현하여 하나의 장비에서 레이더와 영상의 데이터셋을 매칭할 수 있고, 레이더와 영상의 객체 판단 유무를 확인할 수 있는 인터페이스 SW 개발을 목표로 한다.
그리고 레이더를 통해 획득할 수 있는 객체 추적 데이터를 통해 보행자의 이동 특성을 분석하고, 객체 추적 중 사라지거나 이상 패턴을 보이는 돌발 상황을 대비한 이동 특성 알고리즘을 개발하는 것을 목표로 한다. 또한, 레이더와 CCTV 이중화 제어기(파일럿 시스템)을 구현하여 하나의 장비에서 레이더와 영상의 데이터셋을 매칭할 수 있고, 레이더와 영상의 객체 판단 유무를 확인할 수 있는 인터페이스 SW 개발을 목표로 한다.
본 논문에서는 자율주행 자동차 개발 및 상용화에 있어서 안전성이 중요시되는 상황을 고려하여 레이더의 성능을 높이는 방법과 레이더와 실영상을 이용한 이중화 센싱 파일럿 시스템에 대한 구현 결과를 소개했다.
본 논문은 밀리미터 웨이브 레이더의 주파수를 증가(30GHz → 60GHz)시키고, 안테나(Tx, Rx)의 등방성 값을 증가(7dbi →23dbi)하는 등의 센서 자체의 성능을 향상시키는 것을 목표로 한다

가설 설정

2) 레이더의 객체 검지 데이터 중 난반사 등 장애물에 의한 노이즈가 발생하는 경우가 있으며, 이러한 경우 노이즈에 ID 값이 부여되어 고스트 차량이 발생할 수 있기에 일부 노이즈 제거가 가능하고, 레이더에서 검지된 신호를 객체로 인식하는 과정에 검지된 포인트 반경 n개 이상의 데이터가 검지하며, 노이즈의 경우 검지된 포인트의 수가 적어 군집화되지 못하여 노이즈는 제거된다. 3) 다른 클러스터링 알고리즘들에 비해 처리 속도가 빠른 장점이 있다.

제안 방법

레이더와 카메라를 융합한 이중화 제어기의 객체 정보 리스트가 에지 플랫폼 서버로 전송될 때 검지 영역이 단일 레이더 검지 영역을 초과하는 경우는 레이더 네트워크(Radar Network)를 통해 구성되고, Radar Network는 복수의 레이더 간 시간 동기를 조정하는 제어기(NPTMaster)로 구성되는 네트워크로 다수의 레이더가 동일한 타이밍으로 동작, 검지 영역 내의 객체를 연속적으로 추적한다. 통합 감지 알고리즘이 적용되어 검지 영역을 통합한 가상 맵 구성하여 객체 위치 매핑하고, 최대/최소 검지거리(음영지역) 고려하여 레이더 설치 높이 결정하며, NTP Master-Slave 통신은 유선 이더넷을 통해 구성된다.
그림 12는 2차 시험을 통해 수행된 이중화 제어기 소프트웨어의 개선된 모습을 보여준다. 시험 방법은 CCTV 영상 추적(Preset) 거리 설정 수정 및 세밀화 테스트를 수행하고, CCTV Zoom In/Out에 따른 객체 분류 오검지 발생(객체 크기) 확인했다. 시험 결과로는 레이더, 이중화 제어기(AI 분석 모듈) 간의 통신 확인 및 이벤트 정보 수집 및 표출 확인했으며, 이중화 시스템 영상 분석시 필요기능을 정의하고, CCTV Preset별 ROI 영역 설정, 레이더 객체 정보와 영상 ROI 간의 데이터 맵핑과 같은 개선사항을 인지했다.
딥러닝 기반 레이더와 영상 이중화 센싱 파일럿 시스템 테스트는 SOC 실증 센터에서 진행되었으며, 테스트 시험 구성도는 그림 10과 같다. 악천후(강우, 안개) 날씨 환경에서 객체 검지 및 객체 분류 정확도 시험을 시행하였으며, 시험 결과로 1차 시험에서는 레이더 연동 및 CCTV 제어 성능 확인, 관련 소프트웨어 검증 및 추가 개선 필요 확인했다. 그림 11은 이중화 센싱 파일럿 시스템의 사용된 소프트웨어 초기 모습을 보여준다.

대상 데이터

딥러닝 기반 레이더와 영상 이중화 센싱 파일럿 시스템 테스트는 SOC 실증 센터에서 진행되었으며, 테스트 시험 구성도는 그림 10과 같다. 악천후(강우, 안개) 날씨 환경에서 객체 검지 및 객체 분류 정확도 시험을 시행하였으며, 시험 결과로 1차 시험에서는 레이더 연동 및 CCTV 제어 성능 확인, 관련 소프트웨어 검증 및 추가 개선 필요 확인했다.
성능이 업그레이드된 레이더는 SOC 실증 센터에서 테스트를 진행하였으며, 평가 방법은 아래 표와 같다.

데이터처리

거리 정확도 시험은 거리 측정기를 사용하여 10m 간격으로 라바콘을 설치하여 비교하였고, 공인인증을 취득한 SMS사 레이더(SMS-45T)로 측정한 값과 비교했다. 속도 정확도 시험은 스피드건으로 측정한 값과 비교하며, 공인인증을 취득한 SMS사 레이더(SMS-45T)로 측정한 값과 비교했다.
거리 정확도 시험은 거리 측정기를 사용하여 10m 간격으로 라바콘을 설치하여 비교하였고, 공인인증을 취득한 SMS사 레이더(SMS-45T)로 측정한 값과 비교했다. 속도 정확도 시험은 스피드건으로 측정한 값과 비교하며, 공인인증을 취득한 SMS사 레이더(SMS-45T)로 측정한 값과 비교했다.
변수 a는 밀리미터 웨이브 레이더가 탐지한 거리와 속도 값이며, b는 SMS사 레이더가 탐지한 거리 및 속도이며, n은 정확도 측정을 위해 수행한 전체 횟수를 의미한다. 위의 수식 (1)에서 실제 차량 대수와 거리는 카메라 영상을 사용하여 테스트를 진행하였고, 차량을 대상으로 100회 실시하여 정확도를 평가했다. 평가 결과 인증 레이더 SMS-T45 대비 전체 거리 정확도는 92.

이론/모형

레이더에서 객체를 분석하고, 군집(이하 클러스터링)할 수 있는 알고리즘은 DBSCAN(Density-Based Spatial Clustering of Applications with Noise)을 사용하였으며, 레이더 데이터에서 추출되는 객체 데이터들의 구성은 다음 표 3과 같으며, 객체 분석 알고리즘의 순서도는 그림 1과 같이 표현된다.

성능/효과

DBSCAN 알고리즘을 사용하는 이유는 크게 3가지로 1) 클러스터의 수를 정하지 않아도 되기 때문에 군집의 수를 정하지 않아도 밀도 중심으로 군집을 나누어 클러스터링하며, 다른 클러스터링 알고리즘과 다르게 군집의 수를 미리 지정하지 않는다. 2) 레이더의 객체 검지 데이터 중 난반사 등 장애물에 의한 노이즈가 발생하는 경우가 있으며, 이러한 경우 노이즈에 ID 값이 부여되어 고스트 차량이 발생할 수 있기에 일부 노이즈 제거가 가능하고, 레이더에서 검지된 신호를 객체로 인식하는 과정에 검지된 포인트 반경 n개 이상의 데이터가 검지하며, 노이즈의 경우 검지된 포인트의 수가 적어 군집화되지 못하여 노이즈는 제거된다. 3) 다른 클러스터링 알고리즘들에 비해 처리 속도가 빠른 장점이 있다.
2) 섹션 탐색 데이터 출력 및 설정은 박스 안에 설정된 범위 안의 객체가 있는지 확인하고, 설정 범위 변경은 ‘[min ~ max]’의 형식으로 작성 후 버튼을 설정할 수 있다. 3) 분석 데이터 출력 화면의 차선 변경은 왼쪽부터 최대 4개의 차선을 설정할 수 있고, 그려진 차선 일부를 선택하여 Remove 버튼을 눌러 제거할 수 있으며, 선택된 차선의 라인을 추가는 Add 버튼을 누른 후 분석 데이터 화면 위에 마우스로 시작점과 끝점을 클릭할 수 있다. 4) 검지 된 차량 수 측정은 레이더에서 검지된 차량의 개수를 실시간을 표현하는 화면이다.
양호한 기상 상황과 짙은 안개 속에서는 일반적인 레이더 성능과 같이 최고 범위까지 차량의 검지가 가능하다는 것을 확인하였고, 짙은 안개(시계 5미터)는 밀리미터 웨이브 레이다에 큰 영향이 없다는 사실을 확인 했다. 강우 속에서는 일반적인 상황보다 검지 범위가 절반으로 줄어든다는 것을 확인하였으며, 악천우 속에서 레이더 검지 성능 향상을 위해 CFAR 파라미터 튜닝이 필요한 결과를 인지했다.
개선된 밀리미터 웨이브 레이더는 악천우 상황(강우, 안개)에서 정상적으로 보행자를 탐지하는 결과를 이루어 냈고, 전체 거리정확도는 92.26%, 전체 속도 정확도는 97.75%를 달성했다. 또한, 구현된 레이더와 실영상 이중화 센싱 파일럿 시스템은 총 3번의 실험을 수행했으며, 실험을 점차 수행하면서 필요한 소프트웨어의 특정 기능 및 통신 프로토콜의 수정이 필요한 개선사항을 도출했다.
75%를 달성했다. 또한, 구현된 레이더와 실영상 이중화 센싱 파일럿 시스템은 총 3번의 실험을 수행했으며, 실험을 점차 수행하면서 필요한 소프트웨어의 특정 기능 및 통신 프로토콜의 수정이 필요한 개선사항을 도출했다. 마지막 시험에서는 이를 전부 적용하여 엣지 플랫폼까지 전송 시간을 50ms를 기록하며, 통신 데이터 신뢰도는 100%를 기록하여 통신 상태에 대한 검증을 마치게 되었다.
엣지 플랫폼까지의 통신 테스트 결과는 전송시간에서 11ms를 기록했고, 통신 데이터 신뢰도는 100%를 기록하여 무리 없이 통신이 가능한 결과를 이루어 냈다. 또한, 레이더와 실영상 이중화 제어기에서 수정이 필요한 프로토콜에 대해서는 수정된 프로토콜을 적용하여 테스트를 수행하여 엣지 플랫폼 통신과 동일하게 무리 없이 통신이 가능하다는 결과를 확인했다.
시험 방법은 CCTV 영상 추적(Preset) 거리 설정 수정 및 세밀화 테스트를 수행하고, CCTV Zoom In/Out에 따른 객체 분류 오검지 발생(객체 크기) 확인했다. 시험 결과로는 레이더, 이중화 제어기(AI 분석 모듈) 간의 통신 확인 및 이벤트 정보 수집 및 표출 확인했으며, 이중화 시스템 영상 분석시 필요기능을 정의하고, CCTV Preset별 ROI 영역 설정, 레이더 객체 정보와 영상 ROI 간의 데이터 맵핑과 같은 개선사항을 인지했다.
그림 8의 상단은 강우 상황에서 테스트한 레이더의 결과이고, 하단은 안개 상황에서 테스트한 레이더의 결과이다. 양호한 기상 상황과 짙은 안개 속에서는 일반적인 레이더 성능과 같이 최고 범위까지 차량의 검지가 가능하다는 것을 확인하였고, 짙은 안개(시계 5미터)는 밀리미터 웨이브 레이다에 큰 영향이 없다는 사실을 확인 했다. 강우 속에서는 일반적인 상황보다 검지 범위가 절반으로 줄어든다는 것을 확인하였으며, 악천우 속에서 레이더 검지 성능 향상을 위해 CFAR 파라미터 튜닝이 필요한 결과를 인지했다.
엣지 플랫폼까지의 통신 테스트 결과는 전송시간에서 11ms를 기록했고, 통신 데이터 신뢰도는 100%를 기록하여 무리 없이 통신이 가능한 결과를 이루어 냈다. 또한, 레이더와 실영상 이중화 제어기에서 수정이 필요한 프로토콜에 대해서는 수정된 프로토콜을 적용하여 테스트를 수행하여 엣지 플랫폼 통신과 동일하게 무리 없이 통신이 가능하다는 결과를 확인했다.
위의 수식 (1)에서 실제 차량 대수와 거리는 카메라 영상을 사용하여 테스트를 진행하였고, 차량을 대상으로 100회 실시하여 정확도를 평가했다. 평가 결과 인증 레이더 SMS-T45 대비 전체 거리 정확도는 92.26%, 전체 속도 정확도는 97.75%를 달성했다.

후속연구

병합 단계에서 기존 트랙과 연결되지 않은 모든 포인트는 할당 단계를 고치되고, 기능적으로 할당은 클러스터링과 유사하며, 할당 단계에서 임의의 측정 지점이 먼저 선행 측정으로 선택되고 클러스터/후보 집합의 초기화에 사용되어 각 측정이 클러스터의 사용자 구성 가능한 속도 및 거리 임계값 내에 속하는지 확인한다. 측정이 테스트를 통과하면 클러스터에 추가되고 객체 중심이 다시 계산되고, 모든 측정 포인트에 대해 이 작업이 완료되면 클러스터에 대해 몇 가지 추가 자격 기준이 확인되고, 이러한 테스트에는 클러스터가 최소 포인트 수를 초과하는지, 평균 속도가 속도 임계값을 초과하는지, 클러스터의 포인트가 결합된 SNR(Signal-to-Noise Ratio)이 충분히 큰 값인지 확인하며, 이와 같은 SNR 기준을 통과하면 새로운 추적 인스턴스가 생성되고 클러스터의 관련 포인트가 추적기를 초기화하는 데 사용되어 최소 기준을 통과하지 못한 클러스터는 무시된다.

참고문헌 (10)

Kyung-Woo Yoo, Seung-Hyun Kong, "Application and？Analysis of 1D FRI (Finite Rate of Innovation)？Super-resolution Technique in FMCW Radar",？Transactions of the Korean Society of Automotive？Engineers, Vol. 22, No. 7, pp. 31-39, Nov 2014.？DOI: https://doi.org/10.7467/KSAE.2014.22.7.031

원문보기 상세보기
Si-Woong Jang, Dong-Hun Jung, "Design and？Implementation of a Distance Measurement System？using Radar Sensor", Journal of the Korea Institute of？Information and Communication Engineering, Vol. 22,？No. 7, pp. 1009-1014, July 2018.？DOI: https://doi.org/10.6109/jkiice.2018.22.7.1009

원문보기 상세보기
Zuoning Dai, Xinggan Zhang, Yechao Bai, "A method？of high accuracy velocity measurement for LFM？radar", 2015 IEEE International Conference on？Wireless Communications & Signal Processing？(WCSP), pp. 1-4, Oct 2015.？DOI: https://doi.org/10.1109/WCSP.2015.7341134
Junhua Wang, Ting Fu, Jiangtian Xue, Chengmin Li,？Hao Song, Wenxiang Xu, Qiangqiang Shangguan,？"Realtime wide-area vehicle trajectory tracking using？millimeter-wave radar sensors and the open TJRD TS？dataset", International Journal of Transportation？Science and Technology, Mar 2022.？DOI: https://doi.org/10.1016/j.ijtst.2022.02.006

상세보기
Alam, M. S., Islam, M. T., Misran, N., Mandeep, J. S.？"A wideband microstrip patch antenna for 60 GHz？wireless applications", Elektronika ir Elektrotechnika,？Vol. 19, No. 9, pp. 65-70, Nov 2013.？DOI: https://doi.org/10.5755/j01.eee.19.9.5651

상세보기
Mi-Ryong Park, Su-In Lee, "Target matching method？for vehicle radar target list and vision image",？ETRI(Electronics and Telecommunications Research？Institute) Patent, 2017-0023531. Feb 2017.
Gwang-Seop Kim, Seung-Pyo Cho, "Traffic Information？Management System Using Camera and Radar", Inc.？HuNS(Human & Solutions) Patent, 2014-0166072, Nov？2014.
Zhangjing Wang, Xianhan Miao, Zhen Huang, Haoran？Luo, "Research of Target Detection and Classification？Techniques Using Millimeter-Wave Radar and Vision？Sensors", Remote Sensing, Vol. 13, No. 6, pp. 1064,？March 2021.？DOI: https://doi.org/10.3390/rs13061064

상세보기
Jie Bai, Sen Li, Han Zhang, Libo Huang, Ping Wang,？"Robust Target Detection and Tracking Algorithm？Based on Roadside Radar and Camera", Sensors, Vol.？21, No. 4, pp. 1116, Feb 2021.？DOI: https://doi.org/10.3390/s21041116

상세보기
Andras Palffy, Jiaao Dong, Julian F. P. Kooij, Dariu M.？Garvrila, "CNN Based Road User Detection Using the？3D Radar Cube", IEEE Robotics and Automation？Letters, Vol. 5, No. 2, pp. 1263-1270, Jan 2020.？DOI: https://doi.org/10.1109/LRA.2020.2967272？

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증