선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 보행자 충돌방지 경고 시스템에서 횡단보도상의 보행자를 검출하는 시점에서 횡단보도에 진입하는 차량까지 보행자가 검출됨을 알리는 지연시간을 줄이고자 하였다.
- 본 논문에서는 엣지 카메라를 이용하여 교차로 및 횡단보도의 사각 지역에 횡단하는 보행자를 검출하고, V2X 통신을 기반으로 운전자에게 실시간으로 보행자 충돌 경고를 제공하는 엣지 카메라 기반 보행자 충돌 방지 경고 시스템을 제안한다. 시스템의 하드웨어는 횡단보도 구간의 영상 정보를 획득하기 위한 카메라를 GPU가 내장된 임베디드 시스템을 적용한 엣지 카메라를 사용하고, 엣지 카메라 내부에서 검출된 보행자 정보를 차량으로 전송하기 위한 WAVE 무선 통신 장치를 RSU와 OBU로 사용하며, 보행자 정보를 운전자에게 알리기 위하여 경량 임베디드 장치를 차량 단말로 사용한다.
- 본 논문에서는 Ldetect를 측정하기 위하여 엣지 카메라에 저장된 샘플 영상을 입력으로 하여 10회 측정하였다.
- 이러한 문제를 해결하기 위하여 본 논문에서는 엣지 카메라를 이용하여 횡단 보행자 또는 자전거를 현장에서 실시간으로 검출하여 보행자 충돌 경고 메시지를 진입 차량에 바로 전달함으로써 지연시간을 최소화하는 C-ITS 보행자 충돌방지 경고 시스템을 제안한다. 엣지 카메라는 카메라 내부에 고속 영상처리 장치를 내장하고 있어서 실시간으로 횡단 보행자 또는 자전거 등과 같은 객체를 탐지하고, 엣지 카메라의 고속 영상처리 장치는 경량의 딥러닝 알고리즘을 사용하여 객체를 정확하게 인식하고 실시간성을 보장한다.
가설 설정
- 503ms가 소요된다. 그리고 만약에 n+2가 입력되기 직전에 검출 알고리즘이 수행된다고 가정하며, n+1이 검출 완료되기까지는 약 76.251ms(33.333ms + 42.918ms)가 소요된다.
제안 방법
- Ltransmit를 측정하기 위하여 엣지 카메라에서 객체를 검출할 때 그 시간을 메시지에 담아서 경고 알람 장치로 보내며, 경고 알람 장치에서는 보행자가 검출되었을 때의 시간을 이용하여 전송 지연시간을 측정한다. 이벤트가 해제되는 경우는 중요하지 않음으로 지연시간을 측정하는 것을 제외한다.
- 경고 알람 장치는 OBU로부터 TCP/IP 소켓으로 전송되는 메시지를 확인하여 RSA 메시지가 수신될 때는 화면에 알람을 띄우고, 버저 음을 발생시키도록 구현하였다. OBU에서는 이벤트가 지속하는 동안에 계속해서 같은 RSA 메시지를 전송하도록 구현되어있다.
- 그리고 실제로 ‘사람’이 있으나 검출되지 않는 문제를 해결하기 위하여 카운트 값을 두어 ‘사람’이 검출되지 않을 때는 카운트 값을 1씩 감소시켜서 카운트 값이 0이 되면 ‘사람’이 없는 것으로 판별되도록 하였다.
- 그리고 제안하는 시스템에서는 보행자 검출 시점에서 차량에 전달되는 지연시간을 측정하기 위해서 엣지 카메라에서 객체를 판별하는 시점과 경고 알람 장치에서 메시지를 수신하여 알람을 띄우는 시간의 지연 시간을 측정하였다. 영상이 입력되는 시점에서 알람을 띄우는 시간까지의 전체 지연 시간은
- 입력된 프레임에서 객체가 검출되면 검출된 객체 명이 무엇인지 판별하고, 판별된 객체가 ‘사람’일 때는 즉시 RSU로 전송할 메시지의 패킷 타입을 RSA로 설정하고, 검출 시점의 시간 정보를 설정한다. 그리고 즉시 TCP/IP 소켓으로 RSU로 메시지를 전송하도록 구현하였다. 그리고 실제로 ‘사람’이 있으나 검출되지 않는 문제를 해결하기 위하여 카운트 값을 두어 ‘사람’이 검출되지 않을 때는 카운트 값을 1씩 감소시켜서 카운트 값이 0이 되면 ‘사람’이 없는 것으로 판별되도록 하였다.
- , 2019). 그중에서 대표적인 알고리 즘으로 MobileNet, Tiny-YOLO, Pelee가 있으며, 각 알고리즘의 특성에 대하여 살펴보기로 한다.
- 따라서 본 논문에서는 객체가 검출되고 클래스가 판별되는 시점과 경고 알람 장치에서 보행자 검출 정보가 도착한 시점의 시간 값의 차를 이용하여 Ltransmit를 측정하고, 검출 알고리즘의 FPS를 측정하여 변환한 Ldetect값과의 합으로 전체 지연 시간을 계산한다.
- 엣지 카메라 객체검출기는 6종의 교통 객체(‘보행자’, ‘자전거’, ‘오토바이’, ‘차량’, ‘트럭’, ‘버스’)를 검출하도록 데이터를 구성하여 재학습 시켰다. 먼저, 이미지넷(ImageNet) 객체 분류용 데이 터를 이용하여 Tiny-YOLOv3를 사전 학습하고, 사전 학습 결과를 초기 가중치로 사용하여 보행자 충돌방지 경고 서비스용 딥러닝 모델을 재학습하였다. 재학습에는 Pascal VOC 데이터 셋, COCO 데이터 셋 및 자체 제작한 데이터 셋을 사용하였다.
- 제안하는 시스템은 보행자 감지를 실시간으로 수행하기 위하여 임베디드 환경용 경량화 딥러닝 알고리즘 인 Tiny-YOLOv3를 활용하였다. 보행자 충돌방지 경고 서비스에 필요한 객체만 검출하도록 엣지 카메라 객 체검출기를 학습하였다. 엣지 카메라 객체검출기는 6종의 교통 객체(‘보행자’, ‘자전거’, ‘오토바이’, ‘차량’, ‘트럭’, ‘버스’)를 검출하도록 데이터를 구성하여 재학습 시켰다.
- 엣지 카메라와 경고 알람 장치 간의 지연시간을 측정하기 위해서는 두 기기의 시간 동기화가 필요하다. 실험에서는 개발 PC에 NTP 서버를 운영하여 엣지 카메라와 경고 알람 장치를 비교적 근거리의 서버와 동기화함으로 시간 오차를 줄이도록 하였다. 일반적으로 두 기기 간의 시간 동기화를 위해서는 모시계(Master Clock) 장비를 이용하거나 GPS 시간을 이용해서 동기화하는 방법이 많이 사용되고 있으며, NTP 타임 서버를 이용하여 동기화하는 방법도 많이 사용되고 있다.
- 엣지 카메라 객체검출기는 6종의 교통 객체(‘보행자’, ‘자전거’, ‘오토바이’, ‘차량’, ‘트럭’, ‘버스’)를 검출하도록 데이터를 구성하여 재학습 시켰다.
- 제안한 시스템은 카메라에서 획득한 영상을 압축하고, 전송하는 비용을 줄이기 위하여 보행자 검출 알고리즘을 엣지 카메라에서 수행하며, 엣지 카메라와 RSU를 이더넷으로 직접 연결함으로써 네트워크 전송 거리를 최소화하였다. 엣지 카메라는 딥러닝 알고리즘의 수행을 위하여 GPU 기반의 임베디드 보드를 사용하였고, 차량용 무선 통신 장치인 RSU와 OBU는 WAVE 표준을 준용하는 상용 보드를 사용하였다. 실험 결과 로 분석했을 때에 제안 시스템은 최대 약 172.
- 노변 장치는 보행자 검출을 위한 엣지 카메라와 WAVE 통신을 이용하여 메시지를 전송하는 RSU로 구성 된다. 엣지 카메라는 영상 정보를 획득하는 비디오카메라와 객체 검출을 위한 알고리즘, 객체 검출결과에 따 라 보행자 검출 정보 메시지를 생성하는 RSA 서비스 응용, 생성된 메시지를 RSU로 전달하는 외부 인터페이스 모듈로 구성되며, 교차로 횡단보도 주변에 설치되어 횡단보도상에 보행자가 존재하는지를 검출하고, 검출 된 보행자 정보를 RSU로 전달하는 기능을 수행한다. RSU는 엣지 카메라에서 이더넷 통신으로 연결되어 보행자 검출 정보 메시지를 수신하는 외부 인터페이스와 RSA 서비스를 포함하여 V2X 서비스를 제공하는 V2X 서비스 응용, 그리고 WAVE 통신을 위한 J2735-BSM, WAVE Stack 모듈 등으로 구성되며, 횡단보도 구역에 보행자가 있는 동안 주변 차량에 경고 메시지를 지속해서 전송하는 장치이다.
- 입력된 프레임에서 객체가 검출되면 검출된 객체 명이 무엇인지 판별하고, 판별된 객체가 ‘사람’일 때는 즉시 RSU로 전송할 메시지의 패킷 타입을 RSA로 설정하고, 검출 시점의 시간 정보를 설정한다.
- 패킷 타입은 메시지의 종류를 나타내는 코드로써 RSU에서는 메시지를 수신하여 패킷 타입의 코드에 따라서 해당하는 서비스를 수행한다. 제안 시스템에서는 RSA 서비스를 사용하기 위하여 RSA 메시지임을 나타내는 코드와 이벤트 해제를 나타내는 코드를 사용한다. 송신 시점의 시간 정보는 보행자가 발견된 시점의 날짜 및 시간 정보로써 초 단위 시간 정보와 마이크로초 단위의 시간 정보이다.
- 그리고 RSU는 수신되는 메시지의 패킷 타입에 따라서 해당하는 서비스를 수행하며, 제안 시스템 에서 사용하는 RSA 메시지 코드를 수신할 때는 WAVE 통신으로 주변 차량에 이벤트가 있음을 100ms 주기로 계속해서 전파한다. 제안 시스템에서는 횡단보도 구역 내에 보행자가 존재함을 알리는 서비스이므로 엣지 카메라로부터 RSA 메시지를 수신할 때에는 주변 차량에 보행자가 존재한다는 메시지를 전파한다. 그리고 이벤트가 종료되었다는 메시지를 엣지 카메라로부터 수신할 때에는 주변 차량으로의 메시지 전송을 중단한다.
- 제안하는 시스템은 [Fig. 3]과 같이 엣지 카메라에서 획득한 영상 정보를 이용하여 객체 검출 알고리즘으로 보행자를 검출하고, 검출 정보는 RSU로 직접 전달되어 주변의 차량에 장착된 OBU와 표출 단말을 통하여 운전자에게 표출된다.
- 제안한 시스템은 카메라에서 획득한 영상을 압축하고, 전송하는 비용을 줄이기 위하여 보행자 검출 알고리즘을 엣지 카메라에서 수행하며, 엣지 카메라와 RSU를 이더넷으로 직접 연결함으로써 네트워크 전송 거리를 최소화하였다. 엣지 카메라는 딥러닝 알고리즘의 수행을 위하여 GPU 기반의 임베디드 보드를 사용하였고, 차량용 무선 통신 장치인 RSU와 OBU는 WAVE 표준을 준용하는 상용 보드를 사용하였다.
대상 데이터
- RSU와 OBU는 WAVE 통신을 위한 차량용 무선 통신 장치를 사용하며, RSA 서비스가 표준을 준용하여 구현되어있다. 그리고 경고 알람 장치는 컴퓨팅 성능이 크게 제한되지 않음으로 현재 널리 사용 되고 있는 임베디드 보드 중에서 선택하여 사용하였다. 구현에 사용된 하드웨어의 상세 정보는 [Table 2]에 명시하였다.
- 샘플 영상은 MPEG4 video(H.264) 압축 포맷이며, 재생 시간은 10분, 해상도는 960×540, 프레임 수는 29.97fps, 비트율은 6,988kbps, 파일 크기는 508MB이다.
- 엣지 카메라에서 보행자를 검출할 때 검출 정보를 RSU로 전달하는 기능을 구현하기 위하여 제안 시스템 에서는 C 언어 기반의 오픈소스 딥러닝 프레임워크인 Darknet에서 검출 기능만 추출하여 구현된 YOLO2 Light를 사용하였으며, 검출에 사용할 데이터 셋은 COCO를 활용하였고, 학습 값은 Tiny-YOLOv3를 사용하였다. 입력된 프레임에서 객체가 검출되면 검출된 객체 명이 무엇인지 판별하고, 판별된 객체가 ‘사람’일 때는 즉시 RSU로 전송할 메시지의 패킷 타입을 RSA로 설정하고, 검출 시점의 시간 정보를 설정한다.
- 먼저, 이미지넷(ImageNet) 객체 분류용 데이 터를 이용하여 Tiny-YOLOv3를 사전 학습하고, 사전 학습 결과를 초기 가중치로 사용하여 보행자 충돌방지 경고 서비스용 딥러닝 모델을 재학습하였다. 재학습에는 Pascal VOC 데이터 셋, COCO 데이터 셋 및 자체 제작한 데이터 셋을 사용하였다. [Fig.
- 제안하는 시스템을 구현하기 위한 하드웨어는 엣지 카메라, RSU, OBU, 경고 알람 장치로 구성된다. 엣지 카메라는 내부에서 임베디드 환경용 경량화 딥러닝 알고리즘을 수행해야 하므로 GPU가 내장된 임베디드 보드를 사용한다.
이론/모형
- 위에서 언급한 MobileNet, Tiny-YOLO, Pelee 외에도 다양한 경량화 딥러닝 알고리즘이 있으며, 본 논문에서 는 엣지 카메라 기반의 보행자 충돌방지 경고 시스템의 보행자 검출 모델을 실시간성에 강한 Tiny-YOLOv3 알고리즘으로 사용한다.
- 제안하는 시스템은 보행자 감지를 실시간으로 수행하기 위하여 임베디드 환경용 경량화 딥러닝 알고리즘 인 Tiny-YOLOv3를 활용하였다. 보행자 충돌방지 경고 서비스에 필요한 객체만 검출하도록 엣지 카메라 객 체검출기를 학습하였다.
성능/효과
- RSU는 보행자 충돌방지 경고 시스템뿐만 아니라 다양한 서비스에 대한 처리를 수행한다. WAVE 통신으로 보행자 충돌 경고 서비스가 제공되고 있음을 주기적으로 전파하여, 주변의 차량에 해당 서비스를 이용 가능함 을 알려준다. 그리고 RSU는 수신되는 메시지의 패킷 타입에 따라서 해당하는 서비스를 수행하며, 제안 시스템 에서 사용하는 RSA 메시지 코드를 수신할 때는 WAVE 통신으로 주변 차량에 이벤트가 있음을 100ms 주기로 계속해서 전파한다.
- 그러나 네트워크의 통신 지연시간은 최대 약 100ms까지 지연되는 때도 있었으며, 영상을 압축하는 시간이 약 3초 정도 소요되는 것을 확인하였다. 결과적으로 검출 알고리즘 자체는 고성능 GPU에서 처리하기 때문에 임베디드 시스템에서 사용되는 GPU보다 훨씬 좋은 성능을 보일수 있지만, 네트워크의 통신 지연과 영상 압축 지연이 심하게 증가하기 때문에 기존의 보행자 충돌방지 경고 시스템은 C-ITS 표준에서 횡단보도상에 보행자가 존재 할 경우 주변의 차량에 300ms 이내에 보행자가 존재함을 전달할 수 있도록 요구하는 것을 만족하지 못한다.
- 보행자 검출 알고리즘은 약 33ms의 지연시간 발생으로 엣지 카메라에서 수행할 때보다 훨씬 작게 나타났다. 그러나 네트워크의 통신 지연시간은 최대 약 100ms까지 지연되는 때도 있었으며, 영상을 압축하는 시간이 약 3초 정도 소요되는 것을 확인하였다. 결과적으로 검출 알고리즘 자체는 고성능 GPU에서 처리하기 때문에 임베디드 시스템에서 사용되는 GPU보다 훨씬 좋은 성능을 보일수 있지만, 네트워크의 통신 지연과 영상 압축 지연이 심하게 증가하기 때문에 기존의 보행자 충돌방지 경고 시스템은 C-ITS 표준에서 횡단보도상에 보행자가 존재 할 경우 주변의 차량에 300ms 이내에 보행자가 존재함을 전달할 수 있도록 요구하는 것을 만족하지 못한다.
- 따라서 결과적으로 영상이 입력되는 시점에서 검출결과가 차량으로 전달되어 알람을 표시하기까지는 약 172.394ms가 소요되며, C-ITS 표준에서 요구하고 있는 300ms 이내로 보행자 검출결과가 전달될 수 있다는 것을 알 수 있다.
- 394ms의 지연시간이 소요됨을 보였다. 따라서 제안 시스템은 최악의 상황에서 소요되는 지연시간이 C-ITS 표준에서 제시하고 있는 요구 성능을 크게 만족하고 있으므로 실제로 상용화 가능할 수준의 성능임을 입증하였다.
- 기존의 보행자 충돌방지 경고 시스템은 검지 시스템과 통신 시스템의 이원화로 인하여, 보행자 검출 시스템과 V2X 서비스 시스템을 거쳐서 RSU로 검출 정보가 전송되는 데 많은 시간이 소요된다. 보행자 검출 알고리즘은 약 33ms의 지연시간 발생으로 엣지 카메라에서 수행할 때보다 훨씬 작게 나타났다. 그러나 네트워크의 통신 지연시간은 최대 약 100ms까지 지연되는 때도 있었으며, 영상을 압축하는 시간이 약 3초 정도 소요되는 것을 확인하였다.
- 엣지 카메라는 딥러닝 알고리즘의 수행을 위하여 GPU 기반의 임베디드 보드를 사용하였고, 차량용 무선 통신 장치인 RSU와 OBU는 WAVE 표준을 준용하는 상용 보드를 사용하였다. 실험 결과 로 분석했을 때에 제안 시스템은 최대 약 172.394ms의 지연시간이 소요됨을 보였다. 따라서 제안 시스템은 최악의 상황에서 소요되는 지연시간이 C-ITS 표준에서 제시하고 있는 요구 성능을 크게 만족하고 있으므로 실제로 상용화 가능할 수준의 성능임을 입증하였다.
- Ltransmit 역시 10분 분량의 샘플 영상을 입력으로 하여 10회 측정하였으며, 그 결과는 [Table 4]와 같다. 측정 결과로 Ltransmit는 최소 32.069ms, 최대 96.143ms, 평균 47.928ms임을 알 수 있다.
- 측정 결과로 Ldetect는 최소 19.4fps, 최대 41.8fps, 평균 36.17fps이며, 이를 ms 단위로 환산할 때는 최소 약 24.271ms, 최대 약 42.918ms, 평균 약 27.651ms임을 알 수 있다.
후속연구
- 따라서 기존의 보행자 충돌방지 경고 시스템은 1대의 카메라만 사용하는 경우를 고려할 때 최악의 경우에 약 3,055ms의 지연시간이 발생하여 C-ITS 표준에서 요구하는 300ms를 훨씬 초과하며, 보행자를 검출하고 차량에 전달되기까지 네트워크 구조상 많은 단계를 거쳐야 하므로 지연시간이 많이 소요된다는 점과 영상검지기 서버를 구축할 때에 비용 측면에서 문제점이 있다. 그러므로 검지하고자 하는 구역으로 운행 중인 차량은 보행자와 충돌이 발생하기 이전에 보행자가 검출되었다는 정보를 전달받는 방법과 시스템 구축 비용을 줄이는 방법에 관한 연구가 필요하다.
- 마지막으로 향후에는 후속 연구를 통해 자율 주행차와의 연동함으로써 자율 주행의 안전 문제를 보완하는 것에 활용할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.