본 논문은 자율주행자동차가 곡선 주행 차로를 따라 주행 경로를 인지하고 경로 제어가 가능하도록 하기 위한 IPM 기반의 차선 검출기 구조에 대해 제안하고 RTL (Register Transfer Level) 기반의 회로 구현 결과에 대해 설명한다. 제안한 회로 구조는 곡률이 심한 차선에 대해 높은 정확도를 보장하기 위해 역투영 정합 영상을 Near/Far 영역으로 구분하여 허프 변환과 차선의 후보 영역 검출 연산을 적용한다. 자율주행자동차의 경우 다양한 알고리즘을 탑재해야 하므로 임베디드 시스템에서 차선 인식기의 시스템 자원 사용량을 줄이기 위해 차선 인식에 사용하는 영상 데이터 및 각종 파라미터 데이터에 대해 메모리 접근 회수를 최소화하는 방법을 제안하였다. 제안한 회로는 Xilinx Zynq XC7Z020에서 LUT 16%, FF 5.9%, BRAM 29%의 FPGA 자원 점유율을 보였으며 100MHz 클럭에서 Full-HD ($1920{\times}1080$) 영상을 초당 42장 처리 가능한 성능을 갖고 약 96% 차선 인식률을 보인다.
본 논문은 자율주행자동차가 곡선 주행 차로를 따라 주행 경로를 인지하고 경로 제어가 가능하도록 하기 위한 IPM 기반의 차선 검출기 구조에 대해 제안하고 RTL (Register Transfer Level) 기반의 회로 구현 결과에 대해 설명한다. 제안한 회로 구조는 곡률이 심한 차선에 대해 높은 정확도를 보장하기 위해 역투영 정합 영상을 Near/Far 영역으로 구분하여 허프 변환과 차선의 후보 영역 검출 연산을 적용한다. 자율주행자동차의 경우 다양한 알고리즘을 탑재해야 하므로 임베디드 시스템에서 차선 인식기의 시스템 자원 사용량을 줄이기 위해 차선 인식에 사용하는 영상 데이터 및 각종 파라미터 데이터에 대해 메모리 접근 회수를 최소화하는 방법을 제안하였다. 제안한 회로는 Xilinx Zynq XC7Z020에서 LUT 16%, FF 5.9%, BRAM 29%의 FPGA 자원 점유율을 보였으며 100MHz 클럭에서 Full-HD ($1920{\times}1080$) 영상을 초당 42장 처리 가능한 성능을 갖고 약 96% 차선 인식률을 보인다.
In this paper, we propose the architecture of an IPM based lane detector for autonomous vehicles to detect and control the driving route along the curved lane. In the IPM image, we divide the area into two fields, Far/Near Field, and the lane candidate region is detected using the Hough transform to...
In this paper, we propose the architecture of an IPM based lane detector for autonomous vehicles to detect and control the driving route along the curved lane. In the IPM image, we divide the area into two fields, Far/Near Field, and the lane candidate region is detected using the Hough transform to perform the matching for the curved lane. In autonomous vehicles, various algorithms must be embedded in the system. To reduce the system resources, we proposed a method to minimize the number of memory accesses to the image and various parameters on the external memory. The proposed circuit has 96% lane recognition rate and occupies 16% LUT, 5.9% FF and 29% BRAM in Xilinx XC7Z020. It processes Full-HD image at a rate of 42 fps at a 100 MHz operating clock.
In this paper, we propose the architecture of an IPM based lane detector for autonomous vehicles to detect and control the driving route along the curved lane. In the IPM image, we divide the area into two fields, Far/Near Field, and the lane candidate region is detected using the Hough transform to perform the matching for the curved lane. In autonomous vehicles, various algorithms must be embedded in the system. To reduce the system resources, we proposed a method to minimize the number of memory accesses to the image and various parameters on the external memory. The proposed circuit has 96% lane recognition rate and occupies 16% LUT, 5.9% FF and 29% BRAM in Xilinx XC7Z020. It processes Full-HD image at a rate of 42 fps at a 100 MHz operating clock.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서 도로 곡률 추정을 위한 역투영 정합기반 곡선 차선 검출 방법에 대해 제안하고 FPGA기반의 임베디드 시스템에서 효율적으로 하드웨어 회로를 구현하기 위한 회로 구조와 그 구현 결과에 대해 설명하였다. 도로 영상이 역투영정합 기반의 영상 데이터로 변환을 통해 원근감에 의해 근거리의 객체가 크게, 원거리의 객체가 작게나타나는 현상을 제거하여 안정적으로 차선 검출이 가능하다록 하였다.
본 논문에서는 이러한 단점을 극복하기 위해 역투영 정합 기법 기반 탑뷰 (Top view) 영상을 생성한 후에 2차원 가우시안 필터를 적용하여 차선을 더욱 강조하고 노이즈를 제거하는 곡선 차선탐지 방법을 제안한다. 곡선을 보다 강건하게 만들기 위해 근거리영역 (Near Field)와 원거리영역(Far Field)으로 나누어 허프 변환 (Hough Transform)을 수행하여 차선의 후보들을 검출한다.
또한 자율주행자동차는 하나의 시스템에 다양한 알고리즘을 탑재하여 차선 인식 뿐만 아니라 주행 경로 설정, 도로 상의 객체 탐지 등을 통합 처리해야 하므로 차량 탑재 임베디드 시스템에서 제공하는 자원을 효율적으로 사용해야 할 필요가 있다. 본 논문에서는 임베디드 시스템에 차선 인식기를 탑재할 때 시스템 자원의 효율적인 사용을 위해 차선 인식에 사용하는 영상 데이터 및 각종 파라미터 데이터에 대해 메모리 접근 회수를 최소화하는 방법을 제안하였다. 제안한 차선 검출방법을 회로로 구현하여 실험한 결과, 약 96% 차선 인식률을 보였으며 Xilinx Zynq XC7Z020에서 LUT16%, FF 5.
제안 방법
본 논문에서는 이러한 단점을 극복하기 위해 역투영 정합 기법 기반 탑뷰 (Top view) 영상을 생성한 후에 2차원 가우시안 필터를 적용하여 차선을 더욱 강조하고 노이즈를 제거하는 곡선 차선탐지 방법을 제안한다. 곡선을 보다 강건하게 만들기 위해 근거리영역 (Near Field)와 원거리영역(Far Field)으로 나누어 허프 변환 (Hough Transform)을 수행하여 차선의 후보들을 검출한다. 후보 차선들의 화소에 대해 최소 자승법을 이용하여 동일한 곡률을 갖는 곡선 쌍에 차선을 정합하여 최종적으로 차선을 검출하는 방법을 제안한다.
차선쌍 정합은 최소자승법 또는 RANSAC을 이요하여 계산할 수 있다. 그러나 본 논문에서는 임베디드 시스템에 적용이 더욱 용이한 최소자승법을 기반으로 차선의 곡선을 정합하였다. 검출된 차선 후보 중에서 (X1, Y1)와 (X2, Y2)를 이용하여 두 개의 2차원 차선쌍 모델을 식 (5)와 같이 세운 후, 차선의 곡선쌍 방정식인 식 (6)의 미지수 A 행렬을 구한다.
역투영 정합 영상 생성후에 차선 성분만을 강조하기 위해 차선 인식에 적합한가우시안 필터를 적용하였고 Far/Near Field 두 영역으로 구분하여 허프 변환을 수행하여 차선이 존재하는 관심영역을 추출하고 차선을 검출하였다. 또한 제안한 알고리즘을 FPGA 기반의 임베디드시스템에서 실시간 처리가 가능하도록 시스템 내의 데이터 대역폭 사용을 최소화하는 회로 구조를 제안하였으며 이를 RTL 기반의 회로로 구현하였다. 제안한 구조의 회로는 Xilinx Zynq XC7Z020 FPGA 기반 임베디드 시스템에 구현하였으며,LUT 16%, FF 5.
본 논문에서는 고정된 카메라 설치환경 값과 카메라의 사양을 카메라 캘리브레이션 (calibration)에 의해 측정하였으며, 그림 2는 1920x1080 화소의 입력 영상에 대해 400x1280 크기의 영상으로 역투영 정합을 수행한 결과를 나타낸 것이다. 역투영정합의 해상도는 차선의 폭이 약 10∼15cm임을 감안하여, 5cm 해상도로 표현하고, X축으로 -10m∼10m, Y축으로 0∼64m 까지의 도로 영상을 확보하여 차선인식을 수행하였다.
도로 영상이 역투영정합 기반의 영상 데이터로 변환을 통해 원근감에 의해 근거리의 객체가 크게, 원거리의 객체가 작게나타나는 현상을 제거하여 안정적으로 차선 검출이 가능하다록 하였다. 역투영 정합 영상 생성후에 차선 성분만을 강조하기 위해 차선 인식에 적합한가우시안 필터를 적용하였고 Far/Near Field 두 영역으로 구분하여 허프 변환을 수행하여 차선이 존재하는 관심영역을 추출하고 차선을 검출하였다. 또한 제안한 알고리즘을 FPGA 기반의 임베디드시스템에서 실시간 처리가 가능하도록 시스템 내의 데이터 대역폭 사용을 최소화하는 회로 구조를 제안하였으며 이를 RTL 기반의 회로로 구현하였다.
역투영정합의 해상도는 차선의 폭이 약 10∼15cm임을 감안하여, 5cm 해상도로 표현하고, X축으로 -10m∼10m, Y축으로 0∼64m 까지의 도로 영상을 확보하여 차선인식을 수행하였다.
IPM 모듈은 입력된 도로 영상을 역투영정합 영상으로 변환하기 위해 1920x1080의 도로 영상 데이터, 역투영 정합을 위한 Weight 파라미터, 좌표 값을 입력 받아야 하는데 영상의 각 라인마다 데이터를 매번 입력 받아야 하기 때문에 입력 받아야 하는 데이터 양이 매우 큰 문제가 있다. 이 문제를 해결하기 위해 본 논문에서는 도로 영상 역투영 정합 연산을 처리하는 동안 도로 영상 데이터, 역투영 정합 위한 Weight 파라미터, 좌표값 읽기를 동시에 처리하고 한번 읽은 데이터는 반복해서 읽지 않도록 역투영 정합 모듈에 영상 데이터, Weight 파라미터, 좌표 값에 대해 4개의 버퍼 공간을 확보하고 회로에서 읽기/쓰기 동작이 일어나지 않는 시간 동안 미리 데이터를 읽어 메모리에 버퍼링하여 임베디드 시스템의 데이터 버스 대역폭 사용을 효율적으로 사용할 수 있도록 하였다.
제안된 차선 검출기 이후의 최종 차선 결정 관련 로직은 임베디드 시스템의 프로세서에서 처리 가능한 소프트웨어로 구현되어 동작한다. 이러한 HW/SW 동작 분할은 제안한 차선 검출기 알고리즘에서 동일한 연산을 일정하게 반복하고 외부 메모리에서 데이터 접근을 일정하게 하는 모듈인IPM, Gaussian Filter, Adaptive TH, Labelling Filter, Hough Transform은 하드웨어로 구현하고 하드웨어에서 검출된 차선 후보들 중에 최종 차선을 결정하는 알고리즘은 연산에 사용되는 데이터접근이 일정하지 않은 나머지 부분은 소프트웨어 구현하였다.
도로 영상에서 차선을 인식하지 못한 경우는 하나의 예로 그림 8에나타내었으며 오차는 평균 40cm 이다. 제안된IPM 기반 차선인식 하드웨어 구조는 Verilog-HDL (Hardware Description Language)로 구현하였으며 회로 동작을 검증하기 위해 Xilinx XC7Z020이 탑재된 보드에서 동작을 확인하였다. FPGA에서 회로를 합성한 결과는 LUT16%, FF 5.
주행 차선의 관심 영역을 검출하기 위해 이진화된 영상 데이터에 대해 허프 변환을 통해 실제 주행 차선이 존재하는 관심 영역 (ROI, Region of Interest)을 검출 한다. 허프 변환은 영상에서 직선을 찾는데 주로 사용되는 알고리즘으로 본 논문에서는 차선을 곡선으로 정합하기 전에 대략적인 직선 형태의 차선을 찾고, 이를 기준으로 좌우 마진을 두어 관심영역을 설정한다.
주행 차선의 관심 영역을 검출하기 위해 이진화된 영상 데이터에 대해 허프 변환을 통해 실제 주행 차선이 존재하는 관심 영역 (ROI, Region of Interest)을 검출 한다. 허프 변환은 영상에서 직선을 찾는데 주로 사용되는 알고리즘으로 본 논문에서는 차선을 곡선으로 정합하기 전에 대략적인 직선 형태의 차선을 찾고, 이를 기준으로 좌우 마진을 두어 관심영역을 설정한다. 허프 변환은 전체이진화 영상에 대해 허프 변환을 수행할 경우 곡률이 심한 차선에 대해 관심영역을 잘못 잡는 경우가 발생하기 때문에 근거리영역과 원거리영역으로 나누어 독립적으로 수행하였다.
곡선을 보다 강건하게 만들기 위해 근거리영역 (Near Field)와 원거리영역(Far Field)으로 나누어 허프 변환 (Hough Transform)을 수행하여 차선의 후보들을 검출한다. 후보 차선들의 화소에 대해 최소 자승법을 이용하여 동일한 곡률을 갖는 곡선 쌍에 차선을 정합하여 최종적으로 차선을 검출하는 방법을 제안한다.
대상 데이터
본 논문에서 제안한 임베디드 시스템의 데이터대역폭 사용을 최소화하기 위한 모듈은 그림 5의역투영 정합 기반 차선 검출기 구조 중에서 IPM모듈이다. IPM 모듈의 세부 블록도는 그림 6에 나타내었다.
제안한 알고리즘의 차선 인식 성능을 평가하기 위해 국내 고속화도로에서 주간에 80km/h로 등속 주행을 하는 1500장의 도로 영상을 기반으로 실험을 진행하였다. 역투영 정합 영상의 크기는 400x1280 화소이며 한 화소 당 5cm의 도로 상의 거리를 나타낸다.
이론/모형
한편, 탑뷰 영상에서는 일정 폭의 차선이 서로 평행하게 보인다. 본 논문에서는 Bertozzi와 Broggi[5]가 제안한 역투영정합 기법을 사용하여 탑뷰 영상을 생성한다.
성능/효과
제안된IPM 기반 차선인식 하드웨어 구조는 Verilog-HDL (Hardware Description Language)로 구현하였으며 회로 동작을 검증하기 위해 Xilinx XC7Z020이 탑재된 보드에서 동작을 확인하였다. FPGA에서 회로를 합성한 결과는 LUT16%, FF 5.9%, BRAM 29%의 자원을 사용하고 100MHz 클럭에서 Full-HD (1920x1080) 영상을 초당 42장 처리 가능하다.
제안된 구조를 통해 구현된 회로의 처리시간을 분석한 결과, 첫 번째 데이터가 입력되어 마지막 결과 데이터가 출력되는데 걸리는 시간은 모든 데이터를 입력 받는 데 걸리는 시간과 마지막 줄 처리 시간을 더하면 되므로 계산하면 최대 2,360,617cycle (2,360,204 + 413) 이다. 이 회로를 100MHz 클럭을 이용하여 동작시키면 2,360,617 x10ns = 23,606,170ns 이므로 최대 1초당 42장의 차선 검출이 가능하다.
또한 제안한 알고리즘을 FPGA 기반의 임베디드시스템에서 실시간 처리가 가능하도록 시스템 내의 데이터 대역폭 사용을 최소화하는 회로 구조를 제안하였으며 이를 RTL 기반의 회로로 구현하였다. 제안한 구조의 회로는 Xilinx Zynq XC7Z020 FPGA 기반 임베디드 시스템에 구현하였으며,LUT 16%, FF 5.9%, BRAM 29% 크기의 회로로 합성되었고 100MHz 클럭에서 Full-HD(1920x1080) 영상을 초당 42장 처리 가능하며 오차범위 ±15cm 이내에서 96%의 차선 인식률을 보인다.
역투영 정합 영상의 크기는 400x1280 화소이며 한 화소 당 5cm의 도로 상의 거리를 나타낸다. 제안한 방법은 잡음에 취약한 부분에 대해 가우시안 필터를 적용하여 잡음에 강인하도록 하였으며, 1500장의 도로 영상에 대해 논문[6]에서와 같이 Ground Truth 영상을 생성하고 성능 평가를 수행하여 그림 7과 같이 약 96%의 인식률을 나타내고 차선의 최소 오차는 0cm, 최대오차는 30cm 이내, 평균 오차는 10.1cm 인 것으로 측정되었다. 이때 차선의 에러 범위는 차선의 폭이 10∼15cm 이기 때문에 차선 폭의 중심을 기준으로 좌우 15cm로 정의하였다.
본 논문에서는 임베디드 시스템에 차선 인식기를 탑재할 때 시스템 자원의 효율적인 사용을 위해 차선 인식에 사용하는 영상 데이터 및 각종 파라미터 데이터에 대해 메모리 접근 회수를 최소화하는 방법을 제안하였다. 제안한 차선 검출방법을 회로로 구현하여 실험한 결과, 약 96% 차선 인식률을 보였으며 Xilinx Zynq XC7Z020에서 LUT16%, FF 5.9%, BRAM 29%를 점유하는 크기로 구현하였고 100MHz 클럭에서 Full-HD(1920x1080) 영상을 초당 42장 처리 가능한 성능을 갖는다.
질의응답
핵심어
질문
논문에서 추출한 답변
자율 주행 차량에서 자율적인 이동을 위해 필요한 것은?
전방 차선에 대한 차량의 침법 또는 이탈 여부에 대한 판단 기능만을 요구하는 기존 ADAS(Advanced Driver Assistance System)용 차선인식 알고리즘과 달리, 자율 주행 차량에서는 자율적인 이동을 위해 주행 중에 나타나는 다양한 종류의 차선을 인식하여 스티어링 제어가 이루어져야 하므로 차선의 변경 여부를 판단 할뿐만 아니라 현재 주행하고 있는 차선의 곡률에 대한 정확한 정보를 추출 할 필요가 있다. 기존 연구에서는 B-spline이나 Snake와 같은 알고리즘을 기반으로 차선의 곡률을 정합함으로써 곡선 도로상에서 차량의 차선 이탈을 보다 정확하게 검출하기 위한 다양한 방법이 제안되었다[1,2,3].
차선의 곡률 정보를 얻기위해 B-spline이나 Snake와 같은 알고리즘을 기반으로 차선의 곡률을 정합하는 기존의 방법의 문제점은?
기존 연구에서는 B-spline이나 Snake와 같은 알고리즘을 기반으로 차선의 곡률을 정합함으로써 곡선 도로상에서 차량의 차선 이탈을 보다 정확하게 검출하기 위한 다양한 방법이 제안되었다[1,2,3]. 그러나 기존 방법은 좌/우 차선에 대해 차선 검출 결과를 개별적으로 정합시킴으로써 최종 차선의 곡률을 정밀하게 추출하기 어려운 문제점이 있다. 이러한 문제를 해결하기 위해 RANSAC 알고리즘과 역투영 정합기법 (IPM, Inverse Perspective Mapping)을 적용하여 이미지를 탑뷰 (Top view)로 변환하고 좌/우차선의 곡률에 따라 차선 검출 매칭을 수행하는 알고리즘이 제안되었다[4].
RANSAC 알고리즘과 역투영 정합기법을 적용하여 이미지를 탑뷰로 변환하고 좌/우차선의 곡률에 따라 차선 검출 매칭을 수행하는 알고리즘의 장단점은?
이러한 문제를 해결하기 위해 RANSAC 알고리즘과 역투영 정합기법 (IPM, Inverse Perspective Mapping)을 적용하여 이미지를 탑뷰 (Top view)로 변환하고 좌/우차선의 곡률에 따라 차선 검출 매칭을 수행하는 알고리즘이 제안되었다[4]. 이 방법은 곡선 차선을 인식하기 위해 먼저 직선을 인식하고 직선의 끝부분에 후보점을 생성하여 색상이 있는 경우 후보 점들을 연결하여 곡선 차선을 인식할 수 있지만 잡음에 매우 민감하다는 단점이 있다.
참고문헌 (6)
H. Jang, S. Baek, and S. Park, "Curved lane detection using robust feature extraction," IEEE International Conference on Systems and Informatics. pp.109-112, Nov. 2014.
Zu Kim, "Realtime lane tracking of curved local road," IEEE Intelligent Transportation Systems Conference, pp. 1149-1155, Sep. 2006.
J. Deng and Y. Han. "A real-time system of lane detection and tracking based on optimized RANSAC B-spline fitting," Research in Adaptive and Convergent Systems, pp.157-164, Oct. 2013.
Z. Ying and G. Li, "Robust lane marking detection using boundary-based inverse perspective mapping," IEEE International Conference on Acoustics, Speech and Signal Processing, pp.1921-1925, Mar. 2016.
M. Bertozzi and A. Broggi, "Real-time lane and obstacle detection on the GOLD system," IEEE Intelligent Vehicles Symposium, pp.213-218, Sep. 1996.
A. Borkar, M. Hayes, and M. T. Smith, "A novel lane detection system with effi cient ground truth generation," IEEE Trans. Intell. Transp. Syst., vol.13, no.1, pp.365-374, Mar. 2012.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.