선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이러한 문제를 해결하기 위해, 본 논문에서는 제한된 하드웨어에서 다수의 영상인식 기법을 실시간으로 처리하기 위해 입력 프레임을 동적으로 제외하는 기법을 제안한다. 동적으로 프레임을 제외하는 것과 동시에 차량의 상태에 따라 인지 기법의 적용을 다르게 활용하여 상황에 맞는 인지 기법의 수행을 최대화하기 위한 기법을 설계하였다.
- 스마트 운전자 보조 시스템은 차량 주변 상황을 인지하고 그 인지에 따른 상황과 경고를 운전자에게 제공하여 운전자의 안전과 편의성을 제공하는 시스템으로 자율 주행 시스템과 함께 미래 자동차 환경을 한 단계 향상시킬 중요한 기술이다. 이러한 스마트 운전자 보조 시스템을 위해 영상인식 기반의 주변 인지기술이 반드시 필요하며, 본 연구에서는 실시간 영상인식 처리를 위한 입력 프레임 경량화 기법을 제안하였다.
제안 방법
- 처리할 프레임 수를 동적으로 변경하여 연산량을 줄일 수 있으나, 일부 프레임의 제외로 인한 인식률에 변화가 발생할 수 있다. 각 기법을 적용한 영상처리 결과로 나타나는 인식률을 비교하여 성능을 평가하였다.
- 실시간 영상인식 처리를 위한 입력 프레임 경량화 기법으로 입력되는 프레임 중 일부 프레임을 제외하여 처리 부하를 낮추는 주행 상태 기반의 동적 프레임 제외 기법를 제안하였다. 고성능 임베디드 AP인 테그라 K1 을 이용한 스마트 카메라 장치를 설계하고 각종 라이브 러리를 이용하여 그 성능을 극대화 하여 성능 테스트를 진행하였다. 동적 프레임 제외 기법을 적용하여 전체 프레임 중 절반의 프레임을 처리하였을 때 약 3배의 처리성능의 향상을 확인하였으며 실시간 동작이 가능함을 보였다.
- 구현한 차량용 스마트 카메라의 성능을 기존에 수집한 주행 영상을 이용하여 테스트 하였다. 샘플 영상은 차량용 블랙박스에서 녹화된 영상이며, 각각 24FPS, MPEG-4의 압축포맷, WVGA (800×480)의 해상도를 갖는 10종류의 10초 영상을 대상으로 실험을 진행한다.
- 그와 반대로 차량의 속도가 빠르고 급격한 가속과 감속으로 주행 환경이 급변할 수 있는 상황의 경우 중요한 인식 기법의 연속적인 처리가 필요하다. 그에 따라 차량의 주행상태를 안정주행과 위험주행으로 나누어서 상태에 따른 영상인식 기법의 적용과 실시간 처리를 위한 프레임 제외 율을 결정하는 기법을 제안한다. 다음은 정의할 2가지 주행상태에 대한 구체적인 내용을 설명한다.
- 이러한 문제를 해결하기 위해, 본 논문에서는 제한된 하드웨어에서 다수의 영상인식 기법을 실시간으로 처리하기 위해 입력 프레임을 동적으로 제외하는 기법을 제안한다. 동적으로 프레임을 제외하는 것과 동시에 차량의 상태에 따라 인지 기법의 적용을 다르게 활용하여 상황에 맞는 인지 기법의 수행을 최대화하기 위한 기법을 설계하였다. 차량에서 수집할 수 있는 데이터인 속도와 가속도를 통해 현재 주행상태를 파악하여 동적으로 프레임 제외률을 설정하고 그에 맞게 영상인식 기법을 처리하여 영상인식기법의 처리 수를 최대화시킬 수있도록 하였다.
- 제안하는 기법에 서는 다수의 인식처리 기법을 이용하여 간헐적으로 발생하는 처리시간의 단축에 대응하여 다른 처리 기법을 수행하는 방법으로 처리 횟수를 늘리고 효율적으로 동작할 수 있도록 한다. 또한, 다수의 인식기법을 실시간 으로 처리하기 위해 주행 상태를 고려한 동적 프레임 제외 기법을 제안한다.
- 본 논문에서는 주행상태를 2종류로 분류하였으므로, α값을 1로 설정하고 해당 값에 대한 프레임 제외율을 기법의 처리시간에 맞춰 설정하였다.
- 속력과 가속도 변화량은 상호의존적 관계이며 두 정보를 이용하여 주행상황을 판정하고 그에 따른 동적 프레임 제외률을 결정할 수 있다. 본 연구에서는 두 값에 대해 평준화(nomalization)를 수행한 후 가중치를 부여하여 주행상태를 결정하는 결정 모델을 제안한다. 최고 속도는 도로의 제한속도를 이용하여 도출할 수 있으며, 가속도 변화량은 운전자의 가속, 감속 성향을 기반으로 주행상태 추정 모델을 생성하였다.
- 제안하는 모델의 프레임 제외률인 FRskip은 주행상태 값인 DC (driving condition)와 입력 프레임의 수 및 인식기법의 처리속도 따라 결정되며, 안정주행과 위험 주행에 따라 나눈 2가지 상태의 프레임 제외률을 가지도록 설계하였다. 스마트 운전자 보조 시스템에 적용한 보행자 인식, 차선 인식, 번호판 인식, 교통표지판 인식과 같은 4가지 영상인식기법 중 보행자와 차선 인식을 항상 수행할 영상인식처리 그룹으로 정하고 번호판 인식과 교통표지판 인식의 경우 처리시간이 여유롭게 주어질 때 처리하도록 설계하였다. 위험주행 상태일 경우 에도 동적 ROI 기법으로 처리시간을 단축한 정도에 따라 추가적인 인식 기법을 적용하도록 하였다.
- 실시간 영상인식 처리를 위한 입력 프레임 경량화 기법으로 입력되는 프레임 중 일부 프레임을 제외하여 처리 부하를 낮추는 주행 상태 기반의 동적 프레임 제외 기법를 제안하였다. 고성능 임베디드 AP인 테그라 K1 을 이용한 스마트 카메라 장치를 설계하고 각종 라이브 러리를 이용하여 그 성능을 극대화 하여 성능 테스트를 진행하였다.
- 엔비디아 테그라 K1 코어[13]를 적용한 스마트 차량용 카메라 장치에서 관심영역에 따른 처리 성능, 프레임 제외에 따른 처리 성능 및 병렬처리 구현에 따른 처리 성능에 대한 평가를 수행한다. 평가항목은 영상처리 속도, 인식률 및 처리 프레임의 수이며, 영상처리속도는 누적 초과처리시간을 기준으로 실시간 동작의 가능 여부를 두고 평가하였고, 인식률은 관심영역의 변화나 제외율에 따른 변화를 기준으로 비교 평가하였다.
- ･ 위험주행: 속도가 높고, 가속도 변화가 클수록 위험한 주행상태로 판단. 연속적인 프레임에서 안전에 영향을 주는 대상(보행자, 차선이탈)에 대한 지속적인 인식을 수행. 처리 후 시간이 남을 경우 우선순위가 낮은 인식기법을 추가로 수행
- 스마트 운전자 보조 시스템에 적용한 보행자 인식, 차선 인식, 번호판 인식, 교통표지판 인식과 같은 4가지 영상인식기법 중 보행자와 차선 인식을 항상 수행할 영상인식처리 그룹으로 정하고 번호판 인식과 교통표지판 인식의 경우 처리시간이 여유롭게 주어질 때 처리하도록 설계하였다. 위험주행 상태일 경우 에도 동적 ROI 기법으로 처리시간을 단축한 정도에 따라 추가적인 인식 기법을 적용하도록 하였다.
- 위험주행 중에는 최소한의 인식 기법을 수행하여 처리시간을 줄이고 그에 따라 프레임 제외를 최소화한다. 이러한 상황의 인지를 위해 차량의 속도와 가속도 변화를 이용하여 주행 상황을 판단하는 모델을 설계하였다. 속도와 가속도 변화량에 영향을 주는 요소는 차량의 가속, 감속, 충격 및 방향전환이 있다.
- 시간의 흐름에 따라 프레임의 처리와 제외가 반복되나 처리시간의 단축에 따른 이득은 발생하지 않는 문제가 있다. 제안하는 기법에 서는 다수의 인식처리 기법을 이용하여 간헐적으로 발생하는 처리시간의 단축에 대응하여 다른 처리 기법을 수행하는 방법으로 처리 횟수를 늘리고 효율적으로 동작할 수 있도록 한다. 또한, 다수의 인식기법을 실시간 으로 처리하기 위해 주행 상태를 고려한 동적 프레임 제외 기법을 제안한다.
- 제안하는 모델의 프레임 제외률인 FRskip은 주행상태 값인 DC (driving condition)와 입력 프레임의 수 및 인식기법의 처리속도 따라 결정되며, 안정주행과 위험 주행에 따라 나눈 2가지 상태의 프레임 제외률을 가지도록 설계하였다. 스마트 운전자 보조 시스템에 적용한 보행자 인식, 차선 인식, 번호판 인식, 교통표지판 인식과 같은 4가지 영상인식기법 중 보행자와 차선 인식을 항상 수행할 영상인식처리 그룹으로 정하고 번호판 인식과 교통표지판 인식의 경우 처리시간이 여유롭게 주어질 때 처리하도록 설계하였다.
- 동적으로 프레임을 제외하는 것과 동시에 차량의 상태에 따라 인지 기법의 적용을 다르게 활용하여 상황에 맞는 인지 기법의 수행을 최대화하기 위한 기법을 설계하였다. 차량에서 수집할 수 있는 데이터인 속도와 가속도를 통해 현재 주행상태를 파악하여 동적으로 프레임 제외률을 설정하고 그에 맞게 영상인식 기법을 처리하여 영상인식기법의 처리 수를 최대화시킬 수있도록 하였다.
- 샘플 영상은 차량용 블랙박스에서 녹화된 영상이며, 각각 24FPS, MPEG-4의 압축포맷, WVGA (800×480)의 해상도를 갖는 10종류의 10초 영상을 대상으로 실험을 진행한다. 차량의 이동속도와 가속도 변화가 필요한 동적 프레임 제외 기법의 성능평가를 위해 각 샘플영상에 존재하는 속도정보를 분석하여 일부영역에서 주행상태의 변화가 발생하도록 설정하였고 그에 따른 프레임 제외율을 결정할 수 있게 하였다.
- 본 연구에서는 두 값에 대해 평준화(nomalization)를 수행한 후 가중치를 부여하여 주행상태를 결정하는 결정 모델을 제안한다. 최고 속도는 도로의 제한속도를 이용하여 도출할 수 있으며, 가속도 변화량은 운전자의 가속, 감속 성향을 기반으로 주행상태 추정 모델을 생성하였다. 해당 모델은 수식 1 과 같다.
- 엔비디아 테그라 K1 코어[13]를 적용한 스마트 차량용 카메라 장치에서 관심영역에 따른 처리 성능, 프레임 제외에 따른 처리 성능 및 병렬처리 구현에 따른 처리 성능에 대한 평가를 수행한다. 평가항목은 영상처리 속도, 인식률 및 처리 프레임의 수이며, 영상처리속도는 누적 초과처리시간을 기준으로 실시간 동작의 가능 여부를 두고 평가하였고, 인식률은 관심영역의 변화나 제외율에 따른 변화를 기준으로 비교 평가하였다.
대상 데이터
- 4가지 인식기법을 적용한 환경에서의 동적 프레임 제외 기법을 적용한 성능비교가 그림 5에서 이루어진다. 그림에서 동적 프레임 제외 기법의 성능평가를 위해 3가지 비교 대상을 설정하였다. 기존의 모든 입력 프레임에서 4가지 인식기법을 모두 수행한 경우 (All frames, RP=4) 와 모든 입력 프레임의 실시간 처리를 위해 번호판 인식기법을 제외한 3가지 인식기법만 적용한 경우 (All frames, RP=3), 기존의 조건에 정적으로 프레임 제외를 수행하는 경우 (SFS, RP=4, FRskip=2), 그리고 제안한 동적 프레임 제외 기법을 적용한 경우 (DFS, RP=3-4, FRskip=0-2) 이다.
- 샘플 영상은 차량용 블랙박스에서 녹화된 영상이며, 각각 24FPS, MPEG-4의 압축포맷, WVGA (800×480)의 해상도를 갖는 10종류의 10초 영상을 대상으로 실험을 진행한다.
이론/모형
- Balisavira et al. [11]의 논문에서 도로에서 통과한 차량의 수를 측정하기 위한 정적 ROI 기법을 사용한다. 사량이 지나가는 도로 위의 일부 영역만 인식 처리를 수행하여 인식을 위한 처리량을 감소시켰다.
성능/효과
- 그림 3(a)에서 속도와 가속도 변화에 대해 나타내고 있으며, 안정적으로 증가 혹은 감소 추세를 갖는 속도에 맞게 가속도 변화도 함께 산출함에 따라 주행상태를 나타냄을 확인할 수 있다. 가속도보다 가속도 변화가 증감 추세를 바뀌는 순간을 인지하여 상태 전환에 이용되므로 더욱 적합함을 알 수 있다. 그림 3(b)는차량 트래픽 시뮬레이터를 이용하여 생성한 속도 값을 측정한 것으로 가속도 변화량을 계산하여 주행상태를 도출한 결과를 보이고 있다.
- 동적 프레임 제외 기법을 적용하여 전체 프레임 중 절반의 프레임을 처리하였을 때 약 3배의 처리성능의 향상을 확인하였으며 실시간 동작이 가능함을 보였다. 그와 함께 프레임 전체를 검색하지 않는 제안한 기법에서 전체를 탐색한 경우에 비해 미세한 인식률 변화를 확인하였다.
- 고성능 임베디드 AP인 테그라 K1 을 이용한 스마트 카메라 장치를 설계하고 각종 라이브 러리를 이용하여 그 성능을 극대화 하여 성능 테스트를 진행하였다. 동적 프레임 제외 기법을 적용하여 전체 프레임 중 절반의 프레임을 처리하였을 때 약 3배의 처리성능의 향상을 확인하였으며 실시간 동작이 가능함을 보였다. 그와 함께 프레임 전체를 검색하지 않는 제안한 기법에서 전체를 탐색한 경우에 비해 미세한 인식률 변화를 확인하였다.
- 여기서 앞선 동적 관심기법으로 인해 처리속도가 더욱 단축될 경우, 처리시간이 짧은 추가적인 인식기법을 수행할 수 있다. 따라서 제안한 동적 프레임 제외 기법으로 운행상황에 맞는 제외율을 적용하여 실시간 처리와 최대한 많은 수의 영상처리를 수행시킬 수 있다.
- 표 2와 3은 10초 길이의 영상에서 보행자, 차량 번호판에 대해 인식률(accuracy), 검출률(recall), 정확도 (precision)를 나타내는 결과를 보인다. 모든 영상처리 결과에서 인식률은 입력 프레임 경량화 기법의 적용에 따라 미세한 증감을 나타냈다. 동적 프레임 제외 기법을 적용한 경우에 인식률이 높게 나타나는 경우가 존재 했다.
- 그림 3(b)는차량 트래픽 시뮬레이터를 이용하여 생성한 속도 값을 측정한 것으로 가속도 변화량을 계산하여 주행상태를 도출한 결과를 보이고 있다. 속도에 따라 주행상태가 큰 틀에서 정해지고, 가속도 변화에 따라 주행상태가 미세하게 조절되는 것을 확인할 수 있다. 본 논문에서는 주행상태를 2종류로 분류하였으므로, α값을 1로 설정하고 해당 값에 대한 프레임 제외율을 기법의 처리시간에 맞춰 설정하였다.
- 제외율, 처리 종류에 따라 처리 수가 다르게 나타남을 확인할 수 있다. 실시간 처리가 가능한 결과 중에서 번호판 인식을 포기한 All frames (RP=3)의 인식 프레임 수가 가장 많음을 확인할 수 있다. 프레임 제외를 통해 4가지 기법을 모두 적용한 기법을 비교한 결과 동적 프레임 제외 기법이 더 많은 인식 프레임 수를 가짐을 확인 할 수 있었다.
- 반대로 대상의 움직임이 많은 경우 발견한 위치에서 이탈하게 될 경우 인식 실패로 처리하였다. 연속 수십 밀리 초 단위의 연속 프레임이므로 이전 프레임에서의 인식이 성공할 경우 다수의 제외 프레임에서도 인식 성공으로 반영될 가능성이 높아 제외한 경우에도 인식률이 크게 저하되지 않는 것을 확인할 수 있다. 많은 프레임을 처리하더라도 인식 성공률에 따라 더 많은 인식을 수행한 경우에도 더 많이 제외한 상황의 결과보다 낮은 성능을 보일수 있다.
- 번호판 인식 여부에 따라 처리속도가 미세하게 차이가 발생하나 비슷한 추세로 처리가 진행됨을 확인할 수있다. 위험주행상황인 5-7초 사이에 동적 프레임 제외율이 변경되며 정적으로 프레임 제외를 수행한 경우에 비해 더 많은 인식기법의 처리가 수행됨을 확인할 수있다. 표 1에서 각각의 경우에 따른 각 인식기법의 프레임 처리 수를 나타내고 있다.
- 본 장에서는 제안한 입력 프레임 경량화 기법의 성능 평가 내용을 다룬다. 입력 프레임 경량화 기법의 성능 평가를 위해 스마트 차량용 카메라 장치를 구현하였으며 해당 장치에서 다수의 인식기법을 적용하여 다수의 인식기법을 실시간으로 처리됨을 확인하였다.
- 그림 4(a)의 정적 프레임 제외 기법에서는 전체 기법을 하나의 트랜잭션 동작으로 두고 처리를 수행하여 전체 처리시간인 100ms 마다 한 프레임씩 처리하는 것을 확인할 수 있다. 정적 프레임 제외 기법 중 t+200ms 시점에서 동적 관심영역의 적용으로 처리시간이 단축되었음을 확인할 수 있다.
- 실시간 처리가 가능한 결과 중에서 번호판 인식을 포기한 All frames (RP=3)의 인식 프레임 수가 가장 많음을 확인할 수 있다. 프레임 제외를 통해 4가지 기법을 모두 적용한 기법을 비교한 결과 동적 프레임 제외 기법이 더 많은 인식 프레임 수를 가짐을 확인 할 수 있었다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.