초록 ▼

3. 개발결과 요약
핵심기술
차량 위치 측정 기술, 데이터 수집 브로커링 기술, 영상 보정 및 화질 향상 기술, 영상의 특징 추출, 정합, 추적 기술, 3차원 시뮬레이션 기술

최종목표
사고 현장 주변의 단일차량 또는 공간적으로 인접한 다수의 차량에서 촬영된 영상을 수집한 후 정합하고 3차원 영상기반 모델링 및 영상 기반 렌더링을 통해 사고 상황을 3차원 시뮬레이션 재구성 하는 기술 개발
1. 다차원영상의 영상화질 개선 참값대비 : 40dB
2. 다시점 블랙박스 카메라의 기하보정 %오차(영상대각

3. 개발결과 요약
핵심기술
차량 위치 측정 기술, 데이터 수집 브로커링 기술, 영상 보정 및 화질 향상 기술, 영상의 특징 추출, 정합, 추적 기술, 3차원 시뮬레이션 기술

최종목표
사고 현장 주변의 단일차량 또는 공간적으로 인접한 다수의 차량에서 촬영된 영상을 수집한 후 정합하고 3차원 영상기반 모델링 및 영상 기반 렌더링을 통해 사고 상황을 3차원 시뮬레이션 재구성 하는 기술 개발
1. 다차원영상의 영상화질 개선 참값대비 : 40dB
2. 다시점 블랙박스 카메라의 기하보정 %오차(영상대각선길이 대비) : 0.3%
3. 모델기반 영상 추적 및 정합 평균추적 정확도 : 77(Average precision)
4. 블랙박스 영상 및 센서데이터의 브로커링 초당트랜젝션수 : 10(tps)
5. 위치정확도 개선 : 1.5m

개발내용 및 결과
[아진산업]
○ 양방향 통신 및 다중센서 기반의 블랙박스 플랫폼 개발
- 지상파 DMB와 이동통신망을 통한 고 정밀 DGPS 보정 신호의 수신이 가능한 양방향 통신 및 다중센서 기반의 다시점 블랙박스 모듈 개발
- 양방향 통신 및 다중센서 기반의 다시점 블랙박스의 동작 구현 및 고 정밀 영상 정합을 위한 Low Level 소프트웨어 개발
- 차량의 내부 네트워크에 접속하여 주행 정보 및 상태 정보를 수집하는 내외부 네트워크 인터페이스 모듈 설계 및 구현
- 영상 및 다중센서 정보의 녹화 및 전송을 위한 SW Framework 라이브러리 개발
- 다채널의 영상과 다중센서의 시간 동기화 검증
- DGPS 기능을 포함한 통합 어플리케이션 설계/개발
- SW 플랫폼 기반 어플리케이션 모듈 공용화 및 재사용화 기술 적용
- 상용화를 위한 제품 위치 선정 및 실차 기반 테스트
- 통합 ECU 신뢰성 및 공인 인증 테스트
[YTN DMB]
○ 고정밀 영상 정합을 위한 차량 위치 측정 기술
- DGPS 방송용 보정정보 서버 구축 및 DGPS 전용 스토리지 시스템 개발
- 실험방송 서비스를 위한 채널 효율화 및 활용 방안 수립하고 고정밀 측위용 방송·통신 DGPS 송출시스템(DGPS 편성 관리 프로그램 및 통신 송출 프로그램) 기술개발
- DMB 수신기를 활용하여 위치보정정보 송수신 데이터 검증용 PC 기반 기준 수신시스템 개발
- 방송·통신 데이터 통합 TPEG-DGPS 및 DGPS 데이터의 앙상블 선택, 서비스채널 선택, 스트리밍포트지정 후 TPEG-DGPS 규격 및 통신망 규격 디코더 시스템 기술 개발
- 보정정보 RTCM (Real-time Correction Messages) 인코딩 하여 교통정보 서비스를 제공하는 데 있어 MOT 채널을 통해 제공하는 TPEG 신호에 RTCM 정보를 함께 제공 하는 시스템 기술 개발
- TPEG-DGI 포맷을 복호화 하여, 방송·통신 DGPS 보정정보 수신시스템에 RTCM 인코더기능 구현 후 오픈플랫폼에서 적용할 수 있도록 하는 RTCM 인코딩 API를 개발
- 방송망에서 수신 받은 DGPS 보정정보 데이터를 기준 수신시스템에 RTCM 데이터로 입력 하여 DGPS 가 적용된 NMEA 로그를 저장하는 기능 개발
- YTNDMB 의 DGPS 채널을 통한 실험방송을 통해 기술의 효용성을 검증하고, 필드 수신환경에서 단말기 성능 테스트 및 역호환성 검증 테스트 환경을 제공 을 진행
- DGPS 위치 보정정보의 정확도 측정(통합기준점을 활용한 지속적인 측정) 측정된 결과에 따른 공인 시험 인증서 발급
[인하대학교]
○ 시공간적 태깅 인터페이스 및 Annotation Tool 개발
- 블랙박스 내 센서(GPS, IMU, 카메라)에 의해 취득된 데이터의 시간 동기화를 위해 각 센서의 수치 및 주변 정보를 동시에 제공해주는 Annotation Tool을 개발
- GPS의 좌표와 속도, 3축가속도의 변화, 영상의 변화를 통해 사용자에 시공간 동기화에 필요한 정보를 직관적인 형태로 전달 가능
- 이를 통해 각 센서의 시공간적 태깅 및 시간동기화를 수행
○ 다시점 블랙박스 영상의 흔들림 보정 기술 개발
- 이기종 블랙박스의 다시점 영상들에 대한 수직 및 회전 흔들림 보정 기술을 개발
- 영역별 히스토그램 특징 분석을 통해 선형 회귀모델 기반의 모션 파라미터를 추출하였고, 이를 기반으로 영상의 수직 흔들림 뿐만 아니라 좌우로 발생하는 회전 흔들림에 대해서도 빠른 속도로 보정
- 통계적 분석을 이용하여 다양한 환경에서 안정적인 성능을 보임
○ 다시점 블랙박스 영상의 dynamic range 보정 및 향상 기술 개발
- 단일 영상을 이용하여 HDR 기술 기반의 영상 톤 보정 기술을 개발
- 이를 위해 빛에 대한 반응성 로그함수를 설계하고 감마 보정을 이용한 영상 밝기를 향상.
- 밝은 영역의 디테일이 보존될 수 있는 기술을 개발
- 이를 통해 육안에 가까운 톤을 보유한 영상을 생성하며, 이기종 카메라의 다양한 스펙과 촬영환경에서 보다 안정적인 특징추출을 수행
○ 블랙박스 영상 및 데이터 브로커링 기술을 위한 핵심 기술 개발
- 다시점 블랙박스 영상을 이용하여 교통 사고현장을 3차원으로 재구성하기 위해 복수의 블랙박스로부터 영상 및 센서 데이터를 실시간 또는 근 실시간으로 수집, 분석 및 배포하는 브로커링 기술 개발
- 다기종 블랙박스로부터 유, 무선으로 영상 및 센서 데이터를 획득하기 위해 표준화된 전송 규격 또는 각 기종의 블랙박스로부터 영상 및 센서 데이터를 브로커에 전송할 수 있는 전용 미들웨어 개발
- 브로커가 실시간 또는 근실시간으로 교통 사고현장을 3차원으로 재구성하기 위한 영상 및 센서 데이터를 제공하기 위해 다시점 영상의 검색, 각 블랙박스 영상의 궤적관리 및 궤적관련 시공간 질의를 효율적으로 처리하기 위한 시공간 색인 기법의 연구 및 적용
- 블랙박스 영상으로부터 수집된 교통정보, 기상상황, 주변차량번호 등으로부터 도난차량의 위치, 도로 정체 상황 등 유용한 정보를 추출해 내기 위한 데이터 마이닝 기법을 개발
○ 다시점 블랙박스 영상의 톤 안정화 기술 개발
- 급격한 톤 변화 환경 (ex. 터널 통과)에 의한 블랙박스 영상의 상이한 톤을 보정하는 자동화 알고리즘 개발
- K-means 클러스터링 기법을 이용한 안정화된 프레임 자동 선별 및 해당 프레임을 이용한 주변 프레임의 톤 안정화 기술 개발
○다시점 블랙박스 영상의 반사영상 제거 기술 개발
- 차량의 전면 유리에 의한 반사는 블랙박스 영상 간의 특징 추출 및 정합 성능을 저하를 야기하는 주요 요인을 제거하기 위한 블랙박스 영상 내 차량 내부 반사영상을 제거하는 알고리즘 개발
- 평균 영상을 이용한 블랙박스 영상에 적합한 새로운 prior 제안
- 배경과 반사 영상의 gradient 분포 차를 이용한 반사제거 기법 개발
○Wide-baseline 영상 및 블러에 강인한 특징 추출 및 정합 모듈 개발
- 지역 그래프 기반의 Wide-baseline 영상에 강인한 특징 정합 기술 개발
- 투영기법을 이용하여 블러에 강인한 특징 기술 개발
- Wide-baseline 영상에 대하여 다양한 기존 특징 정합 및 기술 기법들의 성능 비교
[한양대학교]
○ 다시점 블랙박스 영상 기반 궤적 복원 알고리즘 개발
- 블랙박스 카메라에서 취득된 영상을 기반으로 차량의 3차원 위치, 자세 및 궤적을 복원하는 monocular visual odometry 개발
- 영상의 2차원 특징점(코너점)을 기반으로 3차원 맵을 복원하는 기술 개발
- 영상 내 서로 다른 움직임을 갖는 객체를 검출하여 추정하는 차량 궤적의 정밀도를 향상시키는 알고리즘 연구 및 적용
- DGPS센서 정보를 분석하여 차량의 3차원 위치, 자세 및 궤적을 고정밀도로 복원하고 실제 거리와 스케일을 추정하는 전역적 퓨전 최적화 알고리즘 개발
- 이기종 다시점 카메라의 관계를 영상 기반으로 찾는 scene matching 알고리즘과 정의된 관계를 바탕으로 동일한 좌표계 상에서 궤적을 고정밀도로 복원하는 알고리즘 개발
- 멀티쓰레딩 기법을 통해 하나의 프로세서에서 처리되는 과부하를 줄이고 병렬적으로 처리하는 시스템 개발
○ 영상 기반 객체 추적 및 모델 기반 3차원 자세 추정 알고리즘 개발
- 2차원 영상 내 관심객체 추적알고리즘 개발
- 영상 내 추적된 객체에 대하여 CAD모델을 통한 3차원 자세 추정 알고리즘 개발
○ 다시점 블랙박스 카메라 기하보정 개발
- 본 과제에서 사용하는 화각이 큰 어안렌즈 카메라의 내부 파라메터 추정 알고리즘 개발
- 내부 파라메터 및 왜곡 계수를 최적화 알고리즘 연구 및 다시점 블랙박스 영상 기반 궤적 복원 알고리즘에 적용
○ 사고 상황을 정확히 보여주는 동역학 분석 시스템
- 물리 시뮬레이션으로 충돌 현장을 재현하여 물리법칙에 맞는 사실적인 사고 장면을 시각화를 함.
- 물리 시뮬레이션에 차량의 경로를 대입하며 발생된 차량들의 충돌 경로와의 오차율을 경로 최적화 기법을 사용하여 줄임.
- 사고 상황에서 차량의 충돌로 인한 차체의 국지적인 변형(찌그러짐 등)울 시뮬레이션에 시각화.
- 블랙박스 영상과 다른 차량에서 찍은 영상을 3차원 재구성된 장면과 동기화 되게 재생, 차량 충돌을 3차원으로 구성하여 3D상으로 사용자가 원하는 시점에서 충돌 장면을 확인 할 수 있는 기술 개발.
- 보험, 합의비, 법적 문제 등 Digital forensic에 필요한 사고 정황 정보(충격량, 속도, 마찰력)를 시각화한 계기판 UI를 개발.
[오토아이티]
○ 보안 네트워크 기반 영상 검색 및 재생 서비스
- 블랙박스로부터 무선으로 영상 및 센서 데이터를 획득하기 위해 표준화된 전송 규격 또는 각 기종의 블랙박스로부터 영상 및 센서 데이터를 브로커에 안전하게 전송할 수 있는 전용 보안 서버 개발
- 블랙박스로부터 오는 대용량 데이터들을 저장하고, 사고를 감지하여 실시간으로 브로커 서버로 전달 또는, 브로커 서버의 요청(시공간 검색, 영상 다운로드 등)에 대응할 수 있는 API 개발

기술개발 배경
○ 2013년 차량용 블랙박스 보급률은 약 10%정도였으며 2015년 약 30%로 추정되고 있음, 이처럼 블랙박스의 보급률이 급격하게 늘어나고 있는 가장 큰 이유는 예기치 않은 교통사고와 그에 대한 분쟁이 늘어나면서 시비를 가리기 위한 사고 현장의 정확한 원인 분석에 대한 수요가 급증하고 있기 때문임. 그러나 고정시점의 블랙박스 영상은 2차원의 평면적 정보를 제공하기 때문에 정확한 교통사고 현장의 분석에 한계가 존재함. 다시점 블랙박스 영상으로부터 교통사고 현장을 시공간 정보가 연계된 3차원 정보로 재구성할 수 있으며 보다 정확한 사고현장 분석이 가능함
○ 블랙박스는 단순한 사고 현장 영상 기록 장치뿐만 아니라 시공간 정보와 통신 기술을 연계한 다차원적 소스를 제공하는 장치로 자리 잡을 가능성이 높음
○ 기존의 TV 교통사고 뉴스는 3차원 컴퓨터 그래픽을 이용하여 가상의 교통사고 상황을 표현하여 교통사고에 대한 정보를 전달하였으나, 블랙박스 보급이 활성화 된 이후, 실제 사고 장면을 담은 블랙박스 영상이 컴퓨터 그래픽을 이용한 가상의 사고 장면을 대신하게 됨 - 그러나 다중 추돌 사고와 같이 많은 차량이 사고에 연관되어 있는 경우, 하나의 블랙박스 영상으로 사고에 대한 정보를 확인하는데 한계가 있음
○ 그러므로 기존의 여러 개의 2차원 영상과 사고차량들의 위치, 움직임 등을 이용하여 사고 상황을 3차원으로 복원하고, 이를 이용하여 사고의 정보를 한눈에 알기 쉽게 파악할 수 있음

핵심개발 기술의 의의
○ 본 과제에서는 단일 또는 공간적으로 인접한 차량의 다시점 블랙박스 영상과 위치 정보에서 차량의 자세, 위치, 궤적을 분석하여 물리 시뮬레이션을 통해 3차원 맵에 재구성 하는 시스템을 개발하였음. 본 과제의 시스템의 정확도를 높이기 위해 차량의 블랙박스 영상에 발생하는 흔들림, 반사영상, 영상 톤 보정 등 블랙박스의 영상 화질 개선 기술을 개발 하였고, 지상파 DMB 방송을 통한 DGPS 고 정밀 위치 측위 기술을 블랙박스에 국내 최초로 적용하여 브로커 서버의 영상 수집과 차량 정보 분석 결과 및 3D 재구성 시뮬레이션 결과의 정확도를 높였음. 향후 Connected vehicle 기술의 발달과 지능형 교통 인프라가 구축되면 사고 상황의 3D 재구성 기술을 통해 경찰청, 보험사 등에서 교통 사고조사에 사용되는 사회적 비용의 절감 효과를 기대 할 수 있음.

적용 분야
컴퓨터비전, 블랙박스, GPS, 이미지 프로세싱, 네트워크 보안 솔루션, 브로커링, 컴퓨터 그래픽스

목차 Contents

• 표지 ... 1
• 제출문 ... 2
• 정보통신·방송 기술개발사업 최종보고서 초록 ... 8
• 정보통신·방송 기술개발사업 주요 연구성과 ... 23
• 목차 ... 38
• 제 1 장 서론 ... 39
• 제 1 절 과제의 개요 ... 39
• 제 2 장 과제 수행의 내용 및 결과(기술개발 내용 및 방법) ... 51
• 제 1 절 최종 목표 및 평가 방법 ... 51
• 제 2 절 단계 목표 및 평가 방법 ... 53
• 제 3 절 연차별 개발 내용 및 개발 범위 ... 60
• 제 4 절 수행 결과의 보안등급 ... 91
• 제 5 절 유형적 발생품(연구시설, 연구장비 등) 구입 및 관리 현황 ... 92
• 제 3 장 결과 및 사업화 계획 ... 93
• 제 1 절 연구개발 최종 결과 ... 93
• 1. 연구개발 추진 일정 ... 93
• 2. 연구개발 추진 실적 ... 99
• 3. 기술개발 결과 유형 및 무형 성과 ... 197
• 제 2 절 연구 개발 추진 체계 ... 216
• 1. 기술 개발 추진 체계 ... 216
• 2. 기술개발팀 편성도 ... 219
• 제 3 절 시장 현황 및 사업화 전망 ... 220
• 제 4 절 고용 창출 효과 ... 236
• 제 5 절 자체 보안 관리 진단표 ... 237
• 부록 ... 238
• 끝페이지 ... 240