[논문]AI 음성인식 기반 차량 인포테인먼트 포렌식 기술 동향

신영훈; 김민주; 정다안; 손태식

문제 정의

본 논문에서는 차량 인포테인먼트 시스템의 동향을 파악하고, OEM 인포테인먼트 시스템, Android Auto, Apple CarPlay를 대상으로 수행된 포렌식 연구를 설명하고 분석하였다. 이를 통해 차량 인포테인먼트 시스템을 대상으로 일반적인 파일시스템 포렌식 기법과 모바일 포렌식 기법이 적용 가능하다는 것을 도출하였고, 기존에 수행된 연구들의 보완점과 최근 늘어나고 있는 AI 음성인식 기반 차량 인포테인먼트 시스템을 대상으로 수행되어야 할 포렌식 연구 주제들을 다뤘다.
차량 인포테인먼트 시스템은 모바일 기기와 유사한 특징을 가져 모바일 포렌식에 사용되는 도구와 기법이 적용될 수 있다. 본 논문은 차량 인포테인먼트 시스템을 대상으로 수행된 포렌식 연구 분석을 통해 기존 연구에서의 주요 포렌식 기법과 보완점을 도출하고자 한다. 본 논문의 구성은 다음과 같다.
본 절에서는 Google에서 출시한 차량 인포테인먼트 시스템인 Android Auto를 대상으로 수행된 연구에 대해 다룬다. Sarah Edwards et al.
본 절에서는 OEM 차량 인포테인먼트 시스템을 대상으로 수행된 연구를 다룬다. Ford SYNC 1세대와 2세대를 대상으로 수행된 Jesse Lacroix et al.
Jesse Lacroix et al.은 Ford의 음성인식 인포테인먼트 시스템 SYNC 1세대와 2세대의 데이터를 획득하고 해당 시스템에 저장된 아티팩트를 도출하는 연구를 수행하였다. 논리적 데이터 획득 기법과 하드웨어 인터페이스인 JTAG 포트를 사용해 Ford f-150 차량에 탑재된 SYNC의 데이터를 획득할 수 있음을 보였으며, 이후 수집한 덤프 이미지를 대상으로 Encase, FTK(Forensic Toolkit), Autopsy 등의 상용 디지털 포렌식 도구를 사용하여 포렌식 분석을 수행했다.

제안 방법

GMC Yukon Denali와 닛산 Sentra 차량과 연결했던 Samsung J7 Prime으로부터 앱 데이터를 획득한 후, 앱 디렉토리에 저장된 xml, database 파일에 대해 분석을 수행하였다. Android Auto 앱 디렉토리에 저장된 파일들을 분석하여 마지막 앱 사용 시간, 계정 연결 로그, 블루투스 연결 정보, 블루투스 설정 정보, 연결된 당시 지역의 날씨 등의 아티팩트를 도출하였다. 앱 디렉토리에 저장된 파일을 분석하는 과정에서 스마트폰의 연락처를 차량과 동기화하는 로그를 발견하였고, 차량에 연락처 정보가 저장될 수 있다고 언급하였다.
1 버전의 탈옥된 아이폰 X로부터 앱 데이터를 획득한 후, 기기에 저장된 plist, database 파일에 대해 분석을 수행하였다. Apple CarPlay 관련 database 파일을 분석하여 기기 연결 정보 및 CarPlay 설정 정보를 도출하였다. 또한 메시지, 시리, 위치 등 다양한 앱 분석을 통해 송수신한 메시지 내용, 시리 이용 기록, 사용한 앱 기록, 현재 위치, 차량의 이동 상태 및 속도 등의 아티팩트를 도출하였다.
은 Android Auto 뿐만 아니라 Apple CarPlay와 연동된 스마트폰 앱에 대해 일반적인 iOS 포렌식 기법을 적용하여 스마트폰에 저장된 아티팩트를 도출하였다. Audi S3 차량과 연결했던 iOS 12.1.1 버전의 탈옥된 아이폰 X로부터 앱 데이터를 획득한 후, 기기에 저장된 plist, database 파일에 대해 분석을 수행하였다. Apple CarPlay 관련 database 파일을 분석하여 기기 연결 정보 및 CarPlay 설정 정보를 도출하였다.
은 Android Auto와 연동된 스마트폰 앱에 대해 일반적인 안드로이드 포렌식 기법을 적용하였다. GMC Yukon Denali와 닛산 Sentra 차량과 연결했던 Samsung J7 Prime으로부터 앱 데이터를 획득한 후, 앱 디렉토리에 저장된 xml, database 파일에 대해 분석을 수행하였다. Android Auto 앱 디렉토리에 저장된 파일들을 분석하여 마지막 앱 사용 시간, 계정 연결 로그, 블루투스 연결 정보, 블루투스 설정 정보, 연결된 당시 지역의 날씨 등의 아티팩트를 도출하였다.
Cohen은 SYNC 3세대가 탑재된 Ford 차량을 대상으로 포렌식 연구를 수행하였으며, 포렌식 관점에서 유의미한 정보를 획득할 수 있는 SYNC 모듈과 헤드 유닛의 데이터를 획득하기 위해 다양한 기법을 사용하였다. SYNC 모듈의 다양한 정보가 저장되는 NAND Flash의 데이터를 획득하기 위해 하드웨어 인터페이스인 USB 포트 및 JTAG 포트를 사용했으며 Chip-off 기법을 통한 NAND Flash의 데이터의 획득 또한 가능하 다고 언급했다. 이후 수집한 데이터를 분석하여 페어링된 기기의 블루투스 연결 정보, 연락처, 전화 기록, SMS 메시지 등의 아티팩트를 도출했다.
은 Ford의 음성인식 인포테인먼트 시스템 SYNC 1세대와 2세대의 데이터를 획득하고 해당 시스템에 저장된 아티팩트를 도출하는 연구를 수행하였다. 논리적 데이터 획득 기법과 하드웨어 인터페이스인 JTAG 포트를 사용해 Ford f-150 차량에 탑재된 SYNC의 데이터를 획득할 수 있음을 보였으며, 이후 수집한 덤프 이미지를 대상으로 Encase, FTK(Forensic Toolkit), Autopsy 등의 상용 디지털 포렌식 도구를 사용하여 포렌식 분석을 수행했다. 이를 통해 인포테인먼트 시스템에 연결된 기기 목록, 전화번호부, 설정, 로그 정보 등 다양한 아티팩트를 도출함으로써 차량 인포테 인먼트 시스템에도 일반적인 파일시스템 포렌식 기법이 적용될 수 있음을 보였다.
Amit Kr Mandal et al.는 Android Auto 앱의 취약점 분석을 통해 외부 파일 접근, 파일 쓰기 권한, 암호화, IP 네트워킹, 미디어 자동 플레이, 음성 명령 등 9가지의 잠재적인 보안 위협을 식별하였다. 식별한 보안 위협을 분석하기 위해 JuliaSoft의 Dalvik Bytecode 분석 라이브러리인 The Julia Static Analyzer를 기반으로 Android Auto 앱 정적 분석기 Android Auto Checker 를 제안했다.
Apple CarPlay 관련 database 파일을 분석하여 기기 연결 정보 및 CarPlay 설정 정보를 도출하였다. 또한 메시지, 시리, 위치 등 다양한 앱 분석을 통해 송수신한 메시지 내용, 시리 이용 기록, 사용한 앱 기록, 현재 위치, 차량의 이동 상태 및 속도 등의 아티팩트를 도출하였다. 특히 앱 사용 정보와 위치 정보에 정확한 타임스탬프가 기록되어 있어 이를 토대로 타임라인 기반 포렌식을 수행할 수 있으며, 이는 포렌식 수사 시 증거로서 활용될 수 있음을 언급하였다.
앱 디렉토리에 저장된 파일을 분석하는 과정에서 스마트폰의 연락처를 차량과 동기화하는 로그를 발견하였고, 차량에 연락처 정보가 저장될 수 있다고 언급하였다. 또한 메시지, 전화, 구글 지도 앱 디렉토리에 저장된 파일들을 분석하여 통화 시간, 메시지 전송 내용, 구글 지도 앱의 TTS(Text-To-Speech) 사용 기록 등의 아티팩트를 도출하였다.
본 장에서는 다양한 차량 인포테인먼트 시스템을 대상으로 수행된 포렌식 연구들을 통해 AI 음성인식 기반 차량 포렌식 방안에 대해 다룬다.
과거의 차량 인포테인먼트 시스템들은 제조사에서 직접 개발하여 탑재되었지만, 최근의 인포테인먼트 시스템들은 OEM 인포테인먼트 시스템에 아마존 알렉사와 같은 음성 인식 서비스, Android Auto, Apple CarPlay 등의 플랫폼을 연계하여 스마트폰 및 음성으로 차량을 제어할 수 있는 기능을 제공한다. 본 장에서는 제조사에서 직접 개발한 OEM 인포테인먼트 시스템, GENIVI Alliance, 오픈 플랫폼인 Android Auto와 Apple CarPlay에 대해서 다룬다.
는 Android Auto 앱의 취약점 분석을 통해 외부 파일 접근, 파일 쓰기 권한, 암호화, IP 네트워킹, 미디어 자동 플레이, 음성 명령 등 9가지의 잠재적인 보안 위협을 식별하였다. 식별한 보안 위협을 분석하기 위해 JuliaSoft의 Dalvik Bytecode 분석 라이브러리인 The Julia Static Analyzer를 기반으로 Android Auto 앱 정적 분석기 Android Auto Checker 를 제안했다. Android Auto Checker는 앱 소스코드 난독화로 인한 정적 분석의 어려움을 Julia Bytecode 표현을 통해 해결하며, 취약점이 존재하는 API를 사용하는지 식별한다.
Sarah Edwards et al.은 Android Auto 뿐만 아니라 Apple CarPlay와 연동된 스마트폰 앱에 대해 일반적인 iOS 포렌식 기법을 적용하여 스마트폰에 저장된 아티팩트를 도출하였다. Audi S3 차량과 연결했던 iOS 12.
Sarah Edwards et al.은 Android Auto와 연동된 스마트폰 앱에 대해 일반적인 안드로이드 포렌식 기법을 적용하였다. GMC Yukon Denali와 닛산 Sentra 차량과 연결했던 Samsung J7 Prime으로부터 앱 데이터를 획득한 후, 앱 디렉토리에 저장된 xml, database 파일에 대해 분석을 수행하였다.
OEM 인포테인먼트 시스템을 대상으로 수행된 연구에서는 데이터 수집을 위해 물리적/논리적 방법, Chip-off, 하드웨어 인터페이스(USB, JTAG)를 활용하였다. 이후 Encase와 같은 상용 포렌식 도구를 사용한 포렌식 분석을 수행하였다. 이를 통해 차량 인포테인먼트 시스템을 대상으로 일반적인 파일시스템 포렌식을 적용할 수 있음을 보였다.
SYNC 모듈의 다양한 정보가 저장되는 NAND Flash의 데이터를 획득하기 위해 하드웨어 인터페이스인 USB 포트 및 JTAG 포트를 사용했으며 Chip-off 기법을 통한 NAND Flash의 데이터의 획득 또한 가능하 다고 언급했다. 이후 수집한 데이터를 분석하여 페어링된 기기의 블루투스 연결 정보, 연락처, 전화 기록, SMS 메시지 등의 아티팩트를 도출했다. 또한, 헤드 유닛의 다양한 정보가 저장되는 하드 드라이브의 데이터를 획득하기 위해 업데이트 프로세스 익스플로잇 기법 및 하드웨어 펌웨어 Reflash 기법을 사용하였다.
이외에도 일반적인 하드 드라이브 덤프 기법을 통해서도 헤드 유닛의 데이터를 획득할 수 있음을 언급하였다. 이후 획득한 데이터를 분석하여 주행 정보, 위치 정보, 목적지 목록 등의 내비게이션 정보 등 다양한 아티팩트를 도출하였다.

대상 데이터

Android Auto와 Apple CarPlay를 대상으로 수행된 연구에서는 기기 데이터 수집을 위해 루팅 및 탈옥된 기기를 사용하였다.

이론/모형

기존에 수행된 연구들은 차량 인포테인먼트 시스템과 모바일 기기가 유사한 특징을 가지는 점을 이용해 일반적인 모바일 포렌식 기법과 파일시스템 포렌식 기법을 적용하였다. OEM 인포테인먼트 시스템을 대상으로 수행된 연구에서는 데이터 수집을 위해 물리적/논리적 방법, Chip-off, 하드웨어 인터페이스(USB, JTAG)를 활용하였다. 이후 Encase와 같은 상용 포렌식 도구를 사용한 포렌식 분석을 수행하였다.
이후 수집한 데이터를 분석하여 페어링된 기기의 블루투스 연결 정보, 연락처, 전화 기록, SMS 메시지 등의 아티팩트를 도출했다. 또한, 헤드 유닛의 다양한 정보가 저장되는 하드 드라이브의 데이터를 획득하기 위해 업데이트 프로세스 익스플로잇 기법 및 하드웨어 펌웨어 Reflash 기법을 사용하였다. 이외에도 일반적인 하드 드라이브 덤프 기법을 통해서도 헤드 유닛의 데이터를 획득할 수 있음을 언급하였다.

성능/효과

이후 제안한 도구를 사용해 Android Auto 앱 정적 분석을 수행한 결과, 대부분의 앱이 취약점이 존재할 수 있는 Entrypoint를 가지고 있다고 언급하였다. 또한 구글 플레이스토어에 등록된 Android Auto 앱의 약 80%가 잠재적인 보안 위협을 가지며, 이 중 25%의 경우 Javascript 취약점을 가지고 있음을 보였다.
논리적 데이터 획득 기법과 하드웨어 인터페이스인 JTAG 포트를 사용해 Ford f-150 차량에 탑재된 SYNC의 데이터를 획득할 수 있음을 보였으며, 이후 수집한 덤프 이미지를 대상으로 Encase, FTK(Forensic Toolkit), Autopsy 등의 상용 디지털 포렌식 도구를 사용하여 포렌식 분석을 수행했다. 이를 통해 인포테인먼트 시스템에 연결된 기기 목록, 전화번호부, 설정, 로그 정보 등 다양한 아티팩트를 도출함으로써 차량 인포테 인먼트 시스템에도 일반적인 파일시스템 포렌식 기법이 적용될 수 있음을 보였다.
본 논문에서는 차량 인포테인먼트 시스템의 동향을 파악하고, OEM 인포테인먼트 시스템, Android Auto, Apple CarPlay를 대상으로 수행된 포렌식 연구를 설명하고 분석하였다. 이를 통해 차량 인포테인먼트 시스템을 대상으로 일반적인 파일시스템 포렌식 기법과 모바일 포렌식 기법이 적용 가능하다는 것을 도출하였고, 기존에 수행된 연구들의 보완점과 최근 늘어나고 있는 AI 음성인식 기반 차량 인포테인먼트 시스템을 대상으로 수행되어야 할 포렌식 연구 주제들을 다뤘다.
이후 Encase와 같은 상용 포렌식 도구를 사용한 포렌식 분석을 수행하였다. 이를 통해 차량 인포테인먼트 시스템을 대상으로 일반적인 파일시스템 포렌식을 적용할 수 있음을 보였다. Android Auto와 Apple CarPlay를 대상으로 수행된 연구에서는 기기 데이터 수집을 위해 루팅 및 탈옥된 기기를 사용하였다.
Android Auto와 Apple CarPlay를 대상으로 수행된 연구에서는 기기 데이터 수집을 위해 루팅 및 탈옥된 기기를 사용하였다. 이후 수집한 데이터를 대상으로 일반적인 모바일 포렌식 기법을 적용해 차량 사용자에 대한 다양한 정보를 도출할 수 있음을 보였다. 이는 Android Auto와 Apple CarPlay가 안드로이드 및 iOS 기기와 연결되어 동작하기 때문이며, 최근에는 OEM 인포테인먼트 시스템 또한 Android Auto 및 Apple CarPlay 플랫폼을 지원하기 때문에 모바일 포렌식 기법의 중요성이 더욱 증가할 것이다.
의 연구에서 제안한 정적 분석 도구 Android Auto Checker를 사용하기 위해서는 일반적인 안드로이드 앱 디컴파일 분석 기법과 동일하게 apktool과 dex2jar 도구가 사용된다. 이후 제안한 도구를 사용해 Android Auto 앱 정적 분석을 수행한 결과, 대부분의 앱이 취약점이 존재할 수 있는 Entrypoint를 가지고 있다고 언급하였다. 또한 구글 플레이스토어에 등록된 Android Auto 앱의 약 80%가 잠재적인 보안 위협을 가지며, 이 중 25%의 경우 Javascript 취약점을 가지고 있음을 보였다.
또한 메시지, 시리, 위치 등 다양한 앱 분석을 통해 송수신한 메시지 내용, 시리 이용 기록, 사용한 앱 기록, 현재 위치, 차량의 이동 상태 및 속도 등의 아티팩트를 도출하였다. 특히 앱 사용 정보와 위치 정보에 정확한 타임스탬프가 기록되어 있어 이를 토대로 타임라인 기반 포렌식을 수행할 수 있으며, 이는 포렌식 수사 시 증거로서 활용될 수 있음을 언급하였다.

후속연구

이와 같은 배경에서 AI 스피커를 대상으로는 기기 내에 저장된 음성 답변 파일 및 기기 사용 기록과 웹프록시를 사용해 클라우드에 저장되어 있는 음성명령 기록을 획득하는 연구가 이미 수행된 바 있다[9]. 차량 인포테인먼트 시스템 또한 기기 내에 저장된 음성 파일 및 음성 명령 기록 저장 여부에 대한 포렌식 연구도 필수적으로 수행되어야 한다. 마지막으로 개인정보보호 관점에서 차량 및 스마트폰 앱이 클라우드와 통신하는 과정에서 주고받는 정보와 클라우드에 저장되는 정보를 파악하기 위한 포렌식 연구는 아직 수행된 바 없다.
AI 음성인식 기반 차량 인포테인먼트 시스템의 사용자 수는 5G와 커넥티드 카의 활성화에 따라 점차 증가할 것이고, 이에 대한 포렌식의 중요성 또한 같이 높아질 것이다. 차량 인포테인먼트 시스템 시장이 빠르게 변화하는 추세에 맞춰 다양한 포렌식 연구가 수행되어야 할 것이다.
마지막으로 개인정보보호 관점에서 차량 및 스마트폰 앱이 클라우드와 통신하는 과정에서 주고받는 정보와 클라우드에 저장되는 정보를 파악하기 위한 포렌식 연구는 아직 수행된 바 없다. 최근 아마존 알렉사, 네이버 클로바를 비롯한 AI 스피커가 사용자의 음성 데이터를 머신러닝을 위해 클라우드에 저장하고 있었던 사례에서 볼 수 있듯이[10], 차량 및 클라우드에 저장되는 정보들의 저장 기간, 저장 유무, 암호화해야 하는 정보들에 대한 연구가 수행되어야 할 것이다.

핵심어	질문	논문에서 추출한 답변
	과거와 비교해 최근의 인포테인먼트 시스템은 어떤 기능을 제공하고 있는가?	최근 현대, 아우디, 폭스바겐 등 다양한 제조사의 차량들은 인포테인먼트 시스템을 기본적으로 탑재하여 출시된다1). 과거의 차량 인포테인먼트 시스템들은 제조사에서 직접 개발하여 탑재되었지만, 최근의 인포테인먼트 시스템들은 OEM 인포테인먼트 시스템에 아마존 알렉사와 같은 음성 인식 서비스, Android Auto, Apple CarPlay 등의 플랫폼을 연계하여 스마트폰 및 음성으로 차량을 제어할 수 있는 기능을 제공한다. 본 장에서는 제조사에서 직접 개발한 OEM 인포테인먼트 시스템, GENIVI Alliance, 오픈 플랫폼인 Android Auto와 Apple CarPlay에 대해서 다룬다.
	AI 음성인식 기반 차량 인포테인먼트 시스템이 차량 및 스마트폰 사용자에 대한 다양한 정보가 저장 될 경우 어떤 문제가 발생할 수 있는가?	AI 음성인식 기반 차량 인포테인먼트 시스템은 스마트폰과 연결되며 음성인식 서비스를 제공하는 등 사용자에게 편리함을 제공하지만, 차량 및 스마트폰에 사용자에 대한 다양한 정보가 저장 될 가능성이 있다. 이는 데이터 보안, 개인 정보 보호 등의 문제로 이어질 수 있다. 포르쉐는 Android Auto가 활성화 될 때마다 전체 OBD2 덤프 데이터를 전송하기 때문에, 데이터 보안 및 개인정보보호를 위해 2017년에 출시할 차량에 Android Auto 대신 Apple CarPlay만을 지원한다고 밝힌 바 있다[1].
	GENIVI Alliance란 무엇인가?	GENIVI Alliance(이하 GENIVI)는 차량 인포테인먼트 시스템 및 커넥티드 차량 솔루션을 위한 플랫폼을 개발 및 표준화를 주도하는 공개 커뮤니티이다. GENIVI는 2009년 3월 2일 BMW Group, Delphi, GM, Intel, Magneti-Marelli, PSA Peugeot Citroen, Visteon 및 Wind River Systems에 의해 설립되었다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] AI 음성인식 기반 차량 인포테인먼트 포렌식 기술 동향 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] AI 음성인식 기반 차량 인포테인먼트 포렌식 기술 동향 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

손태식 (58)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

초록
AI-Helper

AI 본문요약
AI-Helper