[논문]스마트시티를 위한 시각데이터의 활용

김선호

문제 정의

가장 간단한 방법은 육안 검사이나 비용이 많이 들고 시간이 많이 걸리기 때문에 효율적이지 못하다. 따라서 연구자들은 진동 기반, 레이저 스캔 기반 및 이미지 기반 방법을 포함하여 자동 도로 손상 검사를 위한 여러 솔루션을 개발해왔다. 진동 방법이나 레이저 스캐닝 방법은 도로 상태에 대한 정확한 정보를 제공하지만 비용이 많이 들고 특히 도로 폐쇄가 필요한 것이 문제이다.
특히 제안된 플랫폼은 이미지가 기록된 곳의 위치 정보가 대부분의 스마트시티 애플리케이션에서 중요하며 협업자들 간의 데이터 관리 및 공유에 있어 근본적인 연결점을 제공하기 때문에 지리적 태그(spatial tag)가 지정된 시각데이터에 중점을 둔다. 또한, 우리의 연구는 다가오는 기계학습 및 인공지능 애플리케이션 시대의 사용자를 대비하기 위해 고효율 시각데이터 공유 플랫폼뿐만 아니라 이미지 기반 기계학습 플랫폼을 목표로 한다. 통합 플랫폼은 도시 생활의 기능과 질을 향상시키기 위해 참여 사용자들 사이에서 다양한 이미지 기반 스마트시티 애플리케이션을 파일럿, 테스트 및 실제 적용하는 데 사용될 것이다.
풍부한 데이터를 자유로이 사용할 수 있게 된 도시 계획자와 시 공무원은 최적의 안전과 효율성을 위해 도시의 물리적 인프라를 개선할 방법에 대해 보다 효과적인 결정을 내릴 수 있게 되었다. 본 논문은 스마트시티 응용에 있어 도시 커뮤니티 구성원들이 시각데이터를 보다 효과적으로 활용할 수 있는 방법을 제안하고 미국 로스엔젤레스시의 실제데이터 세트를 이용한 사례를 설명한다.
이 논문에서는 사용자가 효율적이고 민주적인 방식으로 시각데이터의 수집, 관리, 분석 및 공유를 수행할 수 있게 하는 시각데이터 통합 플랫폼과 로스엔젤레스시의 시각데이터 응용 사례들을 소개하였다. 실제 데이터 세트를 사용한 실시간서비스 구현 사례는 아직 수행할 작업이 많이 남아 있지만 제안된 핵심 개념의 실행 가능성을 보여주는 사례연구들이 소개되었다.
그러나 기존의 일반 물질 인식을 위한 이미지 기반 접근 방법들은[12,13] 표면이 낙서로 덮여 있는 경우 비효율적일 수 있다. 이를 극복하기 위해 우리는 새로운 이미지 학습 기반 접근 방식을 제안하였다.

가설 설정

실제 데이터 세트를 사용한 실시간서비스 구현 사례는 아직 수행할 작업이 많이 남아 있지만 제안된 핵심 개념의 실행 가능성을 보여주는 사례연구들이 소개되었다. 이 연구의 장점은 적절하게 설계된 시각데이터 플랫폼이 현재 상당히 단편화 되어있는 시각데이터의 수집, 관리 및 분석을 구조화, 통합 및 조직화하여 스마트시티 애플리케이션 설계를 용이하게 할 것이라는 가설을 평가하는 데 있다. 대규모 스마트시티 프로젝트들의 여러 이해 관계자를 고려하여 사회 문제에 대한 보다 효율적이고, 공유 가능하며, 경제적이며, 지속 가능한 시각데이터 중심의 민주적 솔루션을 만들 수 있음을 보여주었다.

제안 방법

2) 수집된 이미지와 비디오는 공간적 시간적으로 구성되어 거리 청소를 위한 특정 물체(즉, 불법 투기, 버려진 가구, 노숙자 야영 등 거리에 있는 물체를 인식하기 위해 구축된 분류 모델, 그림 3 참조)를 자동으로 탐지하도록 분석된다(데이터 액세스 및 분석).
우리의 솔루션은 YOLO를 사용하여 모델을 학습하여 분석된 이미지에서 다양한 유형의 도로 손상을 식별 가능한 물체로 감지한다. 객체 감지기를 만들기 위해 YOLO 프레임 워크 (버전 3)를 사용하여 darknet53 모델을 미세 조정하였다. 솔루션을 철저히 실험하기 위해 매개 변수들을 변경하며 각 데이터 세트(D, Da 및 Dc)를 사용하여 학습된 모델의 다양한 버전을 생성했다.
4) 액션: 분석 결과를 실생활에 적용. 또한, 학습에 의해 개발된 분석 모델을 에지 컴퓨팅 구성 요소 기능에 따라 다양한 에지 디바이스에 적용하고 에지에서 생성된 결과를 재사용하여 분석 모델을 향상.
이를 위해 LASAN에서 수집한 큰 실제 데이터 세트를 사용하여 거리 장면의 자동 분류를 연구하여 기계학습을 통해 거리의 청결도 수준 및 쓰레기 물체를 식별했다. 먼저 LASAN과 협력하여 정확한 라벨(예: 부피가 큰 품목, 일반 쓰레기 불법 투기, 노숙자 야영지, 웃자란 초목, 깨끗한 거리)이 있는 22,000개의 위치 정보가 태그된 거리 이미지 데이터 세트를 사용하여 거리 청결도 수준에 기반한 이미지 분류를 시도했다 (그림 3 참조). 이를 위해, 모든 이미지에서 시각적 특징 추출이 사전에 처리되었다: 즉, 색상 특징 추출, 색상 히스토그램, SIFT-BoW, CNN(Convolutional Neural Network) 등.
객체 감지기를 만들기 위해 YOLO 프레임 워크 (버전 3)를 사용하여 darknet53 모델을 미세 조정하였다. 솔루션을 철저히 실험하기 위해 매개 변수들을 변경하며 각 데이터 세트(D, Da 및 Dc)를 사용하여 학습된 모델의 다양한 버전을 생성했다. D, Da 및 Dc를 사용하여 훈련된 도로 손상 인식 모델은 최대 0.
시민이 거리에 놓여진 쓰레기를 사진으로 찍어 신고하면 그것을 자동으로 인식하고 분류하여 쓰레기의 위치와 종류를 이용해 적절한 조치를 신속하게 취할 수 있게 하는 응용이다¹⁾. 이를 위해 LASAN에서 수집한 큰 실제 데이터 세트를 사용하여 거리 장면의 자동 분류를 연구하여 기계학습을 통해 거리의 청결도 수준 및 쓰레기 물체를 식별했다. 먼저 LASAN과 협력하여 정확한 라벨(예: 부피가 큰 품목, 일반 쓰레기 불법 투기, 노숙자 야영지, 웃자란 초목, 깨끗한 거리)이 있는 22,000개의 위치 정보가 태그된 거리 이미지 데이터 세트를 사용하여 거리 청결도 수준에 기반한 이미지 분류를 시도했다 (그림 3 참조).
일부 클래스(예: D10, D11, D40 및 D43)가 다른 클래스에 비해 이미지 수가 적어 도로 손상 클래스 간의 데이터 세트 분포가 균형을 이루지 않기에 Python Augmentor 라이브러리를 사용하여 이러한 클래스를 포함하는 트레이닝 데이터 세트를 위한 합성 이미지를 생성하여 사용하였다. 합성 시 도로 손상 장면이 영향을 받지 않도록 하기 위해 Augmentor 도구에서 제공하는 이미지 처리 기술(예: 밝기, 회색조)을 신중하게 선택하여 별도의 증강 데이터 세트를 만들어 학습에 사용하였다.
트레이닝 데이터 세트를 처리할 때 고려한 또 다른 기술은 크롭핑(cropping)이다. 잘린 이미지에 레이블이 달린 영역이 포함되도록 모든 이미지를 잘라서 원본 이미지 보다 더 작은 크기의 데이터 세트를 만들었다. 이러한 데이터 세트를 사용하면 학습모델이 학습(도로면 손상)과 관련 없는 부분(예: 도로 위 건물이나 하늘)을 삭제하여 관심 영역의 기능을 적절하게 학습하는데 집중할 수 있다.
한편 이미지 처리 방법은 저렴하지만 정확성이 부족한 점이 문제이다. 하지만 아직은 미성숙함에도 불구하고 최근 이미지 분석 기술의 발전은 인상적인 결과를 만들어 내고 있기에 우리는 이미지 분석을 통해 도로 표면 손상을 인식하고 분류하는 연구를 실행했다.

대상 데이터

이러한 데이터 세트를 사용하면 학습모델이 학습(도로면 손상)과 관련 없는 부분(예: 도로 위 건물이나 하늘)을 삭제하여 관심 영역의 기능을 적절하게 학습하는데 집중할 수 있다. 결과적으로 원본(D), 증강(Da) 및 크롭 (Dc)의 세 가지 트레이닝 데이터 세트를 준비해 학습에 사용하였다.
따라서, 이미지 기계학습을 통해 자동으로 표면 물질을 파악하는 연구를 실행했다[5]. 데이터 세트는 LASAN에서 수집한 19,000개의 낙서 이미지로 구성되었다. 모든 이미지는 하나 이상의 낙서가 있으며 그 주위를 박스 형태로 태그가 되었으며 18 가지 유형의 표면물질과 형태(콘크리트 담, 나무 문, 철 기둥, 등등, 그림 5 참조) 중 하나로 레이블이 되어있다.
본 연구에서 사용된 데이터는 스마트시티 애플리케이션을 위해 위치정보가 태그된 시각데이터이다. 따라서 기본 대상 데이터 세트는 위치 메타데이터가 있는 거리 이미지와 비디오로 구성된다. 예시 시나리오는 다음과 같다 (그림 2).
본 연구에서 사용된 데이터는 스마트시티 애플리케이션을 위해 위치정보가 태그된 시각데이터이다. 따라서 기본 대상 데이터 세트는 위치 메타데이터가 있는 거리 이미지와 비디오로 구성된다.
하지만 기계학습에 필요한 대용량의 이미지 레이블링이 준비되지 않았기에 2018년 IEEE BigData Cup Road Damage Detection Challenge에서 제공한 이미지 데이터 세트(7,231 트레이닝 이미지, 1,813 테스트 이미지)를 이용해 연구를 수행했다[4]. 이 데이터는 스마트폰을 이용해 일본의 7 개 지역에 위치한 도시의 도로면을 녹화한 것으로 각 이미지는 하나 이상의 관심 영역에 손상 상태를 나타내는 레이블이 기록되어있다[11]. 표 1에서 볼 수 있듯이 도로면 손상 분류에는 균열과 기타 손상의 두 가지 범주로 일반화할 수 있는 8 가지 유형이 포함되어 있다(그림 7).
LASAN이 운용하는 700대가 넘는 쓰레기 수거 차량의 후면 카메라는 아래를 향해 도로면을 녹화하고 있기에 이를 이용해 도로면 손상을 파악할 수 있다. 하지만 기계학습에 필요한 대용량의 이미지 레이블링이 준비되지 않았기에 2018년 IEEE BigData Cup Road Damage Detection Challenge에서 제공한 이미지 데이터 세트(7,231 트레이닝 이미지, 1,813 테스트 이미지)를 이용해 연구를 수행했다[4]. 이 데이터는 스마트폰을 이용해 일본의 7 개 지역에 위치한 도시의 도로면을 녹화한 것으로 각 이미지는 하나 이상의 관심 영역에 손상 상태를 나타내는 레이블이 기록되어있다[11].
일부 클래스(예: D10, D11, D40 및 D43)가 다른 클래스에 비해 이미지 수가 적어 도로 손상 클래스 간의 데이터 세트 분포가 균형을 이루지 않기에 Python Augmentor 라이브러리를 사용하여 이러한 클래스를 포함하는 트레이닝 데이터 세트를 위한 합성 이미지를 생성하여 사용하였다. 합성 시 도로 손상 장면이 영향을 받지 않도록 하기 위해 Augmentor 도구에서 제공하는 이미지 처리 기술(예: 밝기, 회색조)을 신중하게 선택하여 별도의 증강 데이터 세트를 만들어 학습에 사용하였다. 트레이닝 데이터 세트를 처리할 때 고려한 또 다른 기술은 크롭핑(cropping)이다.

이론/모형

표 1에서 볼 수 있듯이 도로면 손상 분류에는 균열과 기타 손상의 두 가지 범주로 일반화할 수 있는 8 가지 유형이 포함되어 있다(그림 7). 도로 손상 유형 감지 문제를 해결하기 위해 각 도로 손상 유형을 구별 가능한 클래스로 정의하고 각 도로 손상 유형의 시각적 특징 패턴을 학습하기 위해 도로 손상 데이터 세트에 대해 훈련할 최신의 물체 인식 알고리즘(즉, YOLO V3) 중 하나를 사용하였다.

성능/효과

일반적으로 시각데이터 플랫폼에는 다음과 같은 이슈들이 있다. 1) 수동 데이터 수집은 비용이 높으며 특정 학습을 달성하기에 충분한 품질의 데이터 세트를 제공하기 힘들다. 2) 시각데이터는 크기가 크고 중복이 많아서 효율적으로 관리하고 검색하기가 매우 어렵다.
1) 수동 데이터 수집은 비용이 높으며 특정 학습을 달성하기에 충분한 품질의 데이터 세트를 제공하기 힘들다. 2) 시각데이터는 크기가 크고 중복이 많아서 효율적으로 관리하고 검색하기가 매우 어렵다. 3) 데이터 수집 방법, 저장, 액세스 방법에 있어 공동 작업자간에 재사용 가능한 리소스로 처리를 공유하는 체계적인 방법이 별로 없다.
2) 시각데이터는 크기가 크고 중복이 많아서 효율적으로 관리하고 검색하기가 매우 어렵다. 3) 데이터 수집 방법, 저장, 액세스 방법에 있어 공동 작업자간에 재사용 가능한 리소스로 처리를 공유하는 체계적인 방법이 별로 없다. 4) 기술에 익숙하지 않은 파트너가 수집된 데이터와 방법을 자신의 목적으로 사용하기가 쉽지 않으며, 5) 대규모 도시 응용 프로그램에서 확장 가능한 시스템이 필요하다.
3) 분류된 결과 및 위치는 신속한 거리 청소(조치)를 위해 LASAN에 보고되고 통합 플랫폼 데이터베이스에 증강된 지식으로 다시 저장된다(액션).
솔루션을 철저히 실험하기 위해 매개 변수들을 변경하며 각 데이터 세트(D, Da 및 Dc)를 사용하여 학습된 모델의 다양한 버전을 생성했다. D, Da 및 Dc를 사용하여 훈련된 도로 손상 인식 모델은 최대 0.61, 0.62 및 0.60의 F1 점수를 달성하였다.
이 접근법은 2 단계 학습 접근법(그림 6 참조)이라고 하며, 낙서를 잠재적으로 포함하는 이미지 부분을 감지하는 감지 모델과 물질 분류 모델의 두 가지 모델로 구성된다. LASAN에서 제공한 데이터 세트를 이용한 실험 결과에 따르면 우리가 제안한 2 단계 학습법은 기존의 표면 물질 인식 모델과 비교해 최대 2.1배 향상된 정확도를 보여주었다. 다양하고 복잡한 물질 인식에 있어 평균적으로 0.
1배 향상된 정확도를 보여주었다. 다양하고 복잡한 물질 인식에 있어 평균적으로 0.6 mAP(man Average Precision)를 보여주었고 stone wall과 같이 많은 트레이닝 이미지가 있는 경우엔 더 높은 정확도를 나타내었다.
이 연구의 장점은 적절하게 설계된 시각데이터 플랫폼이 현재 상당히 단편화 되어있는 시각데이터의 수집, 관리 및 분석을 구조화, 통합 및 조직화하여 스마트시티 애플리케이션 설계를 용이하게 할 것이라는 가설을 평가하는 데 있다. 대규모 스마트시티 프로젝트들의 여러 이해 관계자를 고려하여 사회 문제에 대한 보다 효율적이고, 공유 가능하며, 경제적이며, 지속 가능한 시각데이터 중심의 민주적 솔루션을 만들 수 있음을 보여주었다.
일반적으로 데이터 세트가 크고 풍부할수록 학습의 결과가 더 좋아진다. 또한, 잘 설계된 플랫폼은 데이터의 가용성 및 재사용 가능성, 데이터 관리 및 분석 방법의 유용성을 최대화하고, 또 쉽고 효과적인 작업 환경에서 중복 데이터, 분석 작업 및 운영비용을 최소화할 수 있다.
분류 결과는 CNN에서 제공하는 풍부한 기능 표현으로 인해 CNN 이미지 피처를 사용할 때 가장 좋은 F1 점수를 얻었음을 보여준다. 모든 분류 범주에서 0.8보다 높은 F1 점수를 획득하여 실제 사용할 수 있을 정도의 정확도를 보였다.
그림 4는 전체 데이터 세트와 지역을 하나의 데이터 세트로 사용해 실험에서 사용된 모든 기능 및 분류기와 이들의 각 조합에 대한 F1 점수를 보여줌으로써 전체 실험을 요약해 보여준다. 분류 결과는 CNN에서 제공하는 풍부한 기능 표현으로 인해 CNN 이미지 피처를 사용할 때 가장 좋은 F1 점수를 얻었음을 보여준다. 모든 분류 범주에서 0.

후속연구

또한, 우리의 연구는 다가오는 기계학습 및 인공지능 애플리케이션 시대의 사용자를 대비하기 위해 고효율 시각데이터 공유 플랫폼뿐만 아니라 이미지 기반 기계학습 플랫폼을 목표로 한다. 통합 플랫폼은 도시 생활의 기능과 질을 향상시키기 위해 참여 사용자들 사이에서 다양한 이미지 기반 스마트시티 애플리케이션을 파일럿, 테스트 및 실제 적용하는 데 사용될 것이다. 데이터 및 수집 방법의 공유뿐만 아니라 분석 방법 및 결과도 제공하여 하나의 응용 프로그램에서 사용된 새로운 데이터, 방법 및 추출된 지식을 다른 응용 프로그램으로 효과적으로 변환하여 사용하는 것을 가능하게 하여 궁극적으로 시각데이터 및 분석을 도시 인프라로 만들 수 있다.

핵심어	질문	논문에서 추출한 답변
	일반적으로 시각데이터 플랫폼에는 어떤 이슈들이 있는가?	일반적으로 시각데이터 플랫폼에는 다음과 같은 이슈들이 있다. 1) 수동 데이터 수집은 비용이 높으며 특정 학습을 달성하기에 충분한 품질의 데이터 세트를 제공하기 힘들다. 2) 시각데이터는 크기가 크고 중복이 많아서 효율적으로 관리하고 검색하기가 매우 어렵다. 3) 데이터 수집 방법, 저장, 액세스 방법에 있어 공동 작업자간에 재사용 가능한 리소스로 처리를 공유하는 체계적인 방법이 별로 없다. 4) 기술에 익숙하지 않은 파트너가 수집된 데이터와 방법을 자신의 목적으로 사용하기가 쉽지 않으며, 5) 대규모 도시 응용 프로그램에서 확장 가능한 시스템이 필요하다. 이러한 문제를 극복하기 위해 우리가 제안한 플랫폼은 다음의 접근 방법을 제공한다(그림 1).
	학습 기반 접근 방식을 제안하기 위해 학습을 어떻게 두 단계로 나누었는가?	우리의 접근 방식은 학습을 두 단계로 나누는 것이다. 첫 번째 단계는 표면 물질의 유형에 관계없이 덮여 쓴 낙서의 특성만 학습하여 낙서 부위를 찾아내는 데 초점을 맞추고, 두 번째 단계는 덮여진 물질 유형을 구별되는 특성을 학습하는 다른 모델을 개발하는 것이다. 이 접근법은 2 단계 학습 접근법(그림 6 참조)이라고 하며, 낙서를 잠재적으로 포함하는 이미지 부분을 감지하는 감지 모델과 물질 분류 모델의 두 가지 모델로 구성된다.
	이미지 처리 방법으로 도로면 손상을 인식하는 것의 단점은?	교통이 혼잡한 로스엔젤레스에서 도로 폐쇄를 하고 모니터링 한다는 것은 사회적 비용이 너무 높다. 한편 이미지 처리 방법은 저렴하지만 정확성이 부족한 점이 문제이다. 하지만 아직은 미성숙함에도 불구하고 최근 이미지 분석 기술의 발전은 인상적인 결과를 만들어 내고 있기에 우리는 이미지 분석을 통해 도로 표면 손상을 인식하고 분류하는 연구를 실행했다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

스마트시티를 위한 시각데이터의 활용 원문보기

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (14)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

스마트시티를 위한 시각데이터의 활용 원문보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (14)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

AI 본문요약
AI-Helper