딥 러닝 기반 이미지 자동 분류 및 랭킹 시스템을 이용한 사용자 편의 중심의 유실물 등록 및 조회 관리 시스템 Lost and Found Registration and Inquiry Management System for User-dependent Interface using Automatic Image Classification and Ranking System based on Deep Learning원문보기
본 논문은 딥 러닝(Deep-Learning) 기반의 계층형 이미지 분류 체계와 가중치 기반의 랭킹 시스템을 이용한 사용자 편의 중심의 유실물 등록 및 조회 관리 시스템을 제안한다. 제안된 시스템은 딥 러닝을 통해 이미지를 자동으로 분류하는 계층형 이미지 분류 시스템과 조회 과정의 편의를 위해 시스템상의 등록된 유실물 정보를 고려해 가중치 순으로 정렬하는 랭킹 시스템 모듈로 구성된다. 등록 과정에서 한 장의 사진만으로 카테고리 분류와 브랜드, 연관 태그 등 여러 정보가 자동으로 인식되어 사용자의 번거로움을 최소화하였다. 그리고 랭킹 시스템을 통해 사용자들이 자주 찾는 유실물을 상위에 노출함으로써 유실물 검색의 효율성을 높였다. 실험 결과, 제안된 시스템은 사용자가 쉽고 편리하게 시스템을 이용할 수 있음을 확인하였다.
본 논문은 딥 러닝(Deep-Learning) 기반의 계층형 이미지 분류 체계와 가중치 기반의 랭킹 시스템을 이용한 사용자 편의 중심의 유실물 등록 및 조회 관리 시스템을 제안한다. 제안된 시스템은 딥 러닝을 통해 이미지를 자동으로 분류하는 계층형 이미지 분류 시스템과 조회 과정의 편의를 위해 시스템상의 등록된 유실물 정보를 고려해 가중치 순으로 정렬하는 랭킹 시스템 모듈로 구성된다. 등록 과정에서 한 장의 사진만으로 카테고리 분류와 브랜드, 연관 태그 등 여러 정보가 자동으로 인식되어 사용자의 번거로움을 최소화하였다. 그리고 랭킹 시스템을 통해 사용자들이 자주 찾는 유실물을 상위에 노출함으로써 유실물 검색의 효율성을 높였다. 실험 결과, 제안된 시스템은 사용자가 쉽고 편리하게 시스템을 이용할 수 있음을 확인하였다.
In this paper, we propose an user-centered integrated lost-goods management system through a ranking system based on weight and a hierarchical image classification system based on Deep Learning. The proposed system consists of a hierarchical image classification system that automatically classifies ...
In this paper, we propose an user-centered integrated lost-goods management system through a ranking system based on weight and a hierarchical image classification system based on Deep Learning. The proposed system consists of a hierarchical image classification system that automatically classifies images through deep learning, and a ranking system modules that listing the registered lost property information on the system in order of weight for the convenience of the query process.In the process of registration, various information such as category classification, brand, and related tags are automatically recognized by only one photograph, thereby minimizing the hassle of users in the registration process. And through the ranking systems, it has increased the efficiency of searching for lost items by exposing users frequently visited lost items on top. As a result of the experiment, the proposed system allows users to use the system easily and conveniently.
In this paper, we propose an user-centered integrated lost-goods management system through a ranking system based on weight and a hierarchical image classification system based on Deep Learning. The proposed system consists of a hierarchical image classification system that automatically classifies images through deep learning, and a ranking system modules that listing the registered lost property information on the system in order of weight for the convenience of the query process.In the process of registration, various information such as category classification, brand, and related tags are automatically recognized by only one photograph, thereby minimizing the hassle of users in the registration process. And through the ranking systems, it has increased the efficiency of searching for lost items by exposing users frequently visited lost items on top. As a result of the experiment, the proposed system allows users to use the system easily and conveniently.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 이러한 문제점을 해결하기 위해 본 논문은 최근 여러 분야에 적용되고 있는 딥 러닝 기술을 통해 유실물 등록의 자동화를 이루고 등록 뿐만 아니라 유실물 검색의 효율성을 높여주기 위해 가중치 기반의 랭킹 검색 시스템을 통해 사용자가 많이 찾는 물품들을 상위에 노출함으로써 사용자의 물품 등록 편의성 증대 및 물품 검색의 효율성을 확보한 시스템을 제안한다.
본 논문은 기존의 유실물 관리 시스템의 등록과 조회의 불편한 과정을 해결하기 위해 딥 러닝 기반의 계층형 이미지 분류 체계와 가중치 기반의 랭킹 검색 시스템을 이용하여 등록 및 조회가 가능한 사용자 편의 중심의 유실물 등록 및 조회 관리 시스템을 제안하였다. 이는 유실물 등록과 조회 과정에서 사용자의 개입을 최소화시킨 효율적인 방안이다.
본 논문은 딥 러닝을 활용하여 유실물 정보의 자동입력을 바탕으로 사용자의 등록 과정을 최소화하는 방안을 제안한다. 최근 딥 러닝(Deep-Learning) 기술을 활용해 이미지 기반 사물 인식[3], 자동 태깅[4], 미확인 침입탐지 시스템[5] 등 이미지 인식의 자동화에 관한 연구가 진행되고 있다.
최근 검색 시스템에서는 날짜별 나열 방식 이외에도 인기도 기반의 검색 결과를 제공하고 있다. 본 논문은 유실물의 특징을 반영하기 위해 항목별 인기도와 등록 기간 기반의 가중치를 부여하여 검색결과를 제공하여 검색의 효율성을 높이고자 한다.
본 시스템은 조회 과정에서 사용자에게 효율성을 제공하기 위해 가중치 기반의 랭킹 검색 시스템을 제안한다. 랭킹 검색 시스템은 카테고리별 이벤트 기반의 인기도를 활용한 가중치[11]와 등록 기간에 따른 가중치 부여를 위한 에이징(Aging) 기법을 사용한다.
최근 딥 러닝(Deep-Learning) 기술을 활용해 이미지 기반 사물 인식[3], 자동 태깅[4], 미확인 침입탐지 시스템[5] 등 이미지 인식의 자동화에 관한 연구가 진행되고 있다. 이러한 기술을 통해 이미지 등록 시 유실물에 대한 정보가 자동으로 입력되도록 하여 등록 과정에서의 번거로운 수동적 입력방식을 개선하고자 한다.
제안 방법
하지만 장기간 찾아가지 않은 유실물들은 상대적으로 최근 등록된 유실물보다 찾아갈 확률이 낮아진다. 따라서 본 시스템은 기존 에이징 기법과 반대로 각 유실물의 대기 시간이 높고 서비스 시간이 낮을수록 가중치를 감소시키기 위해 기존 에이징 기법의 변수 W와 S를 교환하여 적용한다.
본 논문의 시스템은 계층형 이미지 분류 체계를 활용하여 (그림 3 좌)와 같은 기존의 수동적인 유실물 정보 입력 방식을 (그림 3 우)와 같이 자동 입력 방식으로 개선하였다. 따라서 단 한 장의 사진만으로 카테고리, 연관 태그, 브랜드 정보 등이 자동으로 입력되어 사용자의 번거로움을 최소화하였다.
대상 데이터
사용된 데이터는 lost112.go.kr의 유실물 등록 데이터를 기반으로 상위 36개의 카테고리를 선정하고 약 7만여 장의 이미지를 수집하였다.
실험에 사용된 이미지는 카테고리별 약 2,000개의 이미지(총 70,469개)를 수집하였고 75%의 이미지는 학습에 25% 이미지는 테스트에 사용하였다.
데이터처리
본 시스템에서 제시한 계층형 이미지 분류체계의 오 분류(Miss classification)에 대한 개선 능력을 확인하기 위해 무 계층 분류 체계와 계층형 분류 체계에 대한 비교 실험을 진행하였다. 실험환경은 다음 <표5>와 같다.
이론/모형
따라서 본 시스템에서도 Tensorflow와 inception-v3 model[10]을 통해 이미지의 정확한 카테고리 분류가 가능한 계층 이미지 분류 체계를 생성하고 사용자의 유실물 등록 과정에 적용한다.
본 시스템은 조회 과정에서 사용자에게 효율성을 제공하기 위해 가중치 기반의 랭킹 검색 시스템을 제안한다. 랭킹 검색 시스템은 카테고리별 이벤트 기반의 인기도를 활용한 가중치[11]와 등록 기간에 따른 가중치 부여를 위한 에이징(Aging) 기법을 사용한다.
성능/효과
또한, 가중치 기반의 랭킹 검색 시스템을 통해 사용자가 많이 찾는 물품들을 상위에 노출함으로써 최근 등록된 날짜만 고려한 기존 시스템의 방식을 보완했고, 이는 사용자의 검색 효율성을 높이는 결과를 가져왔다. 결과적으로 본 논문에서 제안한 시스템을 통해 유실물 등록을 자동화하고 조회의 접근성을 높임으로써 사용자의 편의성이 향상되는 결과를 가져왔다.
결과적으로, 계층형 구조의 이미지 분류체계는 무 계층보다 높은 신뢰도로 이미지 분류에 성공하는 모습을 보여 오 분류(Miss classification)에 대한 문제를 개선할 수 있다.
기존의 다양한 연구[6][7][8]에서 사용되는 무 계층 이미지 분류 체계는 본 논문에서 제안하는 시스템에 적용하여 테스트를 진행한 결과 물품 모양의 유사성으로 인한 오 분류(Miss classification)가 빈번하게 발생하는 모습을 볼 수 있었다. 따라서 이러한 문제를 해결하기 위해 계층형 분류 체계의 연구[9]가 제안되었고, 해당 연구[9]는 오 분류 문제 개선을 위해 하위계층으로 갈수록 더 세분화된 분류를 진행하는 계층형 이미지 분류 체계를 제시했다.
또한, (그림 4 좌)처럼 기존의 등록 시간 순으로 나열되던 단순한 방식이 아닌 (그림 4 우)처럼 랭킹 검색 시스템을 통해 계산된 가중치를 기반으로 사용자가 많이 찾는 물품을 반응형 웹 형태에 맞게 상위에 노출함으로써 유실물을 찾는 과정에서 검색의 효율성[12]을 높이는 효과를 가져왔다.
실험 결과, 계층형 이미지 분류 시스템을 통해 기존의 수동적 입력 방식을 자동화된 입력 방식으로 개선함으로써 사용자의 번거로운 등록 과정을 최소화했다. 또한, 가중치 기반의 랭킹 검색 시스템을 통해 사용자가 많이 찾는 물품들을 상위에 노출함으로써 최근 등록된 날짜만 고려한 기존 시스템의 방식을 보완했고, 이는 사용자의 검색 효율성을 높이는 결과를 가져왔다. 결과적으로 본 논문에서 제안한 시스템을 통해 유실물 등록을 자동화하고 조회의 접근성을 높임으로써 사용자의 편의성이 향상되는 결과를 가져왔다.
이는 유실물 등록과 조회 과정에서 사용자의 개입을 최소화시킨 효율적인 방안이다. 실험 결과, 계층형 이미지 분류 시스템을 통해 기존의 수동적 입력 방식을 자동화된 입력 방식으로 개선함으로써 사용자의 번거로운 등록 과정을 최소화했다. 또한, 가중치 기반의 랭킹 검색 시스템을 통해 사용자가 많이 찾는 물품들을 상위에 노출함으로써 최근 등록된 날짜만 고려한 기존 시스템의 방식을 보완했고, 이는 사용자의 검색 효율성을 높이는 결과를 가져왔다.
여기서 >90,95,99는 각각 90%,95%,99% 이상의 신뢰도로 클래스를 분류한 것이며, Class AC는 계층형 분류에서 물품의 클래스를 맞춘 정도를 뜻한다. 실험 결과, 무 계층 이미지 분류 체계(One-Level)에서는 95% 이상의 신뢰도로 분류에 성공한 비율이 50%를 넘지 못했지만, 계층형 분류 체계(Two-Level)는 95% 이상의 신뢰도로 분류에 성공한 비율이 약 85%인 것을 확인할 수 있다.
해당 시스템의 분류 과정은 분류체계에 전송된 이미지가 9개의 클래스 중 어느 클래스에 해당하는지에 대한 1차 분류를 진행하고, 1차 분류에서 선택된 클래스의 세부 항목들을 학습한 분류 모델을 통해 최종 이미지의 카테고리 결과를 제시하는 2차 분류로 구성된다. 앞에서 설명한 이미지 분류 체계와 딥 러닝 기반의 다양한 API를 통해 유실물 등록 과정의 자동화를 이루었고 이는 사용자의 편의성을 높여주는 효과를 가져온다. 이를 적용한 상세 과정은 (그림 2)와 같다.
후속연구
추후 사용자 개개인의 검색 및 사용 패턴을 고려한 개인화 랭킹 시스템 연구를 통해 사용자 맞춤형 유실물 검색 결과 제공을 기대할 수 있고, 날짜 정보를 이용한 가중치 계산 방법 연구[13] 내용을 참고하여 특정 기간별 유실 빈도가 높은 물품을 추천해주는 연구가 보충된다면 사용자의 검색 편의성 제고를 가져올 것으로 보인다.
질의응답
핵심어
질문
논문에서 추출한 답변
최근 딥 러닝기술을 활용해 진행되고 있는 연구는 무엇이 있는가?
본 논문은 딥 러닝을 활용하여 유실물 정보의 자동입력을 바탕으로 사용자의 등록 과정을 최소화하는 방안을 제안한다. 최근 딥 러닝(Deep-Learning) 기술을 활용해 이미지 기반 사물 인식[3], 자동 태깅[4], 미확인 침입탐지 시스템[5] 등 이미지 인식의 자동화에 관한 연구가 진행되고 있다. 이러한 기술을 통해 이미지 등록 시 유실물에 대한 정보가 자동으로 입력되도록 하여 등록 과정에서의 번거로운 수동적 입력방식을 개선하고자 한다.
본 논문에서 제안한 랭킹 검색 시스템은 어떤 기법을 사용하는가?
본 시스템은 조회 과정에서 사용자에게 효율성을 제공하기 위해 가중치 기반의 랭킹 검색 시스템을 제안한다. 랭킹 검색 시스템은 카테고리별 이벤트 기반의 인기도를 활용한 가중치[11]와 등록 기간에 따른 가중치 부여를 위한 에이징(Aging) 기법을 사용한다.
현재 유실물 관리 시스템이 가지고 있는 문제점은 무엇인가?
현재 유실물 관리 시스템으로는 경찰청에서 운영하는 ‘경찰청 유실물 통합 포털 lost112’[1]와 소규모 기관에서 관리하는 게시판[2]이 존재한다. 이러한 기존시스템은 이미지, 카테고리, 습득 위치, 텍스트 정보 등 등록 과정에서 필요한 다수 정보를 수동으로 입력해야 하는 문제를 가지고 있다. 이는 사용자 편의성을 고려하지 않은 과정으로 시스템의 사용성을 낮춰 유실물 반환율에 영향을 준다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.