김한진
(Dept. of Computer Science and Engineering, Koreatech University)
,
이승기
(Dept. of Computer Science and Engineering, Koreatech University)
,
김원태
(Dept. of Computer Science and Engineering, Koreatech University)
최근 인구가 급격히 증가하면서 음식물의 부족 및 낭비의 심각성이 대두되고 있다. 이를 해결하기 위해 다양한 국가 및 기업에서는 소비자의 식재료 구매 패턴 연구 및 IoT 기술이 적용된 스마트 냉장고 제품개발 등의 시도를 진행 중에 있다. 그러나, 현재 판매되고 있는 스마트 냉장고들은 기존에 비해 상당한 가격대를 형성하고 있으며, 복잡한 구성으로 인한 오작동 및 파손으로 또 다른 낭비를 초래한다. 본 논문에서는 음식물 부족 및 낭비 해결과 가정 내 원활한 식재료 관리를 위한 저비용의 IoT 기반 스마트 냉장고 시스템을 제안한다. 본 시스템은 QR코드, 이미지 인식, 음성 인식을 통해 식재료를 인식하여 등록하고 이를 바탕으로 다양한 서비스를 제공할 수 있다. 이미지 인식의 정확도를 높이기 위해 우리는 딥 러닝 알고리즘을 사용한 모델을 활용하였으며 정확한 식재료 등록이 가능함을 검증하였다.
최근 인구가 급격히 증가하면서 음식물의 부족 및 낭비의 심각성이 대두되고 있다. 이를 해결하기 위해 다양한 국가 및 기업에서는 소비자의 식재료 구매 패턴 연구 및 IoT 기술이 적용된 스마트 냉장고 제품개발 등의 시도를 진행 중에 있다. 그러나, 현재 판매되고 있는 스마트 냉장고들은 기존에 비해 상당한 가격대를 형성하고 있으며, 복잡한 구성으로 인한 오작동 및 파손으로 또 다른 낭비를 초래한다. 본 논문에서는 음식물 부족 및 낭비 해결과 가정 내 원활한 식재료 관리를 위한 저비용의 IoT 기반 스마트 냉장고 시스템을 제안한다. 본 시스템은 QR코드, 이미지 인식, 음성 인식을 통해 식재료를 인식하여 등록하고 이를 바탕으로 다양한 서비스를 제공할 수 있다. 이미지 인식의 정확도를 높이기 위해 우리는 딥 러닝 알고리즘을 사용한 모델을 활용하였으며 정확한 식재료 등록이 가능함을 검증하였다.
Recently, as the population rapidly increases, food shortages and waste are emerging serious problem. In order to solve this problem, various countries and enterprises are trying research and product development such as a study of consumers' purchasing patterns of food and a development of smart ref...
Recently, as the population rapidly increases, food shortages and waste are emerging serious problem. In order to solve this problem, various countries and enterprises are trying research and product development such as a study of consumers' purchasing patterns of food and a development of smart refrigerator using IoT technology. However, the smart refrigerators which currently sold have high price issue and another waste due to malfunction and breakage by complicated configurations. In this paper, we proposed a low-cost smart refrigerator system based on IoT for solving the problem and efficient management of ingredients. The system recognizes and registers ingredients through QR code, image recognition, and speech recognition, and can provide various services of the smart refrigerator. In order to improve an accuracy of image recognition, we used a model using a deep learning algorithm and proved that it is possible to register ingredients accurately.
Recently, as the population rapidly increases, food shortages and waste are emerging serious problem. In order to solve this problem, various countries and enterprises are trying research and product development such as a study of consumers' purchasing patterns of food and a development of smart refrigerator using IoT technology. However, the smart refrigerators which currently sold have high price issue and another waste due to malfunction and breakage by complicated configurations. In this paper, we proposed a low-cost smart refrigerator system based on IoT for solving the problem and efficient management of ingredients. The system recognizes and registers ingredients through QR code, image recognition, and speech recognition, and can provide various services of the smart refrigerator. In order to improve an accuracy of image recognition, we used a model using a deep learning algorithm and proved that it is possible to register ingredients accurately.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 앞서 언급한 문제들을 해결하기 위해 IoT 기반의 스마트 냉장고 시스템을 제안한다. 우리의 시스템은 안드로이드 OS를 기반으로 설계되어 기존 사용자들의 스마트폰 및 태블릿PC 등에서 동작이 가능하여 이식성 및 가격적인장점을 보인다.
본 논문에서는 음식물 부족 및 낭비와 가정 내식재료 관리의 어려움을 해결하기 위한 IoT 기반의 스마트 냉장고 시스템을 제안하였다. 우리의 시스템은 스마트 디바이스를 통해 기존의 기본 냉장고와 호환되며 시스템 구현 결과 현재 판매 중인 스마트 냉장고들의 서비스 다수를 30만원(갤럭시 탭 A6 10.
가설 설정
인식부는 제안하는 시스템의 핵심부로 시스템 내 모든 기능들의 기반이 된다. 식재료의 관리,구매, 레시피 추천 등의 스마트한 기능들은 냉장고 내 식재료들의 정확한 등록이 우선시 되어야 한다. 우리의 시스템은 QR코드 인식, 이미지 인식, 음성 인식 3가지 방식을 통해 냉장고 내 재료를 정확하고 빠르게 입력받을 수 있다.
제안 방법
본 논문에서 제안하는 시스템은 인식, 데이터베이스 관리 등을 담당하는 서버와 사용자의 디바이스로 구성된다. 구현된 시스템 서비스 흐름도는 그림 3과 같다.
스마트 디바이스는 안드로이드 OS 기반으로 동작하며, 본 논문에서는 태블릿 PC인 갤럭시 탭 A6 10.1과 스마트폰인 갤럭시 s7, 갤럭시 s8을 스마트 디바이스로서 활용하여 제안하는 시스템을 구현하였다. 스마트 디바이스는 3가지 인식을 위해 각각의 라이브러리를 이용하여 하드웨어와 연동되어 입력을 받는다.
대상 데이터
ImageNet은 WordNet 계층 구조에 따라 체계화된 이미지 데이터베이스로 각 노드는 평균 500개의 이미지로 구성된다. 본 논문에서는 ImageNet의 이미지 노드 중 채소류, 과일류, 육류 등 냉장고에 저장되는 식재료들을 사용하였다. 그 외의 부족한 데이터셋은 인터넷에서 직접 수집하여 추가하였다.
이론/모형
이미지 인식은 QR코드, 바코드, 라벨 등 어떤 재료임을 식별할 수 태그가 붙지 않은 식품들을 인식하는데 사용된다. 다양한 식품들을 보다 정확하게 인식하기 위해 우리는 딥 러닝 알고리즘을 적용하였다. 사용자가 디바이스의 카메라를 이용하여 재료를 촬영하면, 그 이미지는 연동된 서버로 전송된다.
본 논문에서는 정확한 이미지 인식을 위해 이미지 분류에 많이 사용하는 Convolutional Neural Network(CNN) 알고리즘을 사용하였다 [5]. 학습은 Caffe framework를 사용하여 진행하였고, 학습에 사용된 식재료 데이터셋은 표 2와 같다.
실제 시스템 서비스 구현을 위해 우리는 가장 높은 정확도를 보인 GoogLeNet 모델을 사용하였다. 구현된 시스템의 실제 식재료 이미지 인식 테스트를 위해 고구마를 촬영하여 분류된 결과가 자동으로 리스트에 등록되는 것을 확인하였다.
우리는 식재료 데이터를 분류하기 위해 AlexNet, GoogLeNet, VGG-16 모델을 사용하였다 [7-9]. 학습에 사용된 hyperparameter들은 세 가지 모델 모두 learning rate 0.
본 논문에서는 정확한 이미지 인식을 위해 이미지 분류에 많이 사용하는 Convolutional Neural Network(CNN) 알고리즘을 사용하였다 [5]. 학습은 Caffe framework를 사용하여 진행하였고, 학습에 사용된 식재료 데이터셋은 표 2와 같다. 대부분의 데이터셋은 ImageNet의 데이터를 활용하였다 [6].
성능/효과
학습된 모델들의 정확도는 표 3과 같으며,GoogLeNet 모델이 가장 높은 정확도를 보였다. GoogLeNet 모델은 67.4 %의 정확도(top-1accuracy)와 92.2 %의 top-5 정확도를 보였다. 학습 정확도는 학습된 모델을 검증 데이터(validation data)로 검증 시 모델이 분류한 결과의 가장 높은 클래스가 실제 해당 클래스로 분류된 확률이다.
실제 시스템 서비스 구현을 위해 우리는 가장 높은 정확도를 보인 GoogLeNet 모델을 사용하였다. 구현된 시스템의 실제 식재료 이미지 인식 테스트를 위해 고구마를 촬영하여 분류된 결과가 자동으로 리스트에 등록되는 것을 확인하였다. 확인된 결과는 그림 5와 같다.
2%의 top-5 정확도를 보였다. 실제 시스템 서비스에선 식재료를 직접 촬영하였으며 촬영된 이미지에 노이즈가 적어 보다 정확한 식재료 등록이 가능함을 확인하였다.
본 논문에서는 음식물 부족 및 낭비와 가정 내식재료 관리의 어려움을 해결하기 위한 IoT 기반의 스마트 냉장고 시스템을 제안하였다. 우리의 시스템은 스마트 디바이스를 통해 기존의 기본 냉장고와 호환되며 시스템 구현 결과 현재 판매 중인 스마트 냉장고들의 서비스 다수를 30만원(갤럭시 탭 A6 10.1) 내에서 구현할 수 있었다. 제안하는 3가지 인식 방식은 사용자들에게 편리하고 정확한 식재료 등록 및 관리를 제공한다.
제안하는 3가지 인식 방식은 사용자들에게 편리하고 정확한 식재료 등록 및 관리를 제공한다. 이미지인식에 활용한 CNN 알고리즘은 67.4 %의 top-1정확도와 92.2%의 top-5 정확도를 보였다. 실제 시스템 서비스에선 식재료를 직접 촬영하였으며 촬영된 이미지에 노이즈가 적어 보다 정확한 식재료 등록이 가능함을 확인하였다.
질의응답
핵심어
질문
논문에서 추출한 답변
사물인터넷 시대에 맞추어 기업들이 스마트 홈 관련 생활 전반의 기술 개발을 통해 문제 해결에 기여하고 있는데 이 중, 스마트 냉장고의 장점과 문제점은?
삼성,LG와 같은 기업들은 사물인터넷(Internet of Things) 시대에 맞추어 가정 내 스마트 홈 관련 생활 전반의 기술 개발을 통해 문제 해결에 기여하고 있다. 다양한 기업들이 스마트 냉장고라는 이름하에 출시한 냉장고들은 기존 식재료의 신선도 유지 및 보관 기능을 넘어 재료 관리 및 구매, 레시피 추천 등의 기능들이 추가되어 사용자의 편리성과 음식물 쓰레기 절약 등에 큰 장점을 보인다. 그러나 스마트 냉장고들의 가격은 일반 냉장고들에 비해 상당한 가격대를 형성하고 있으며, 추가적인 기능을 위한 소프트웨어, 하드웨어들의 오작동 및 파손으로 발생한 불필요한 교체는 새로운 낭비를 초래한다 [3].
서버는 무엇으로 사용되는가?
서버는 이미지 분류와 식재료 데이터들의 데이터베이스로서 사용된다. 딥 러닝 알고리즘을 활용한 이미지 인식은 프로세스 요구사항이 크기 때문에 빠른 서비스 제공을 위해 별도의 서버에서 처리하였다.
학습 정확도란?
2 %의 top-5 정확도를 보였다. 학습 정확도는 학습된 모델을 검증 데이터(validation data)로 검증 시 모델이 분류한 결과의 가장 높은 클래스가 실제 해당 클래스로 분류된 확률이다. Top-5 정확도는 모델 검증 시 모델이 분류한 결과 중 가장 높은 5개의 클래스들이 실제 해당 클래스로 분류된 확률 결과이다.
참고문헌 (9)
FAO, "Food Loss and Food Waste," http://www.fao.org/food-loss-and-food-waste/en/
N. L. Wilson, B. J. Rickard, S. Rachel, and H. Shuay-Tsyr, "Food waste: The role of date labels, package size, and product category," Food Quality and Preference, vol. 55, pp. 35-44, 2017.DOI:10.1016/j.foodqual.2016.08.004
Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L. D. Jackel, "Backpropagation applied to handwritten zip code recognition," Neural computation, vol. 1, no. 4, pp. 541-551, 1989.DOI: 10.1162/neco.1989.1.4.541
J. Deng, W. Dong, R. Socher, L. Li-Jia, K. Li, and L. Fei-Fei, "Imagenet: A large-scale hierarchical image database," In the IEEE Computer Vision and Pattern Recognition (CVPR2009) , pp. 248-255, 2009.DOI: 10.1109/CVPR.2009.5206848
A. Krizhevsky, I. Sutskever, and G. Hinton, "ImageNet classification with deep convolutional neural networks," NIPS, 2012.
C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, "Going deeper with convolutions," in 2015 IEEE Conference on Computer Vision, Jun. 2015. and Pattern Recognition (CVPR), 2015.
K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," in ICLR, 2015.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.