$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

수입식품 빅데이터를 이용한 부적합식품 탐지 시스템에 관한 연구

Study on Anomaly Detection Method of Improper Foods using Import Food Big data

The journal of Bigdata = 한국빅데이터학회지, v.3 no.2, 2018년, pp.19 - 33  

조상구 (식품안전정보원) ,  최경현 (한양대학교 기술경영대학원)

초록
AI-Helper 아이콘AI-Helper

FTA체결의 증가, 식품교역 증가 및 소비자의 다양한 식품 선호도 등으로 농축수산물 및 가공식품의 수입량은 매년 증가하고 있는 추세이다. 수입식품의 안전성을 확인하는 정밀검사는 전체 수입식품건수 대비 20%정도를 차지하고 계속 증가하고 있는 반면에 정부의 수입안전관리에 필요한 예산과 인력은 그 한계점에 다다르고 있다. 수입식품 안전사고가 발생하게 되면 막대한 사회적, 경제적 손실을 야기할 수 있으므로 수입식품의 수입허용여부를 정확하게 예측하여 선제 대응하는 것은 수입안전관리의 효율성과 경제성을 획기적으로 높일 수 있게 된다. 식품분야에서는 이미 엄청난 양의 정형 데이터가 과거로부터 쌓여 왔으며 이에 대한 충분한 분석을 통한 활용은 아직은 부족한 것이 현실이다. 전체 수입건수와 중량 중에서 차지하는 가공식품의 비중은 평균 75%에 달하고 있어 식품분야에서도 빅데이터의 분석, 분석기법의 적용 등으로 다량의 데이터로부터 의미 있는 정보를 추출하는 과학적이고 자동화된 부적합탐지시스템의 연구가 절실한 상황이다. 이러한 배경에서 본 연구는 기계학습분야의 다양한 부적합 예측 모형을 적용하였으며 예측 모형의 정확도를 개선시키기 위한 방편으로 새로운 파생변수의 생성을 통한 데이터 전처리 방안을 제시하였다. 또한 본 연구에서는 기계학습분야의 일반적인 기저 분류기를 적용하여 예측 모형의 성능을 비교하였으며 여러 기저분류기 중 Gaussian Naïve Bayes예측 모형이 수입식품의 부적합을 탐지하여 예측하는 가장 좋은 성과를 보여주었다. 향후 Gaussian Naïve Bayes 예측 모형을 이용한 부적합 탐지 모형을 적용하여 수입식품의 정밀검사 비중을 낮추고 부적합률을 제고시킴으로써 수입안전관리 국가사무의 효율성과 수입통관의 신속성에 지대한 효과를 거둘 수 있으리라 기대한다.

Abstract AI-Helper 아이콘AI-Helper

Owing to the increase of FTA, food trade, and versatile preferences of consumers, food import has increased at tremendous rate every year. While the inspection check of imported food accounts for about 20% of the total food import, the budget and manpower necessary for the government's import inspec...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 아쉽게도 지금까지 수입식품의 현황에 대한 데이터 분석과 기계학습 예측 모형의 적용에 관한 연구가 국내외에서 거의 없는 실정이다. 본 연구는 수입식품 데이터를 정제하고 부적합 예측 모형의 적용을 통해 사전 예측 모형의 성과를 높이고자 한다. 수입식품 데이터의 부적합비율은 1.
  • 수입식품의 안전사고를 방지하기 위해서 정부는 정밀검사 비중을 늘리거나 부적합 판정비율을 높일 수 있는 방안을 강구하여야 한다. 본 연구에서는 정밀검사 결과에 대한 사전예측을 통해 정밀검사의 부적합 판정율을 높이고자 한다.
  • 빅데이터와 기계학습 분야의 다양한 분석기법을 활용하여 수입식품 빅데이터의 특정패턴을 인식하고 분석해 정밀검사 결과를 직접 실시하기 전에 부적합식품의 탐지 예측을 수행하였다. 본 연구의 목적은 부적합이 우려되는 수입식품을 사전에 예측하여 부적합판정 비율을 높이고 우량 수입식품에 대해서는 신속한 수입통관절차를 적용하여 수입식품통관 국가 업무의 신속성과 효율성을 높이고자 한다. 다양한 예측모형의 민감도(sensitivity), 특이도(specificity), 수신자조작특성곡선(ROC, Receiver Operating Characteristic Curve) 등을 산출하여 AUROC(Area Under ROC Curve)를 예측모형의 성과 평가기준으로 Gaussian NaïveBayes 예측모형을 제시하였다.
  • 예측모형의 수신자조작특성곡선(ROC, Receiver Operating Characteristic Curve)은 진짜 부적합식품 중에서 부적합을 얼마나 잘 식별하는 지를 나타내는 민감도(Sensitivity)와 진짜 적합식품 중에서 예측모형의 방법이 적합식품을 얼마나 잘 골라내는지를 나타내는 특이도(Specify)를 보여주고 있다. 본 연구의 목적은 실제로 부적합식품 중 부적합 사전예측이 있다고 가려낼 확률과 실제 적합식품 중에서 적합하다는 사전예측을 할 확률을 가장 크게 줄일 수 있는 예측모형을 찾는 것이다. 따라서 수입식품의 정밀검사 결과를 부적합과 적합의 이진분류를 위한 부적합 예측 모형의 성과는 AUROC의 척도로 판단하였다.
  • 수입식품 데이터에 대한 이해도를 높이고 수입부적합 및 적합 판정결과에 미치는 변수의 변별력을 파악하는 목적으로 수행하였다. 총 135개의 수입국가 중 중량기준 상위 20개국(중국, 호주, 중국, 러시아연방, 브라질, 베트남, 필리핀 등)의 수입량이 전체 수입량의 92.
  • 과거에 적용되었던 사례와 그 결과를 참조하여 새로운 사례에 적용하는 사례기반추론과 같이 특화된 지식을 활용하여 불균형데이터문제를 해결하는 방법도 있다(Allen, 1994). 이 이외에도 클러스터링 방법을 통한 데이터 전처리 기법, 유전자 알고리즘을 통해 결합적으로 데이터의 불균형문제를 해결하고자 하이브리드 모형을 적용하여 소수 범주 데이터의 패턴을 찾아내고자 하였다(Hwang, et al., 2007).
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
수입식품이 지속적으로 증가하고 있는 배경은? 1995년 WTO(World Trade Organization)출범 이후 국간 간 자유무역협정(FTA) 체결 증가로 인해 수입식품은 지속적으로 증가하고 있는 추세이다. 최근 5년간 농축수산물 및 가공식품의 수입건수와 수입중량 증가율은 각 각 7.
수입식품 등에 대한 통관단계검사 중에 정밀검사에 대한 한계점은? 52%이다. 정밀검사는 수입식품의 표본을 직접 채취하여 실험실에서 이화학검사를 실시하는 등 시간과 비용의 부담이 있어 식품의약품안전처의 한정된 자원으로 검사를 확대하는 것은 어려운 현실이다. 국민건강에 위험을 끼칠 수 있는 수입식품을 정밀검사결과를 사전에 예측하여 식품안전사고를 방지하는 것이 필요하다.
농축수산물 및 가공식품의 수입건수와 수입중량 증가율은 어떻게 되나요? 1995년 WTO(World Trade Organization)출범 이후 국간 간 자유무역협정(FTA) 체결 증가로 인해 수입식품은 지속적으로 증가하고 있는 추세이다. 최근 5년간 농축수산물 및 가공식품의 수입건수와 수입중량 증가율은 각 각 7.5%, 6.0%로 매년 증가하고 있다. 2017년도에는 총 167개국으로부터 625, 443건을 수입하였고 이중 가공식품은 총 440, 974건으로 전체 수입신고의 71%를 차지하고 있다.
질의응답 정보가 도움이 되었나요?

참고문헌 (26)

  1. Allen, Bradley P., "Case-Based Reasoning: Business Applications", Communications of the ACM, Vol.37, No.3(1994), 40-42. 

  2. Barandela, R., V. Garcia, E. Rangel, and J. S. Sanchez, "Strategies for Learning in Class Imbalance Problems", Pattern Recognition, Vol.36, No.3(2003), 849-865. 

  3. Beaver, William H., "Financial Ratios as Predictors of Failure", Journal of Accounting Research, Vol.4, No.3(1996), 71-111. 

  4. Cao, Fuyuan, Jiye Liang, Deyu Li, and Xingwang Zhao, "A Weighting K-Modes Algorithm for Subspace Clustering of Categorical Data", Neurocomputing. Vol.108(2013) 23-30. 

  5. Chang, D.S. and S.H. Lee, "A Study on the Us's Safety Control System for the Imported Food: Focused on the Processed Food", The Journal of International Commerce, Vol.31, No.4(2016), 325-50. 

  6. Derrac, Joaquin, Chris Cornelis, Salvador Garcia, and Francisco Herrera, "Enhancing Evolutionary Instance Selection Algorithms by Means of Fuzzy Rough Set Based Feature Selection", Information Sciences. Vol.186, No.1(2012), 73-92. 

  7. Fawcett, Tom, "An Introduction to Roc Analysis", PATTERN RECOGNITION LETTERS, Vol.27, No.8(2006), 861-74. 

  8. Galar, M., A. Fernandez, E. Barrenechea, H. Bustince, and F. Herrera, "A Review on Ensembles for the Class Imbalance Problem: Bagging-, Boosting-, and Hybrid-Based Approaches", IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), Vol.42, No.4(2012), 463-84. 

  9. Ganganwar, Vaishali, "An Overview of Classification Algorithms for Imbalanced Datasets", International Journal of Emerging Technology and Advanced Engineering, Vol.2, No.4(2012), 42-47. 

  10. Garcia, V., A. I. Marques, and J. S. Sanchez, "On the Use of Data Filtering Techniques for Credit Risk Prediction with Instance-Based Models", Expert Systems With Applications, Vol.39, No.18(2012), 267-76. 

  11. Jin, Huang, and C. X. Ling, "Using Auc and Accuracy in Evaluating Learning Algorithms", IEEE Transactions on Knowledge and Data Engineering, Knowledge and Data Engineering, IEEE Transactions on, IEEE Trans. Knowl. Data Eng,Vol. 17, No.3(2005), 299-310. 

  12. Jo, Taeho, and Nathalie Japkowicz, "Class Imbalances Versus Small Disjuncts", SIGKDD Explor. Newsl, Vol. 6, No.1(2004), 40-49. 

  13. Kang, P.S., H.J. Lee and S.Z. Cho, " Svm Ensemble Techniques for Class Imbalance Problem", KOREA INFORMATION SCIENCE SOCIETY, Vol.31, No.2(2004), 706-708. 

  14. Kim, U.M. and T.H. Hong, "The Prediction of Customers based on Case Based Reasoning with Weighted Factors for imbalanced Data Sets", The Journal of Information Systems, Vo1.21, No.1(2014), 29-45. 

  15. Koufakou, Anna, and Michael Georgiopoulos, "A Fast Outlier Detection Strategy for Distributed High-Dimensional Data Sets with Mixed Attributes", DATA MINING AND KNOWLEDGE DISCOVERY, Vol.20, No.2(2010) 259-89. 

  16. Lee, J.S. and J.G. Kwon, "A Hybrid Svm Classifier for Imbalanced Data Sets", Journal of Intelligence and Information Systems. Vol.19, No.2(2013), 125-40. 

  17. Mac Namee, B., P. Cunningham, S. Byrne, and O. I. Corrigan, "The Problem of Bias in Training Data in Regression Problems in Medical Decision Support", ARTIFICIAL INTELLIGENCE IN MEDICINE, Vol.24, No.1(2002), 51-70. 

  18. Min, S.H., "Bankruptcy prediction using the improved bagging ensemble algorithm", Journal of Intelligence and Information Systems. Vol.20, No.4(2014), 121-139. 

  19. Ohlson, James A., "Financial Ratios and the Probabilistic Prediction of Bankruptcy", Journal of Accounting Research, Vol.18, No.1(1980), 109-31. 

  20. Otey, M. E., A. Ghoting, and S. Parthasarathy, "Fast Distributed Outlier Detection in Mixed-Attribute Data Sets", DATA MINING AND KNOWLEDGE DISCOVERY, Vol.12, No.2-3 (2006), 203-28. 

  21. Pai, Hao-Ting, Fan Wu, and Pei-Yun S. Hsueh, "A Relative Patterns Discovery for Enhancing Outlier Detection in Categorical Data", DECISION SUPPORT SYSTEMS, Vol.67(2014), 90-99. 

  22. Park, M. S., H. N. Kim, and G. J. Bahk, "The Analysis of Food Safety Incidents in South Korea, 1998-2016", Food Control, Vol.81(2017), 196-199. 

  23. Said, A. M., D. D. Dominic, and B. B. Samir, "Frequent Pattern-Based Outlier Detection Measurements: A Survey", International Conference on Research and Innovation in Information Systems (ICRIIS), 2011 

  24. Thompson, Christopher Glen, Rae Seon Kim, Ariel M. Aloe, and Betsy Jane Becker, "Extracting the Variance in Flation Factor and Other Multicollinearity Diagnostics from Typical Regression Results", Basic & Applied Social Psychology, Vol.39, No.2(2017), 81-90. 

  25. Wu, X., V. Kumar, M. Steinbach, Q. J. Ross, J. Ghosh, Q. Yang, H. Motoda, G. J. McLachlan, A. Ng, B. Liu, P. S. Yu, Z. H. Zhou, D. J. Hand, and D. Steinberg, "Top 10 Algorithms in Data Mining", Knowledge and Information Systems, Vol.14, No.1(2008), 1-37. 

  26. Zhao, Xingwang, Jiye Liang, and Fuyuan Cao, "A Simple and Effective Outlier Detection Algorithm for Categorical Data", INTERNATIONAL JOURNAL OF MACHINE LEARNING AND CYBERNETICS, Vol.5, No.3(2014), 469-77. 

저자의 다른 논문 :

섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트