[논문]Remote Multi-control Smart Farm with Deep Learning Growth Diagnosis Function

Kim, Mi-jin; Kim, Ji-ho; Lee, Dong-hyeon; Han, Jung-hoon

doi:10.9708/jksci.2022.27.09.049

Remote Multi-control Smart Farm with Deep Learning Growth Diagnosis Function 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.27 no.9, 2022년, pp.49 - 57

Kim, Mi-jin (Dept. of Telecommunication Eng. Jeju National University) , Kim, Ji-ho (Dept. of Telecommunication Eng. Jeju National University) , Lee, Dong-hyeon (Dept. of Telecommunication Eng. Jeju National University) , Han, Jung-hoon (Dept. of Telecommunication Eng. Jeju National University)

초록
AI-Helper

현재 우리 사회는 기후 문제와 세계 인구 증가로 인해 식량 부족 문제가 대두되고 있다. 이를 해결할 방안으로 인공지능(Artificial Intelligent, AI)와 정보통신기술(Information and Communication Technology, ICT)을 접목 시킨 다중 원격 제어 스마트팜을 제안한다. 제안하는 스마트팜은 ICT 기술을 접목시켜 공간과 시간에 제약 없이 원격으로 제어 및 관리하고 작물의 생육환경을 다중 제어한다. 아두이노를 활용하여 스마트폰 애플리케이션(Application, APP)을 통한 다중 제어가 가능한 스마트팜 시스템을 제안하였고, 딥러닝 기술을 적용하여 작물의 생장을 실시간으로 관찰하면서 다양한 데이터 확보 및 진단 기능을 가지는 AI기술을 포함하였다. 스마트팜 내의 각종 센서들을 제어하고 센서들의 데이터 값을 구축한 데이터베이스에 저장하여 사용자가 APP을 통하여 확인할 수 있도록 하였다. 사용자는 APP에서 현재 기상을 참고하여 제어할 수 있도록 하였고 캠을 통해 생육 환경을 실시간으로 확인할 수 있다. 다중 작물을 위한 다중 제어에는 2개 이상의 생육 환경에 대한 각각의 LED, COOLING FAN, WATER PUMP를 적용하여 사용자가 편리하게 제어할 수 있도록 구현하였다. 그리고 딥러닝 기술을 사용하여 TensorFlow 프레임워크를 통해 생육 단계를 진단해주는 APP을 구현하여 사용자가 현재 작물이 어느 단계의 생육 상태인지 손쉽게 진단할 수 있도록 도와주는 애플리케이션을 개발 하고 적용하였다.

Abstract ▼ AI-Helper

Currently, the problem of food shortage is emerging in our society due to climate problems and an increase population in the world. As a solution to this problem, we propose a multi-remote control smart farm that combines artificial intelligence (AI) and information and communication technology (ICT) technologies. The proposed smart farm integrates ICT technology to remotely control and manage crops without restrictions in space and time, and to multi-control the growing environment of crops. In addition, using Arduino and deep-learning technology, a smart farm capable of multiple control through a smart-phone application (APP) was proposed, and Ai technology with various data securing and diagnosis functions while observing crop growth in real-time was included. Various sensors in the smart farm are controlled by using the Arduino, and the data values of the sensors are stored in the built database, so that the user can check the stored data with the APP. For multiple control for multiple crops, each LED, COOLING FAN, and WATER PUMP for two or more growing environments were applied so that the user could control it conveniently. And by implementing an APP that diagnoses the growth stage through the Tensor-Flow framework using deep-learning technology, we developed an application that helps users to easily diagnose the growth status of the current crop.

주제어

표/그림 (13)

그림 Fig. 1. Configuration diagram of multiple remote control smart farm system
그림 Fig. 2. Sensor cage for multi-control and control device using Arduino
그림 Fig. 3. Arduino system configuration
그림 Fig. 4. Flowchart for Arduino
그림 Fig. 5. Configuration of data communication system
그림 Fig. 6. Database access via PHP : (a) Arduino (b) APP
표 Table 1. List of sensors used and units
그림 Fig. 7. Database table settings and stored data received from Arduino, and expressing it in the application.
그림 Fig. 8. Developed app design
그림 Fig. 9. CNN image processing method
그림 Fig. 10. Photos divided into GS (Grow Step) Layers
그림 Fig. 11. AI Diagnostic Results
표 Table 2. CNN Diagnostic Result

AI 본문요약
AI-Helper

문제 정의

본 논문에서 원격 다중 제어와 생장 진단이 가능한 스마트팜 기술에 대해 기술하였다. 아두이노 센서 제어를 위해 nodeMCU, UNO 보드 2개를 사용하였다.
본 연구는 다중 스마트팜의 내부 환경에 대한 정보와 APP을 통한 제어를 통해 최적의 생장 환경과 제어의 편의를 제공하는 시스템을 제안한다. 딥러닝 기술을 기반으로 작물의 생장단계를 판단해주는 기능을 통해 진단하고, 데이터와 결과를 피드백하거나 축적하여 사용자의 식물재배 환경 구성을 보조한다.

제안 방법

그 후에 받아온 목표 값과 측정한 값이 다르다면 목표 값과 같게 만들어 준다. 다시 말해, 먼저 현재 케이지의 정보를 얻기 위해서 온습도 센서, 토양 수분 센서, 조도 센서를 통해서 아날로그 값으로 정보를 받아와 데이터베이스 서버로 정보를 보냄과 동시에 APP에서 설정한 목표제어 환경 정보를 받아와 현재 값과 비교한 후 LED, COOLING FAN, WATER PUMP를 작동하는 방식으로 알고리즘을 구성했다. 센서 값과 목표 값이 같거나 환경 제어가 끝났다면 아두이노는 슬립 모드에 들어가게 된다.
본 연구는 다중 스마트팜의 내부 환경에 대한 정보와 APP을 통한 제어를 통해 최적의 생장 환경과 제어의 편의를 제공하는 시스템을 제안한다. 딥러닝 기술을 기반으로 작물의 생장단계를 판단해주는 기능을 통해 진단하고, 데이터와 결과를 피드백하거나 축적하여 사용자의 식물재배 환경 구성을 보조한다. 케이지를 분리형으로 제작하여 다중 제어가 가능하도록 하였고 사용자가 원하는 다양한 방식으로 독립적인 운영이 가능하다.
이 값들을 APP으로 받아와 사용자가 APP에서 자신의 스마트팜의 환경을 알 수 있고 실시간으로 캠을 통해 자신의 농장 내부 환경을 확인하고 현재 상태에 따라 APP을 통해 제어를 할 수 있다. 또한 아두이노를 활용한 스마트팜 시스템의 통신 및 제어를 위해 블루투스 통신이 아닌 거리의 제한이 없는 무선통신을 활용할 수 있도록 시스템을 구축하였다.
전이 학습 방법을 이용하면 매번 새로운 학습망을 만들 필요가 없어 시간을 단축할 수 있고, 정확도도 더 높다. 본 논문에서는 식물 생장 단계를 GS (Grow Step) 1~5단계로 임의로 분류하고, 식물에 공급되는 물 부족으로 인해 문제가 발생하는 단계인 lack of water까지 총 6개의 레이블을 준비하였다. 직접 식물을 재배하며 촬영한 사진을 이미지 데이터로 사용해 전이 학습을 진행하였고, CNN이 결과값을 6개의 레이블로만 분류하도록 FC Layer를 수정해 6 FC Layer를 사용하였다.
아두이노 센서 제어를 위해 nodeMCU, UNO 보드 2개를 사용하였다. 사용한 센서는 온습도센서, 토양수분센서, CDS조도센서, 워터펌프모터, 식물생장LED, COOLING FAN을 사용하였다. 데이터베이스에 있는 데이터들의 값을 읽어오도록 하여 사용자가 제어할 수 있는 환경을 만들었고 다중제어가 가능하도록 분리형 케이지를 만들었다.
본 논문에서 원격 다중 제어와 생장 진단이 가능한 스마트팜 기술에 대해 기술하였다. 아두이노 센서 제어를 위해 nodeMCU, UNO 보드 2개를 사용하였다. 사용한 센서는 온습도센서, 토양수분센서, CDS조도센서, 워터펌프모터, 식물생장LED, COOLING FAN을 사용하였다.
우선 스마트팜 내에서 여러 종류의 식물을 재배할 수 있도록 분리할 수 있고 통합하여 사용할 수 있도록 그림 2와 같이 다중 제어와 아두이노를 이용한 분할 센서 케이지를 제작했다. 분할된 2개의 케이지는 사용자가 원하는 다중 환경 구성하고 각각 제어할 수 있다.
본 논문에서는 식물 생장 단계를 GS (Grow Step) 1~5단계로 임의로 분류하고, 식물에 공급되는 물 부족으로 인해 문제가 발생하는 단계인 lack of water까지 총 6개의 레이블을 준비하였다. 직접 식물을 재배하며 촬영한 사진을 이미지 데이터로 사용해 전이 학습을 진행하였고, CNN이 결과값을 6개의 레이블로만 분류하도록 FC Layer를 수정해 6 FC Layer를 사용하였다. 그림 11과 표 2에는 직접 작물을 키우면서 진단한 결과를 나타내었다.
이 시스템에서는 릴레이 모듈을 각각의 센서에 연결하고 특정 값을 받아올 때 필요한 센서에 연결해주는 식으로 사용하였다. 환경을 조성하기 위한 센서들은 LED 와 워터 펌프, 쿨링팬이 있으며 워터펌프는 5V를 사용하기 때문에 아두이노 보드를 이용해 전원을 공급하지만 식물 생장 LED와 쿨링팬은 12V용 릴레이 모듈과 건전지 홀더와 연결해 필요한 상황에 작동할 수 있는 시스템을 구성하였다.

이론/모형

APP 개발을 위해 안드로이드 스튜디오 코틀린 기반으로 OKhttp, Retrofit, OpenAPI 기술을 사용하였다. 각 기술들에 대한 설명을 다음과 같이 나열하였다.
입력된 이미지의 특성을 추출해 해당 식물이 어느 레이블에 속하는지 분류하여 식물 생장 단계를 진단한다. 식물 생장 단계를 진단할 신경망으로 Convolutional Neural Network (CNN)을 사용하며, 신경망을 학습시킬 방법으로 전이학습을 적용한다.
연계 메커니즘인 OpenAPI를 활용하여 날씨를 받아올 수 있는 환경을 구성하고, 처음 APP이 실행되고 날씨 정보를 받아 오기위해 Okhttp와 Retrofit2를 사용했다.
Control page 에 목표 제어 환경에 관련된 데이터를 입력하고 버튼을 누르면 데이터베이스에 해당 목표를 저장하도록 하였다. 위와 같이 데이터베이스와 통신하기 위해서 앞서 설명한 PHP를 활용해 통로를 만들어 주었고 그 통로에 접근하기 위해 Okhttp와 Retrofit2를 사용했다. 스마트폰 제어와 GUI를 위하여 그림 8과 같이 APP을 디자인하고 개발하였다.

성능/효과

사용한 센서는 온습도센서, 토양수분센서, CDS조도센서, 워터펌프모터, 식물생장LED, COOLING FAN을 사용하였다. 데이터베이스에 있는 데이터들의 값을 읽어오도록 하여 사용자가 제어할 수 있는 환경을 만들었고 다중제어가 가능하도록 분리형 케이지를 만들었다.
딥러닝 기술 중 이미지를 식별해주는 CNN을 활용하여 작물의 생장 단계를 식별해주는 기능을 APP으로 구현하여 대량의 작물 성장 단계 이미지 데이터를 확보 할 수 있고 사용자는 현재 자신의 작물의 생장단계를 판단하는데 도움을 준다.
아두이노에서 센서들의 값을 설정한 시간에 맞춰 데이터베이스에서 각 센서들의 데이터 값이 데이터베이스 테이블에 쌓인다. 이 값들을 APP으로 받아와 사용자가 APP에서 자신의 스마트팜의 환경을 알 수 있고 실시간으로 캠을 통해 자신의 농장 내부 환경을 확인하고 현재 상태에 따라 APP을 통해 제어를 할 수 있다. 또한 아두이노를 활용한 스마트팜 시스템의 통신 및 제어를 위해 블루투스 통신이 아닌 거리의 제한이 없는 무선통신을 활용할 수 있도록 시스템을 구축하였다.

후속연구

데이터베이스에 쌓인 데이터들을 활용하여 작물들 마다 최적의 조건을 찾을 수 있는 데이터들의 활용하여 작물들마다 최적의 조건을 찾을 수 있는 데이터 분석을 통해 농부 또는 사용자에게 정보를 제공하며 작물을 키워 내면서 쌓인 수많은 데이터들을 활용하여 최적의 작물 성장 조건을 발견하여 농업 기술 발전을 기대할 수 있다. 또한 딥러닝을 활용하여 작물의 이미지 데이터 확보와 데이터 분석을 통해 작물 분류 시스템 등에 적용할 수 있다.
데이터베이스에 쌓인 데이터들을 활용하여 작물들 마다 최적의 조건을 찾을 수 있는 데이터들의 활용하여 작물들마다 최적의 조건을 찾을 수 있는 데이터 분석을 통해 농부 또는 사용자에게 정보를 제공하며 작물을 키워 내면서 쌓인 수많은 데이터들을 활용하여 최적의 작물 성장 조건을 발견하여 농업 기술 발전을 기대할 수 있다. 또한 딥러닝을 활용하여 작물의 이미지 데이터 확보와 데이터 분석을 통해 작물 분류 시스템 등에 적용할 수 있다.
높은 정확도로 사용자에게 작물의 상태를 판별해주는데 도움을 줄 수 있음을 확인하였다. 차후 해충 피해를 입은 식물 사진이나 병에 걸린 사진 등 병충해 관련 추가 학습 데이터입수 시 더욱 다양하게 식물 상태를 진단할 수 있다.

참고문헌 (14)

Yong-hyun Park, "Resolving the food shortage through the popularization of smart farms," Joong-bu Daily Newspaper, DOI: http://www.jbnews.com/news/articleView.html?idxno1362542
Yeon-joong Kim, Ji-yeon Park, and Young-goo Park, "An Analysis of the Current Status and Success Factors of Smart Farms," Korea Rural Economic Research Institute - Other Research Report, pp. 1-74, 2016. DOI: https://doi.org/10.23000/TRKO201700008983
Jae-kyung Lee, Byung-moon Seol "Intelligent Smart Farm A Study on Productivity: Focused on Tomato farm Households" Asia-Pacific Journal of Business Venturing and Entrepreneurship Vol.14 No.3 pp.185-199. DOI: 10.16972/apjbve.14.3.201906.185

원문보기 상세보기
Akshatha, Y., and A. S. Poornima. "IoT Enabled Smart Farming: A Review," 2022 6th International Conference on Intelligent Computing and Control Systems (ICICCS), IEEE, 2022. DOI: 10.1109/ICICCS53718.2022.9788149
Munir, M. Safdar, Imran Sarwar Bajwa, and Sehrish Munawar Cheema. "An intelligent and secure smart watering system using fuzzy logic and blockchain," Computers & Electrical Engineering, vol. 77, pp. 109-119, 2019. DOI: https://doi.org/10.1016/j.compeleceng.2019.05.006

상세보기
Muangprathub, Jirapond, et al. "IoT and agriculture data analysis for smart farm," Computers and electronics in agriculture, vol. 156, pp. 467-474, 2019. DOI: https://doi.org/10.1016/j.compag.2018.12.011

상세보기
Kwon, O. H., Kang, I. C., Min, D. S., Im, H. B., & Park, Y. W. (2021). A Study on the Smart Farm Characteristics Using Multiple Sensors. The Journal of the Korea institute of electronic communication sciences, 16(4), 719-724. DOI: http://dx.doi.org/10.13067/JKIECS.2021.16.4.719

원문보기 상세보기
Ignacio A. Quiroz, Germen H. Alferez "Image recognition of Legacy blueberries in a Chilean smart farm through deep learning" Computer and Electronics in Agriculture 168(2020) 105044, pp. 1-2, 2020 DOI: https://doi.org/10.1016/j.compag.2019.105044

상세보기
Yogendra Singh Parihar, "Internet of things and nodemcu," Journal of Emerging Technologies and Innovative Research, vol. 6, pp. 1085-1088, June. 2019 DOI: https://doi.org/10.13140/RG.2.2.34456.75525
JashDoshi, Tirthkumar Patel, Santosh kumar Bharti, "Smart Farming using IoT, a solution for optimally monitoring farming conditions," Procedia Computer Science, Vol. 160 pp. 746-751, 2019 DOI: https://doi.org/10.1016/j.procs.2019.11.016

상세보기
Dae-yong Hong, Woon-hak Kang, Sang-won Lee, "Implementation of PHP extension for Altibase database server," Proceedings of the Korea Information Processing Society Conference, vol. 19, No. 2, pp. 1392-1395, Nov. 2012. DOI: https://kiss.kstudy.com/thesis/thesis-view.asp?key3873994
Sung-Soo Park, Ji-Won Baek, Sun-Moon Jo, Kyungyong Chung. "Motion Monitoring using Mask R-CNN for Articulation Disease Management," Journal of the Korea Convergence Society, vol. 10, no. 3, pp. 2, 2019. DOI: https://doi.org/10.15207/JKCS.2019.10.3.001

원문보기 상세보기
Kitae Kim, Bomi Lee, and Jongwoo Kim. "Feasibility of Deep Learning Algorithms for Binary Classification Problems," Journal of Intelligence and Information Systems, vol. 23, no. 1, pp. 96-98, 2017. DOI: https://doi.org/10.13088/jiis.2017.23.1.095

원문보기 상세보기
S. Albawi, T. A. Mohammed and S. Al-Zawi, "Understandung of a convolutional neural network," 2017 International Conference on Engineering and Technology (ICET), pp. 2-3, 2017 DOI: https://doi.org/10.1109/ICEngTechnol.2017.8308186

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증