선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 기고에서는 농업분야 빅데이터를 보다 효과적으로 수집·저장·처리하기 위한 플랫폼의 설계에 대해 소개하였다.
- 이에 농업 분야에서 생산되는 각종 정부통계, 기상정보, 생산자·소비자패널, 소득조사정보 등 방대한 데이터(정형, 비정형)를 활용하여 미래 농업이슈 발굴, 경영 및 마케팅 의사결정 전략 수립 및 농업현장에 적용하는 방안에 대한 연구의 필요성이 강하게 제기되고 있다. 본 기고에서는 이러한 스마트 농업경영을 위한 전략개발을 위해 필수적인 농업빅데이터 기반의 플랫폼 설계 시, 고려할 사항들에 대해 살펴보고자한다.
제안 방법
- K-means 알고리즘에서 계산 비용은 주로 거리를 계산하기위해 발생하는데 각 (임의의 중심점 개수 * 클러스터 개수) 배의 거리 계산이 필요하다. 따라서 알고리즘의 성능을 향상시키기 위해 반복하는 부분을 주 알고리즘과 분리해서 계산한다. 이 단계에서 거리계산하는 부분을 분리하기 위해 맵리듀스 함수를 구현한다.
- 즉, 빅데이터를 분산해서 저장하기 때문에 확장성 및 신뢰성이 보장되고 대규모 클러스터 서버를 이용해 방대한 데이터를 신속하게 랜덤 액세스가 가능하다. 설계된 빅데이터 플랫폼에서는 기본 저장소인 HDFS 이외에 빅데이터를 위한 저장 프레임워크인 HBase와 많은 양의 고속 랜덤 액세스가 가능한 또 다른 저장 프레임 워크인 Hive를 포함하여 데이터 저장을 수행한다.
- 농업 빅데이터 플랫폼에서는 다양한 형태의 데이터들을 이용해 여러 가지 분석 작업들을 수행할 수 있어야 한다. 설계된 플랫폼에서는 데이터 처리에 필요한 일회성 데이터 조작 작업 및 기계학습 기반의 반복 작업을 포함하는 분석 작업뿐만 아니라, 농업관련 이미지 분석 및 농업 데이터 상관관계 분석을 위한 연관 룰 분석 작업을 고려한다.
- 설계된 플랫폼에서는 분산파일 시스템인 HDFS를 근간으로 사용해 Hbase, Hive를 데이터웨어 하우스 프레임워크로 활용한다. 이때, 데이터 저장 모듈을 데이터 수집 및 분석 작업의 성능과 밀접한 연관이 있다.
- 설계된 플랫폼의 실시간 데이터 수집 및 저장 성능 확인을 위해, Flume을 마스터에 배치한 후 하나의 Flume 에이전트가 광주 서부 시장 웹사이트에서 매일 생성되는 데이터를 실시간으로 수집하여 설계된 플랫폼에서 제공하는 분석 서비스에서 활용될 수 있도록 하는 응용 프로그램을 구현했다. 해당 수집 모듈을 통해, 제품 가격 데이터가 실시간 방식으로 수집되어 광주 서부 시장의 웹사이트에서 생성되는 모든 텍스트를 2분마다 새로운 파일로 HDFS로 저장할 수 있음을 확인하였다.
- 이를 위해, 병렬적이고 실시간으로 데이터를 처리할 수 있는 하둡 분산 파일 시스템(Distributed Files System, HDFS)과 Flume을 사용해 실시간으로 데이터를 모을 수 있도록 설계하였다. 시스템 또는 서비스의 크롤링 프로세스를 간소화하고 Flume의 스트리밍 데이터 처리를 위해 실시간 데이터를 효율적으로 수집하고 대량의 데이터를 HDFS로 주기적으로 전송한다. 그림 2는 Flume을 사용하여 데이터를 수집하기 위한 설계를 보여준다.
- 임종태 등(2014)은 빅데이터 분석을 이용한 식품 정보 분석 시스템을 설계, 구현하였다. 이 연구에서 제안한 시스템은 식품에 대한 정보를 분석하여 실생활에서 구매자에게 유용한 서비스를 제공한다[2].
- 이러한 연속적이고 높은 가용성을 가진 데이터는 실시간 수집기능을 가진 모듈을 통해 수집되어야 한다. 이를 위해, 병렬적이고 실시간으로 데이터를 처리할 수 있는 하둡 분산 파일 시스템(Distributed Files System, HDFS)과 Flume을 사용해 실시간으로 데이터를 모을 수 있도록 설계하였다. 시스템 또는 서비스의 크롤링 프로세스를 간소화하고 Flume의 스트리밍 데이터 처리를 위해 실시간 데이터를 효율적으로 수집하고 대량의 데이터를 HDFS로 주기적으로 전송한다.
- 제안된 플랫폼에서는 텍스트 데이터뿐만 아니라 이미지 데이터도 처리될 수 있도록 설계되었다. 그림 5는 이미지프로세싱을 위한 플랫폼 구조를 보여준다.
- 맵리듀스(MapReduce) 기반 모듈, 플럼(Flume) 모듈, 스쿱(Sqoop) 모듈을 이용하여 다양한 형태의 데이터를 병렬 방식으로 수집한다. 하둡(Hadoop)기반의 데이터 클리너(Data Cleaner) 모듈을 사용하여 중복 데이터를 제거하고 불규칙한 데이터를 저장한다.
대상 데이터
- 또한 아카이브 데이터 수집 및 저장 성능 확인을 위해, 광주 서부 시장 및 부산 엄궁 시장의 2016년 1월부터 2016년 6월까지 6개월 동안의 아카이브 데이터를 수집하였다. 하둡에서 두 개의 맵(Map)작업으로 구성된 하둡 어플리케이션을 실행해 788분 동안 약 144,000 웹 페이지에서 제공되는 농산물 가격 데이터를 수집했다.
- 그림 1은 설계된 농업 빅데이터 플랫폼의 주요 구조의 개요를 나타낸다. 맵리듀스(MapReduce) 기반 모듈, 플럼(Flume) 모듈, 스쿱(Sqoop) 모듈을 이용하여 다양한 형태의 데이터를 병렬 방식으로 수집한다. 하둡(Hadoop)기반의 데이터 클리너(Data Cleaner) 모듈을 사용하여 중복 데이터를 제거하고 불규칙한 데이터를 저장한다.
- 그림 6은 K-means를 이용해 구현한 이미지 처리 모듈의 성능 평가를 한 결과이다. 이 실험을 위해 평균 약 1.5MB인 이미지를 수집해서 각 연산 모듈에서 0.5GB에서 2.0GB까지의 다양한 크기의 데이터로 실험했다. 실행한 결과 하둡보다 스파크가 약 5.
- 또한 아카이브 데이터 수집 및 저장 성능 확인을 위해, 광주 서부 시장 및 부산 엄궁 시장의 2016년 1월부터 2016년 6월까지 6개월 동안의 아카이브 데이터를 수집하였다. 하둡에서 두 개의 맵(Map)작업으로 구성된 하둡 어플리케이션을 실행해 788분 동안 약 144,000 웹 페이지에서 제공되는 농산물 가격 데이터를 수집했다. 즉, 각 페이지의 가격 데이터는 약 330 밀리 초 내에 수집되었다.
이론/모형
- 현재 농업관련의 다양한 웹사이트에 올라와 있는 아카이브 데이터들은 실제 농업 웹 시장과 유사하다. 약 2백만 건에 달하는 거대한 데이터를 효율적으로 수집하기 위해 하둡 프레임워크(Hadoop Framework)를 사용한다. 그림 3은 아카이브 데이터를 수집하는 맵리듀스 모델을 나타낸다.
성능/효과
- 규칙의 효용성은 위의 세 가지를 모두 반영해서 평가한다. 세 지표가 모두 클 경우에만 효과적인 규칙이라는 결론을 내릴 수 있다.
- 제안된 플랫폼을 이용해 콩을 재배하는 농가의 관련 재배 작물을 Support(지지도) =0.001, confidence(신뢰도) = 0.4의 설정을 가지고 분석 한 결과, 콩을 재배하는 농가의 많은 수가 벼를 함께 재배하고, 그 뒤로 콩, 벼, 엽경체류를 함께 재배한다는 결과를 얻을 수 있었다.
- 설계된 플랫폼의 실시간 데이터 수집 및 저장 성능 확인을 위해, Flume을 마스터에 배치한 후 하나의 Flume 에이전트가 광주 서부 시장 웹사이트에서 매일 생성되는 데이터를 실시간으로 수집하여 설계된 플랫폼에서 제공하는 분석 서비스에서 활용될 수 있도록 하는 응용 프로그램을 구현했다. 해당 수집 모듈을 통해, 제품 가격 데이터가 실시간 방식으로 수집되어 광주 서부 시장의 웹사이트에서 생성되는 모든 텍스트를 2분마다 새로운 파일로 HDFS로 저장할 수 있음을 확인하였다.
후속연구
- 일부 시스템은 저장할 수 있는 데이터 유형이 제한되어 여러 종류의 농업데이터를 가공 및 분석하는데 적합하지 않기 때문에, 수집되는 데이터의 특성을 고려하여 수집 및 저장 구성요소를 잘 설계해야 한다. 또한, 농업 빅데이터 분석 시 자주 사용되는 기능들에 대한 고려를 통해, 보다 효과적인 분석을 수행할 수 있도록 플랫폼의 주요 구성요소들을 설계해야 한다.
- 이를 통해, 기후변화, 병해충 발생 등으로 농업생산의 불확실성이 증대되고 있는 현시점에서, 다양한 농업데이터 분석에 기반을 둔 작황 및 수확량 예측, 적정 출하시기 및 판매전략 등의 합리적인 의사결정을 지원하여 농가소득 향상에 기여할 것이다. 또한, 빅데이터를 활용한 인구구조 및 소비트랜드 변화 등의 농식품 소비 관련 이슈 분석은 농업경영 및 농식품산업계에 합리적인 의사결정의 기초자료를 제공할 것이며, 농업연구기관 및 정부의 미래성장 연구개발 분야 탐색 및 정책방안 마련에 도움을 줄 것이다.
- 다양한 데이터의 특성과 여러 가지 분석 기법을 함께 고려한 플랫폼을 설계함으로써, 보다 효과적이고 효율적으로 농업 경영 전략 개발을 지원할 수 있게 된다. 이를 통해, 기후변화, 병해충 발생 등으로 농업생산의 불확실성이 증대되고 있는 현시점에서, 다양한 농업데이터 분석에 기반을 둔 작황 및 수확량 예측, 적정 출하시기 및 판매전략 등의 합리적인 의사결정을 지원하여 농가소득 향상에 기여할 것이다. 또한, 빅데이터를 활용한 인구구조 및 소비트랜드 변화 등의 농식품 소비 관련 이슈 분석은 농업경영 및 농식품산업계에 합리적인 의사결정의 기초자료를 제공할 것이며, 농업연구기관 및 정부의 미래성장 연구개발 분야 탐색 및 정책방안 마련에 도움을 줄 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.