[논문]실험실정보관리시스템의 확장을 위한 오픈 소스 기반의 빅데이터 처리 기술에 관한 연구

김순곤

doi:10.17661/jkiiect.2021.14.2.161

실험실정보관리시스템의 확장을 위한 오픈 소스 기반의 빅데이터 처리 기술에 관한 연구
A Study on Big Data Processing Technology Based on Open Source for Expansion of LIMS 원문보기

한국정보전자통신기술학회논문지 = Journal of Korea institute of information, electronics, and communication technology, v.14 no.2, 2021년, pp.161 - 167

김순곤 (School of Software Engineering, Joongbu University)

초록
AI-Helper

실험실정보관리시스템(LIMS, Laboratory Information Management System)은 실험실 데이터를 저장, 가공, 검색 그리고 분석하기 위한 중앙화된 데이터베이스로서 검사, 분석, 시험 업무를 수행하는 실험실을 위해 특별히 고안된 컴퓨터 시스템 또는 시스템을 의미한다. 특히 LIMS는 실험실의 운영을 지원하는 기능을 갖추고 있으며, 워크플로우 관리나 데이터 추적지원 등이 필요하다. 본 논문에서는 실험실의 운영을 위하여 빅데이터 자동화 수집 기술의 하나인 크롤링 기술을 활용하여 웹사이트 및 다양한 채널에 존재하는 데이터를 수집한다. 수집된 시험 방법 및 내용 중 시험자가 활용할 수 있는 유용한 시험 방법 및 내용을 추천한다. 그리고 이에 대한 피드백을 관리하여 수집 채널의 검증이 가능한 상호보완적인 LIMS 플랫폼을 구현한다.

Abstract ▼ AI-Helper

Laboratory Information Management System(LIMS) is a centralized database for storing, processing, retrieving, and analyzing laboratory data, and refers to a computer system or system specially designed for laboratories performing inspection, analysis, and testing tasks. In particular, LIMS is equipped with a function to support the operation of the laboratory, and it requires workflow management or data tracking support. In this paper, we collect data on websites and various channels using crawling technology, one of the automated big data collection technologies for the operation of the laboratory. Among the collected test methods and contents, useful test methods and contents useful that the tester can utilize are recommended. In addition, we implement a complementary LIMS platform capable of verifying the collection channel by managing the feedback.

주제어

표/그림 (11)

표 표 1. LIMS의 주요 기능 Table 1. LIMS Functionality
그림 그림 1. 오픈 소스 기반의 빅데이터 수집기술 적용 Fig. 1. Open source based on Big data acquisition
표 표 2. 빅데이터 수집 관련 기술 Table 1. Big Data Aquisition Technique
그림 그림 2. 오픈 소스 기반의 빅데이터 저장기술 적용 Fig. 2. Open source based on Big data store
그림 그림 3. 빅데이터 수집 : 크롤러 for LIMS Fig. 3. Crawling for LIMS
그림 그림 4. 대상 사이트 관리 모듈 Fig. 4. target.py : Managed target sites
그림 그림 5. 수집 모듈 Fig. 5. collector.py : Managed target sites
그림 그림 6. 저장 및 처리 모듈 Fig. 6. processor.py : Stored and processing data
그림 그림 7. 실험실정보관리시스템 대시보드 Fig. 7. Dashboard on LIMS web site
표 표 3. 크롤링 데이터 수집 시간(성능검증) Table 1. Crawl Data Aquisition Time
표 표 4. 크롤링 데이터 처리 시간(성능검증) Table 4. Crawl Data Stored Time

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 데이터 처리의 유연성을 확보하고자 비정형 데이터를 처리하기 위한 빅데이터 수집, 처리·저장기술을 활용하고 보다 더 많은 실험실 환경에서 활용하기 위하여 오픈 소스 기반으로 시스템을 구축하고자 한다.
본 논문에서는 오픈 소스 기반의 빅데이터 수집 및 저장 기술을 활용한 LIMS 고도화 제안 및 시스템 구현을 목표로 진행하였다. 먼저 기존 적용되어 사용되던 LIMS의 기능 등을 분석하여 빅데이터 기술 활용 분야를 도출하였고, 이를 적용하고자 빅데이터 기술의 전반적인 분석과 특히 필요하다고 도출된 수집 및 저장 분야에 적용한 LIMS 설계 및 시스템을 구현하는 단계로 진행하였다.
빅데이터 저장 기술은 작은 데이터라도 모두 저장하여 실시간으로 데이터를 저렴하게 처리하고, 처리된 데이터를 좀 더 빠르고 쉽게 분석하여 의사결정에 적용함에 목적이 있다. 이때 작은 데이터를 저장하는 기술은 구글이나 애플, 야후 등에 의해 요소기술로서 상당히 높은 완성도에 도달해 있으며, 최근에는 Hadoop 의 HDFS/HBase, Cassandra, MongoDB 등이 대표적인 기술이다.

제안 방법

하였다. (3)배치 형태로 크롤러가 동작하며, (4) 시험방법 및 내용을 수집하는데 있어서 대상 사이트가 부하가 없도록 5초 이하를 목표로 구현하였다.
구현된 수집 기술의 성능을 검증하기 위하여, (1) 데이터 수집을 위한 크롤러를 구동하여 (2)target에 설정된 5개의 참조 사이트를 대상으로 크롤링을 수행하도록 하였다. (3)배치 형태로 크롤러가 동작하며, (4) 시험방법 및 내용을 수집하는데 있어서 대상 사이트가 부하가 없도록 5초 이하를 목표로 구현하였다.
구현된 저장 기술 성능을 검증하기 위하여, (1) 수집된 데이터를 처리하여 데이터베이스에 저장하는 시간을 측정하였고, (2)Raw data 형태(html)로 NoSQL 저장하는 1단계와 (3)정제된 데이터(시험 방법 및 내용)를 RDBMS에 저장하는 2단계, (4)수집 및 처리 완료된 성공/실패에 대한 사이트별 결과 통계 데이터를 저장하는 3단계로 구성하였다. 저장 기술 성능은 1~3 단계까지의 결과 저장 시간을 20초 이하를 목표로 구현하였다.
구현한 빅데이터 수집 기술은 Python으로 구현하였으며, 모듈화(컴포넌트 또는 패키지, 유사한 개념으로 이해)하여 구성하였다.
이를 위하여 수집시 외부 데이터를 가져오기 위한 크롤링 기술을 적용하였다. 데이터 수집 성능과 중복되는 데이터 및 데이터 생성 주기 등을 고려하여 캐시 및 메모리 기반의 수집 데이터 중복 확인 기능을 구현하고자 소프트웨어 스택을 구성(아키텍처)하였다.
또한 메인 모듈 crawler.py에서의 복잡도를 낮추어 수집과 저장을 분리하고자 collector.py 모듈을 구현하여 단독으로 수집이 가능하도록 구현하였다.
py 모듈을 구현하여 저장 및 처리가 가능하도록 구현하였다. 또한 수집과 저장이 분리되면서 각 단위별로 오류 및 중복데이터 등의 처리를 위하여 수집시 원천데이터를 파일 (i.e.[요청페이지/시간 등으로 표현된 랜덤생성 파일명]. html)로 생성하여 저장하고, processor.py에서는파일 기반으로도 처리·저장이 가능하도록 구현하였다.
목표로 진행하였다. 먼저 기존 적용되어 사용되던 LIMS의 기능 등을 분석하여 빅데이터 기술 활용 분야를 도출하였고, 이를 적용하고자 빅데이터 기술의 전반적인 분석과 특히 필요하다고 도출된 수집 및 저장 분야에 적용한 LIMS 설계 및 시스템을 구현하는 단계로 진행하였다. 관련연구를 통하여 LIMS는 정유, 석유화학, 정밀화학, 제조업, 금속, 제철, 식품, 의약, 연구소, 정밀화학, 보건환경, 검사소 등 여러 분야의 실험 실내시험 분석 업무에는 어느 곳이든 적용 가능하며, 다양한 분야에서 활용이 되는 만큼 시험 업무를 수행함에 있어 시험 내용과 방법에 대한 참조가 필요하다, 이를 위하여 오픈 소스 기반의 빅데이터 수집기술 및 전처리, 저장, 관리 등의 기술 활용이 가능하다는 점이 강점이라 할 수 있다.
먼저 대상 사이트를 관리하기 위한 target.py를 구성하여, 서버내에 cronjob에 등록하여 매일 00시에 수집이 이루어지도록 하였다. 크롤러의 로깅을 위한 logger.
본 논문에서 제안하는 LIMS는 기존의 LIMS와 다르게 오픈 소스 기반의 빅데이터 수집 기술을 활용하는 플랫폼으로 재구성하였다. 이를 위하여 수집시 외부 데이터를 가져오기 위한 크롤링 기술을 적용하였다.
본 논문에서 제안하는 LIMS는 오픈 소스 기반의 빅데이터 저장 기술을 활용하는 플랫폼을 제안하였고, 이를 위하여 저장시 Raw Data(원천데이터)의 비정형 데이터를 저장하기 위한 NoSQL과 저장된 데이터의 검색 및 통계 등의 질의 속도 향상을 위하여 RDBMS(관게형 데이터베이스)인 MariaDB를 적용하였다. MariaDB는 MySQL과 동일한 아키텍처를 제공하며 Oracle의 유료 라이센스가 아닌 무료 라이센스를 사용하기 때문에 비용측면에서도 이득이 있어 적용하였다.
앞서 언급한 것과 같이 메인 모듈의 복잡도를 낮추어 수집과 저장을 분리하였고 processor.py 모듈을 구현하여 저장 및 처리가 가능하도록 구현하였다. 또한 수집과 저장이 분리되면서 각 단위별로 오류 및 중복데이터 등의 처리를 위하여 수집시 원천데이터를 파일 (i.
오픈 소스 기반의 빅데이터 수집기술을 적용하기 위하여 Data Mart 즉, 타겟 도메인내에 속하는 다양한 기관의 웹사이트 데이터와 참조가 되는 해외 사이트에 구성된 데이터를 Raw Data 형태로 수집하여 적재하고, 성능을 향상시키기 위하여 티어별 다양한 데이터를 분류하고, 정제하여 통계 데이터로도 활용이 가능하도록 설계하였다.
오픈 소스 기반의 빅데이터 저장기술을 적용하기 위하여 데이터를 단계별로 구성하였고, Data Lake를 구성하여 Raw Data, Meta Data, Master Data 등의 관리를 위하여 In-memory DB, NoSQL, RDBMS를 단계적으로 구성하여 Big Data 기반의 데이터 플랫폼을 구성하였다.
3단계로 구성하였다. 저장 기술 성능은 1~3 단계까지의 결과 저장 시간을 20초 이하를 목표로 구현하였다.
저장된 레퍼런스 데이터는 시험 방법 및 내용을 실험자가 참고할 수 있도록 검색 기능을 제공하고 검색된 시험 방법 및 내용을 참고하여 시험의 진행 및 결과를 기록할 수 있도록 구현하였다.
py를 구성하여, 서버내에 cronjob에 등록하여 매일 00시에 수집이 이루어지도록 하였다. 크롤러의 로깅을 위한 logger.py를 구성하여 원하는 형태(warning, error, 등)로 로그 출력이 가능하도록 하였고, 캐시 및 저장을 위한 lredis.py, mongodb.py, mysql.py 등을 모듈화하여 수집 및 저장 모듈에서는 해당 모듈을 import 하면 가능하도록 구현하였다.

이론/모형

실험실정보관리시스템(LIMS)은 레퍼런스 데이터를 수집하기 위하여 통합 LIMS외에 다양한 유사 사이트나 매체들을 이용할 수 있으며, 크롤링(Crawling, Scraping)기술을 활용하였다.
재구성하였다. 이를 위하여 수집시 외부 데이터를 가져오기 위한 크롤링 기술을 적용하였다. 데이터 수집 성능과 중복되는 데이터 및 데이터 생성 주기 등을 고려하여 캐시 및 메모리 기반의 수집 데이터 중복 확인 기능을 구현하고자 소프트웨어 스택을 구성(아키텍처)하였다.

성능/효과

의미한다[1]. LIMS를 통하여 실험실의 표준화되고 프로세스 고도화된 통합적인 데이터 관리가 가능하고, 분석 데이터의 수집부터 보관에 이르는 실험실의 데이터 생명주기의 관리와 결과 데이터의 재활용이 용이하다. LIMS는 정유, 석유화학, 정밀화학, 제조업, 금속, 제철, 식품, 의약, 연구소, 정밀화학, 보건환경, 검사소 및 기타 관련 분야를망하하여 실험실내 시험 분석 업무에는 어느 곳이든 적용이 가능하다.

후속연구

관련연구를 통하여 LIMS는 정유, 석유화학, 정밀화학, 제조업, 금속, 제철, 식품, 의약, 연구소, 정밀화학, 보건환경, 검사소 등 여러 분야의 실험 실내시험 분석 업무에는 어느 곳이든 적용 가능하며, 다양한 분야에서 활용이 되는 만큼 시험 업무를 수행함에 있어 시험 내용과 방법에 대한 참조가 필요하다, 이를 위하여 오픈 소스 기반의 빅데이터 수집기술 및 전처리, 저장, 관리 등의 기술 활용이 가능하다는 점이 강점이라 할 수 있다. 강점을 살리면서 LIMS의 확산 및 확대를 위하여 시스템의 설계 및 구현은 빅데이터 기술의 사용사례로서 다양한 업무분야에 빅데이터 기술이 적용 가능하고 필요하다는 당위성을 대변할 수 있을 것으로 기대한다. 향후에는 실험실에서 진행되는 시험뿐만 아니라 결과의 히스토리 관리를 통하여 기존시스템의 외부적인 데이터 활용뿐만 아니라 지속적으로 증가하는 내부 데이터의 연계를 통한 시스템 고도화 및 안정화, 또한 운영으로서의 실험실 정보관리시스템(DevOps for LIMS)에 대한 연구 및 시스템 설계 및 구현이 필요한 것으로 사료된다.
강점을 살리면서 LIMS의 확산 및 확대를 위하여 시스템의 설계 및 구현은 빅데이터 기술의 사용사례로서 다양한 업무분야에 빅데이터 기술이 적용 가능하고 필요하다는 당위성을 대변할 수 있을 것으로 기대한다. 향후에는 실험실에서 진행되는 시험뿐만 아니라 결과의 히스토리 관리를 통하여 기존시스템의 외부적인 데이터 활용뿐만 아니라 지속적으로 증가하는 내부 데이터의 연계를 통한 시스템 고도화 및 안정화, 또한 운영으로서의 실험실 정보관리시스템(DevOps for LIMS)에 대한 연구 및 시스템 설계 및 구현이 필요한 것으로 사료된다.

참고문헌 (7)

Yullin Technologies Co., Ltd., "LIMS/LAS Overview", http://www.yullin.com/Lims.
Wiseman Lim, Ryu Ki Sang, "Development of Cloud-based Laboratory Information Managemnet System using Bigdata Acquisition, Processing.Store Technology", Regional Enterprise Open-Innovative Voucher Program(R&D, P0010684) 2019.
Autoscribe Informatics, "LIMS Overview", https://www.autoscribeinformatics.com/lims-laboratory-information-management-system.
IITP(Institute of Information & Communications Technology Planning & Evaluation, "About the Forth Industrial Revolution", 2017.
FROST, "Analysis of the US MLIMS Market", November, 2014.
Choi Byung Lee, "A Study on the Implementation Strategy for Laboratory Information Management System of the Pharmaceutical Company", Industiral Pharmaceutical Sciences, The Graduate School, Yonsei University, pp. 4, June, 2020.
Lee Jae Jun, "Hallum ICT Policy Journal", CPRC ISSUE BRIEFING HALLYM, No.2, pp. 14-19, December, 2015.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증