[논문]TCP/IP 소켓을 이용한 원격 측정 장치의 실험 데이터 통합 관리 시스템 개발

김선영; 조환규

문제 정의

본 논문에서는 TCP/IP Socket을 이용해서 원격 실험 장치에 있는 데이터를 통합 관리하는 시스템을 개발하였다. 데이터 폴링에서 파싱까지의 전 공정을 자동화하여 사용자의 임의적인 접근을 최소화하였고, 편의성 또한 높였다.
그러나 비동기 방식으로 데이터를 전송하는 경우 데이터의 전송 속도와 무관하게 다른 작업을 할 수 있어 효율성이 높아지므로, 성능의 측면에 있어서는 비동기 방식이 동기 방식보다 우월하다[4]. 본 논문에서는 데이터의 안정적인 폴링을 가장 우선시하므로 TCP/IP 통신 방법을 사용하며, 폴링 여부를 판단하는 과정에서 동기화 폴링 기법을 사용하고, 실제 폴링 시에는 비동기화 폴링 기법으로 측정 장치로부터 데이터를 수집하는 방식을 사용하여 효율을 높이고자 한다.
본 보고서에서는 측정 장치로부터 서로 다른 포맷을 가진 실험 결과를 자동 수집하고 이를 분석하여 웹에서 시각화하여 보여주는 실험 데이터 통합 관리 시스템을 설계하였다. 실험 데이터는 일반적으로 해당 측정 장치에만 누적되므로 사용자가 실험결과를 얻으려면 각 장치에 직접 접근해야 하는 번거로움이 있다.

제안 방법

본 시스템에서는 데이터 폴링을 하기 전 폴링 여부를 판단하는 과정에서 동기식 통신 방법을 사용하고 실제 폴링이 일어날 때는 비동기식 통신 방법을 사용하였다. 또한 스레드 (thread)로 처리하여 다수의 클라이언트 요청에 대해 병렬․고속 처리가 가능하도록 하였다[2]. 본 시스템에서는 데이터를 확보해서 데이터 웨어하우스(warehouse)를 구축한 후, 정제된 데이터를 추출하고 이를 시각화하여 사용자가 웹에서 데이터를 쉽게 파악할 수 있는 환경을 제공하였다.
또한 파일 송수신 시 보편적으로 사용하는 FTP 방법을 사용하는 것 보다 데이터를 확보할 때 신뢰성을 높일 수 있으므로, 폴링에서는 TCP/IP 소켓을 이용한 방식이 더 적합하다고 판단할 수 있다. 본 시스템에서는 데이터 폴링을 하기 전 폴링 여부를 판단하는 과정에서 동기식 통신 방법을 사용하고 실제 폴링이 일어날 때는 비동기식 통신 방법을 사용하였다. 또한 스레드 (thread)로 처리하여 다수의 클라이언트 요청에 대해 병렬․고속 처리가 가능하도록 하였다[2].
또한 스레드 (thread)로 처리하여 다수의 클라이언트 요청에 대해 병렬․고속 처리가 가능하도록 하였다[2]. 본 시스템에서는 데이터를 확보해서 데이터 웨어하우스(warehouse)를 구축한 후, 정제된 데이터를 추출하고 이를 시각화하여 사용자가 웹에서 데이터를 쉽게 파악할 수 있는 환경을 제공하였다.
표 2. 세 가지 종류의 장치로부터 각각 txt, csv, xls 포맷의 파일을 획득하여 폴링과 파싱을 실험한 결과. 폴링 결과는‘폴링에 성공한 데이터의 개수/전체 파일 개수’ 이고, 파싱 또한 그렇다.
실험은 서버와 클라이언트가 서로 내부 네트워크와 외부 네트워크에 위치할 때의 폴링 속도, 포맷에 따른 파싱 속도를 측정하였다.
그 후 주기적으로 폴더 내의 파일 목록과 해시 맵을 비교하여 갱신된 파일이 존재할 경우 서버와 연결을 함으로써 폴링 할 파일을 한번 검토한다. 연결 후에 서버가 클라이언트로부터 폴링 대상 파일 목록을 수신하면 이와 실제로 서버에 존재하는 파일과의 비교 검토를 통해 정확히 받아야 할 파일만을 수신함으로써 폴링 해야 할 파일에 대해 총 두 번의 확인을 거쳐서 폴링을 수행한다.
정제한 데이터를 사용자가 한 눈에 파악하기 위해서 웹에서 데이터를 시각화하여 보여준다. 그림 5는 그림 4의 데이터를 Flex로 시각화하여 웹에서 나타낸 것이다.
xls, csv, txt등의 파일 내용을 제대로 추출하면 이를 데이터 객체에 저장하여 쿼리(Query)를 생성할 수 있도록 한다. 포맷이 다른 데이터와 전체적, 부분적으로 유실되었거나 변형이 가해진 데이터 또는 의도하지 않은 위치에 발생하는 가비지(garbage) 데이터 등에 대한 예외 처리를 수행하여, 이러한 에러가 발생할 경우 시스템이 바로 종료되지 않고 다음 이벤트로 넘어가되 로그를 남겨서 오류내역을 살펴 볼 수 있도록 하였다. 위와 같은 과정을 거치면 정제한 데이터만으로 웨어하우스를 구축할 수 있다.

대상 데이터

본 시스템의 성능을 측정하기 위해 각 측정 장치에서 도출되는 서로 다른 서식을 가진 3가지 종류의 데이터 K3000, K3100, K3600에 대해 실험하였다. 종류와 무관 하게 실험에 사용한 csv 파일의 크기는 평균 3KB이고, txt 파일의 크기는 평균 3KB, xls 파일의 크기는 평균 59KB이다.

성능/효과

최근의 과학 실험의 추세는 그 규모와 내용이 점차적으로 커지고 복잡해지고 있다. 그에 따라 실험 데이터들의 크기도 방대해지고 종류도 다양해지므로, 이러한 다양한 측정 장비에서 생성된 실험 결과를 효율적으로 분석, 관리, 종합하는 도구에 대한 필요성이 증가하였다. 최근의 건물 모델링 실험의 경우 다양한 형태의 건물이등장함으로 인해 그 데이터가 더욱 복잡한 형태를 띠게된 것을 예로 들 수 있다.
본 논문에서는 TCP/IP Socket을 이용해서 원격 실험 장치에 있는 데이터를 통합 관리하는 시스템을 개발하였다. 데이터 폴링에서 파싱까지의 전 공정을 자동화하여 사용자의 임의적인 접근을 최소화하였고, 편의성 또한 높였다. 폴링으로 구축한 데이터를 정제하여 데이터베이스를 구축하면, 사용자는 이 데이터들이 웹 상에서 시각화된 모습을 확인할 수 있다.
이러한 데이터 들을 관리함에 있어 폴링이나 파싱 시간보다는 그 정확도가 매우 중요한 척도이므로 본 시스템은 원격 측정 장치의 데이터로 데이터 웨어하우스를 무결하게 구축하기에 매우 적합함을 알 수 있었다. 또한 사용자는 데이터에 일절 직접 접근하지 않으면서도 웹을 통해 실험한 데이터의 결과를 파악할 수 있고, 실제 데이터만으로는 부족했던 그래프 부분까지 각 점마다 정확한 수치를 표현함으로써 데이터의 시각화도 제대로 수행되었음을 확인할 수 있었다. 추후 데이터의 속성 별 클러스터링과 클러스터링에 따른 시각화 서비스를 제공할 계획이다.
본 시스템을 활용하여 원격 실험 장치로부터 데이터를 확보할 때의 정확성은 100%로 데이터 손실 없이 파일을 전송함을 확인할 수 있었다. 또한 정상 포맷의 데이터에 대해서도 100%의 파싱 결과를 보임으로써 원격 측정 장치에서 도출되는 데이터를 신뢰도 높게 확보할 수 있었다. 이러한 데이터 들을 관리함에 있어 폴링이나 파싱 시간보다는 그 정확도가 매우 중요한 척도이므로 본 시스템은 원격 측정 장치의 데이터로 데이터 웨어하우스를 무결하게 구축하기에 매우 적합함을 알 수 있었다.
폴링으로 구축한 데이터를 정제하여 데이터베이스를 구축하면, 사용자는 이 데이터들이 웹 상에서 시각화된 모습을 확인할 수 있다. 본 시스템을 활용하여 원격 실험 장치로부터 데이터를 확보할 때의 정확성은 100%로 데이터 손실 없이 파일을 전송함을 확인할 수 있었다. 또한 정상 포맷의 데이터에 대해서도 100%의 파싱 결과를 보임으로써 원격 측정 장치에서 도출되는 데이터를 신뢰도 높게 확보할 수 있었다.
실험 결과 모든 데이터에 대해서 폴링은 100%의 성공률을 보였고, 파싱에서는 cracked data를 제외한 정상 포맷을 따른 파일은 100%파싱에 성공하였다. cracked data의 경우에는 모두 데이터 포맷이 지켜지지 않은 경우로, 시스템이 정상적으로 예외 처리를 수행함을 알 수 있었다.
폴링 시간은 전체 데이터를 폴링 하는데 소요한 시간이며 파싱 시간은 정상 포맷의 데이터를 파싱하고 cracked data를 에러 처리 하는데 소요한 시간의 합이다. 실험 결과 폴링은 데이터나 파일 포맷의 종류와 무관하게 폴링에 모두 성공했고, 파싱은 cracked data를 제외한 정상 포맷의 데이터를 모두 파싱하는데 성공했음을 알 수 있다.
cracked data의 경우에는 모두 데이터 포맷이 지켜지지 않은 경우로, 시스템이 정상적으로 예외 처리를 수행함을 알 수 있었다. 원격 실험 장치에서 얻는 데이터를 관리하는 것은 시간에는 민감하지 않으나 정확도가 매우 높아야 하므로 본 시스템은 원격 데이터 관리에 적합한 성능을 보임을 알 수 있다.
또한 정상 포맷의 데이터에 대해서도 100%의 파싱 결과를 보임으로써 원격 측정 장치에서 도출되는 데이터를 신뢰도 높게 확보할 수 있었다. 이러한 데이터 들을 관리함에 있어 폴링이나 파싱 시간보다는 그 정확도가 매우 중요한 척도이므로 본 시스템은 원격 측정 장치의 데이터로 데이터 웨어하우스를 무결하게 구축하기에 매우 적합함을 알 수 있었다. 또한 사용자는 데이터에 일절 직접 접근하지 않으면서도 웹을 통해 실험한 데이터의 결과를 파악할 수 있고, 실제 데이터만으로는 부족했던 그래프 부분까지 각 점마다 정확한 수치를 표현함으로써 데이터의 시각화도 제대로 수행되었음을 확인할 수 있었다.

후속연구

또한 사용자는 데이터에 일절 직접 접근하지 않으면서도 웹을 통해 실험한 데이터의 결과를 파악할 수 있고, 실제 데이터만으로는 부족했던 그래프 부분까지 각 점마다 정확한 수치를 표현함으로써 데이터의 시각화도 제대로 수행되었음을 확인할 수 있었다. 추후 데이터의 속성 별 클러스터링과 클러스터링에 따른 시각화 서비스를 제공할 계획이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

TCP/IP 소켓을 이용한 원격 측정 장치의 실험 데이터 통합 관리 시스템 개발
Management System for Experimental Data In Remote Measurement Device Using TCP/IP Socket 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

TCP/IP 소켓을 이용한 원격 측정 장치의 실험 데이터 통합 관리 시스템 개발 Management System for Experimental Data In Remote Measurement Device Using TCP/IP Socket 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

TCP/IP 소켓을 이용한 원격 측정 장치의 실험 데이터 통합 관리 시스템 개발
Management System for Experimental Data In Remote Measurement Device Using TCP/IP Socket 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper