선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 우리는 모든 서버들이 공동으로 사용할 수 있는 통합 저장 공간을 구성하고 이를 네트워크를 통해 공유할 수 있도록 설계하였다. 대용량 저장장치의 구성을 위하여 고려할 점은 대용량 기능의 지원 여부를 확인하는 것이다. 운영체제에서는 대용량 기능을 지원하지만 하드웨어가 이를 지원하지 못한다면 저장 공간을 효율적으로 사용할 수 없게 된다.
- 이 연구에서는 관측자료의 수집부터 전처리, 측광 과정을 거쳐 모델 분석에 이르는 KMTNet 자료처리 시스템을 구성하는 각 서버의 하드웨어 설계와 각 자료처리단계 및 측광결과를 관리하는 측광데이터베이스의 구축, 그리고 시험결과에 대해 기술한다. 특히 2장에서는 자료처리 시스템을 구성하는 Observation, Reduction,Data Archive, Analysis 서버에 대하여 기술하고, 3장에서는 DataBase 와 Web 에 대하여 기술한다.
제안 방법
- KMTNet 데이터베이스 구성을 위하여 표 4과 같은 속성 및 자료형으로 각각의 테이블을 설계하였다. Catalog DB는 별의 기본정보를 담고 있는 테이블로 관측영역 내의 별들의 RA/DEC값, 픽셀의 좌표값 등이 저장된다.
- 아직까지 생산된 관측자료가 없기 때문에 OGLE 데이터베이스에서 자료를 추출하여 사용하였다 (Szymanski 2005). OGLE 관측 결과는 13개 필드와 70, 000, 000 레코드를 가지고 있으며 자료의 입력을 위하여 별도의 임시 테이블을 생성하였다. 우리는 이번 시험을 위해 각기 다른 구성을 갖는 두 개의 서버를 사용하였다.
- 각 관측소에서 보내온 자료는 데이터베이스에 저장이 되어 관리되도록 설계하였다. 관측자료 테이블에 저장되는 요소는 관측소 (Site ID), 관측시각(HJD), 관측영역 (Sector ID), 관측영상 (Raw), 관측자료의 확인을 위한 JPG나 GIF 영상 (Image)이다.
- 우리는 이러한 요인을 감안하여 한 장의 거대한 영상을 6400개의 조각영상으로 나누어 처리하는 분산 처리방법을 도입하였다. 관측영상을 가상메모리를 사용하지 않는 범위 내에서 분할하고, 분할된 영상을 여러 개의 서버를 구성하는 각각의 CPU에 네트워크로 분산하여 처리한다. 이때 각각의 분할된 작업을 각 CPU로 분산하는데 걸리는 시간이 추가되지만 단일 처리에 비해 계산 시간을 크게 단축시킬 수 있으므로 심각하게 고려할 사항은 아니다.
- 구성한 측광 데이터베이스를 이용하여 데이터베이스에 자료의 입력과 검색을 시험했다. 아직까지 생산된 관측자료가 없기 때문에 OGLE 데이터베이스에서 자료를 추출하여 사용하였다 (Szymanski 2005).
- 2001) 그룹에 의해서 주로 이루어지고 있다. 두 연구그룹은 은하중심 방향의 탐색 관측을 통해 매년 약 1000 개의 미시중력렌즈 현상을 발견하고, 매일 갱신된 각각의 광도곡선을 홈페이지를 통해 전 세계 중력렌즈 현상 연구자에게 대용량 자료를 제공한다. 특히 OGLE-Ⅱ의 자료는 1996년부터 2000년까지 관측된 약 4천만 개의별들에 대한 10억개의 측광결과를 웹을 통한 데이터베이스 검색으로 사용자에게 제공하고 있는데, 이때 MySQL 데이터베이스 엔진이 사용된다.
- 클러스터 시스템을 설계하였다. 디스크 접근 시간의 손실을 낮추기 위하여 대용량 RAM과 SSD (Solid State Disk) 를 장착하도록 설계하였다. 표 7은 구축할 측광 자료처리 서버와 측광데이터베이스 서버에 요구되는 최소 사양이다.
- 이러한 대규모의 공간을 여러 대의 서버에 독립적으로 장착할 경우 많은 자원의 낭비와 함께 비용과 관리 측면에서 모두 비효율적이다. 따라서 우리는 모든 서버들이 공동으로 사용할 수 있는 통합 저장 공간을 구성하고 이를 네트워크를 통해 공유할 수 있도록 설계하였다. 대용량 저장장치의 구성을 위하여 고려할 점은 대용량 기능의 지원 여부를 확인하는 것이다.
- Linux 배포판을 설치할 경우 Apache Web Server와 PHP 프로그램이 MySQL을 기본 데이터베이스 엔진으로 설정한다. 따라서 이들을 제거하고 설정을 변경하여 PHP 가 ORACLE을 지원할 수 있도록 재설치하였다. 실험에 사용한 데몬은 Apache Web server 2.
- 구성하는 각각의 하드웨어를 설계하였다. 또한 측광 결과를 저장하고 관리하는 측광 데이터베이스를 구축하고 OGLE 관측자료를 이용하여 시험하였다. 데이터 아카이브 및 파일서버는 관측자료의 저장과 관리를 위해 연간 약 360TB 정도의 저장 공간을 필요로 한다.
- 우리는 구체적인 하드웨어 설계를 위하여 가상영상을 만들고 이를 측광파이프라인에 적용하여 자료처리 속도를 측정해 보았다. 실험에 사용한 자료처리 서버는 Intel Xeon 3GHz, 8GB RAM, 7200 RPM SATA 하드디스크로 구성된 시스템을 사용했다.
- 우리는 이 연구를 통하여 KMTNet의 자료처리 시스템을 구성하는 각각의 하드웨어를 설계하였다. 또한 측광 결과를 저장하고 관리하는 측광 데이터베이스를 구축하고 OGLE 관측자료를 이용하여 시험하였다.
- 단일 처리방법시 서버의 부하를 줄이고 연산시간을 감소시키기 위하여 고성능의 CPU, 대용량의 RAM 그리고 빠른 하드디스크에 의존할 수밖에 없어 시스템의 구성에 많은 비용이 요구 된다. 우리는 이러한 요인을 감안하여 한 장의 거대한 영상을 6400개의 조각영상으로 나누어 처리하는 분산 처리방법을 도입하였다. 관측영상을 가상메모리를 사용하지 않는 범위 내에서 분할하고, 분할된 영상을 여러 개의 서버를 구성하는 각각의 CPU에 네트워크로 분산하여 처리한다.
- 통하여 사용자에게 제공된다. 우리도 KMTNet 의 측광결과를 웹에서 검색할 수 있게 측광 데이터베이스와 웹서버가 서로 연동하도록 설계하였다. Linux 배포판을 설치할 경우 Apache Web Server와 PHP 프로그램이 MySQL을 기본 데이터베이스 엔진으로 설정한다.
- 또한 LTO Library를 데이터 아카이브에 추가할 경우 Disk Array에서 관측자료가 저장되는 공간을 줄일 수 있기 때문에 데이터 아카이브의 구축비용을 절감하는 장점을 가진다. 입출력으로 발생하는 병목현상의 해결을 위해 4Gb Fiber Channel로 각각의 서버와 연결하도록 설계하였다.
- 이테이블이 검색 기준으로 사용되며, 다른 5개의 테이블을 참조하여 자료의 저장을 효율적으로 수행한다. 저장되는 자료의 양을 줄이기 위하여 각 레코드에서 관측소, 관측영역의 정보는 ID를 부여하여 관리하고, 이를 참조하여 별의 기본정보를 찾도록 설정하였다. 관측자료에서 관측소와 관측영역을 검색하여 해당 값을 출력하는 SQL 검색문의한 예는 아래와 같다.
- 특히 OGLE-Ⅱ의 자료는 1996년부터 2000년까지 관측된 약 4천만 개의별들에 대한 10억개의 측광결과를 웹을 통한 데이터베이스 검색으로 사용자에게 제공하고 있는데, 이때 MySQL 데이터베이스 엔진이 사용된다. 중력렌즈 현상을 이용한 외계행성 탐색 연구자들은 이들이 제공하는 중력렌즈에 의해 변형된 광도곡선의 형태를 분석한 후, 그 변형이 외계행성에 기인한 효과인지의 여부를 판단한다. 외계행성에 의한 변형이 의심되는 후보 사건에 대해서는 국제 관측망을 이용하여 집중적인 후속 관측을 수행한다.
- 측광자료처리 서버는 20Kx20K 이미지를 전처리 하고 여러 개의 조각 영상으로 분리한 후 분산처리가 이루어지는 클러스터 시스템을 설계하였다. 디스크 접근 시간의 손실을 낮추기 위하여 대용량 RAM과 SSD (Solid State Disk) 를 장착하도록 설계하였다.
대상 데이터
- 따라서 이들을 제거하고 설정을 변경하여 PHP 가 ORACLE을 지원할 수 있도록 재설치하였다. 실험에 사용한 데몬은 Apache Web server 2.2.14 버전과 PHP5.2.11 버전이며 ORACLE 연동을 위해 PHP 설치시--Eth-oci8 옵션을 사용하였다. 검색 페이지는 라디오 버튼을 통하여 Field, Star, RA, DEC 등 사용자가 필요로하는 검색 요소를 선택하는 방법과 SQL 질의문을 직접 입력하는 방법을 제공한다.
- 측정해 보았다. 실험에 사용한 자료처리 서버는 Intel Xeon 3GHz, 8GB RAM, 7200 RPM SATA 하드디스크로 구성된 시스템을 사용했다. 전처리가 완료된 20Kx20K 의 영상을 6400장으로 분할하여 영상 차감법을 수행할 경우 각각의 영상처리에 0.
- 외계행성 모델분석 서버를 2009년 3월에 구성하였다. 이 서버는 외계행성에 의해 변형된 광도곡선을 분석모델과 최적화시켜 행성 파라미터를 구하는 작업을 수행한다.
- OGLE 관측 결과는 13개 필드와 70, 000, 000 레코드를 가지고 있으며 자료의 입력을 위하여 별도의 임시 테이블을 생성하였다. 우리는 이번 시험을 위해 각기 다른 구성을 갖는 두 개의 서버를 사용하였다. 시험에 사용한 두 서버의 성능을 표 5에 나타내었다.
- 측광 데이터베이스는 측광자료 테이블과 5개의 참조 테이블로 구성하였다. 테이블의 구성 시 일정한 크기를 갖지 않아 자료 입력시 발생하는 저장공간의 낭비를 막기 위하여 VARCHAR2를 사용하였다.
- 테이블의 생성시 숫자는 NUMBER 형을, 문자는 VARCHAR2 형을 선언하였다. 만약 10Byte의 자료를입력할 경우 레코드의 형식이 VARCHAR(20) 로 선언되면 입력 자료의 크기에 상관없이 20Byte 가 사용되지만, VARCHAR2(20)로 선언할 경우에는 입력자료의 크기인 10Byte 만 사용한다.
이론/모형
- OGLE 측광자료를 측광 데이터베이스의 테이블에 입력하기 위하여 테이프나 각종 매체로부터 입력이 가능한 SQL*Loader를 이용하였다. OGLE 자료의 입력에 소요되는 시간은 각각의 서버에서 55분과 260분이었으며, 최적화 과정을 거치지 않은 입력 자료의 검색시간은 각각 2분과 7분이었다.
- 필수적이다. 관측영상은 전처리 작업과 Alard and Lupton (1998)에 의하여 소개된 영상차감법2) (Difference Image Analysis) 을 이용하여 측광과정을 거치게 되는데, 이미지 전체를 메모리에 상주시키는 단일 처리방법 대신 이미지를 분할하여 처리하는 분산 처리방법을 이용한다.
- OGLE 자료의 입력에 소요되는 시간은 각각의 서버에서 55분과 260분이었으며, 최적화 과정을 거치지 않은 입력 자료의 검색시간은 각각 2분과 7분이었다. 데이터베이스의 최적화 후에 속도개선을 알아보기 위하여 오라클에서 가장 간단한 최적화 방법인 Index 를 적용한 후 재시험하였다. Index 는 SQL 명령문의 처리 속도를 향상시키기 위해 컬럼에 생성하는 ORACLE 객체로 B*트리 구조를 가지고 있다
- 분석모델은 Intel Fortran Compiler와 쉘스크립트를 이용한 분산처리 기법을 사용한다. 측광 데이터베이스에저장된 측광결과는 모델분석 서버로 입력된 후, 모델 최적화를 통해 결정된 행성 파라미터가 측광 데이터베이스에 다시 기록된다.
- 구성하였다. 테이블의 구성 시 일정한 크기를 갖지 않아 자료 입력시 발생하는 저장공간의 낭비를 막기 위하여 VARCHAR2를 사용하였다. 측광 데이터베이스는 웹서버와 연동하여 웹페이지를 통한 검색화면 제공이 가능토록 하였다.
성능/효과
- 이은정 2006). Index 최적화 수행 시간은 19 분이었고, Index 수행 후 검색시간은 1초 미만으로 줄어들었다. 표 6에 OGLE 자료의 입력과 검색에 소요된 시간을 나타냈다.
- 측광 데이터베이스는 웹서버와 연동하여 웹페이지를 통한 검색화면 제공이 가능토록 하였다. 측광 데이터베이스의 시험을 위해 OGLE 측광자료를 이용하여 검색속도와 안정성을 시험한 결과 검색속도는 1초 미만으로 KMTNet 의 사용에 만족할 만한 수준이었고, 여러 조건에서의 시험 결과 안정적으로 작동하였다.
후속연구
- 특히 각 관측소와 우리나라 사이의 네트워크 연결 상황과 네트워크가 장시간 끊어져 자료 전송이 불가능한 상황 등을 고려하면 네트워크를 통한 실시간 자료전송은 거의 불가능하다. 따라서 우리는 관측자료의 전송을 위하여 2.5/3.5인치 하드디스크 또는 LTO (Linear Tape Open) 등의 저장매체에 관측자료를 담아 항공우편으로 전송하는 방법을 사용할 계획이다.
- 또한 우리가 측광 데이터베이스의 시험을 위해 사용한 OGLE 결과에 비해 KMTNet의 측광결과는 더욱 방대할 것으로 예상된다. 따라서 자료의 크기가 계속 증가할 경우 인덱스를 통한 최적화에는 한계가 있어 데이터베이스의 클러스터링 방법 등의 다양한 최적화 방안 마련과 시험이 뒤따라야 할 것이다.
- 관리하는 과정이 필요하다. 또한 우리가 측광 데이터베이스의 시험을 위해 사용한 OGLE 결과에 비해 KMTNet의 측광결과는 더욱 방대할 것으로 예상된다. 따라서 자료의 크기가 계속 증가할 경우 인덱스를 통한 최적화에는 한계가 있어 데이터베이스의 클러스터링 방법 등의 다양한 최적화 방안 마련과 시험이 뒤따라야 할 것이다.
- 특히 지구와 같이 질량이 작은 행성의 경우에는 광도곡선의 변형 지속시간이 수 시간 정도로 짧기 때문에 현재의 관측전략, 즉 OGLE이나 MOA에 의한 중력렌즈 현상의 발견과 MicroFUN 등 후속 관측그룹의 추적관측으로 구성된 2단계 관측전략에서는 체계적이고도 효율적인 발견이 어려운 실정이다. 이에 한국천문연구원은 KMTNet (Korea Microlensing Telescope Network) 시스템을 구축하여 중력렌즈방법을 이용한 외계행성 발견의 체계적인 연구를 수행할 계획이다. 이 시스템은 은하중심 방향 4°x4。영역의 특정지역을 24시간 연속관측하여 중력렌즈 현상의 발견과 추적관측이 동시에 이루어지는 시스템으로 기존의 2단계 관측을 하나로 합친 효과를 낸다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.