[논문]개인정보 보안강화 및 빅데이터 활성화를 위한 새로운 빅데이터 플랫폼 제시

송민구

doi:10.14400/jdc.2016.14.12.155

개인정보 보안강화 및 빅데이터 활성화를 위한 새로운 빅데이터 플랫폼 제시
The suggestion of new big data platform for the strengthening of privacy and enabled of big data 원문보기

디지털융복합연구 = Journal of digital convergence, v.14 no.12, 2016년, pp.155 - 164

송민구 (예원예술대학교 교양학부)

초록
AI-Helper

본 논문에서는 국내외에서 발표된 빅데이터 플랫폼을 조사 및 분석하였다. 분석결과 각 플랫폼에서 개인정보보안에 문제점이 있었다. 특히 빅데이터 플랫폼에 많이 사용되는 대표적인 NoSQL DB인 HBase에 저장된 빅데이터 개인정보 암호화의 취약점과, DB에 저장된 데이터를 암 복호화 할 때에 시스템에 부하가 발생하는 것이다. 이에 본 논문에서는 HBase의 암호화 방법, 암 복호화시 시스템 및 네트워크 통신의 부하를 경감시키는 방안과 빅데이터 플랫폼의 각 단계에 개인정보관리체계(PIMS)를 적용하는 방안을 제시한다. 그리고 이것이 반영된 새로운 빅데이터 플랫폼을 제안한다. 따라서 제안된 빅데이터 플랫폼은 개인정보보안강화 및 시스템 성능의 효율성 확보로 빅데이터 사용의 활성화에 크게 기여할 것이라 판단된다.

Abstract ▼ AI-Helper

In this paper, we investigate and analyze big data platform published at home and abroad. The results had a problem with personal information security on each platform. In particular, there was a vulnerability in the encryption of personal information stored in big data representative of HBase NoSQL DB that is commonly used for big data platform. However, data encryption and decryption cause the system load. In this paper, we propose a method of encryption with HBase, encryption and decryption systems, and methods for applying the personal information management system (PMIS) for each step of the way and big data platform to reduce the load on the network to communicate. And we propose a new big data platform that reflects this. Therefore, the proposed Big Data platform will greatly contribute to the activation of Big Data used to obtain personal information security and system performance efficiency.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 빅데이터 플랫폼에 저장장치로 많이 사용되는 대표적인 NoSQL DB인 Hbase에 저장된 데이터의 개인정보보호 보안을 위한 암호화 방안은 선행연구[15]에서 제시한 하드웨어 기반의 암호화 방식을 기반으로 한다.
이 방안은 DB에 저장된 빅데이터 개인정보의 암·복호화 과정에서 생기는 시스템 부하를 줄이기 위하여 전체 데이터를 전부 암호화 하지 않고 컴럼 패밀리 단위로 데이터를 암·복호화 하는 방안을 제시하였다[12].
이 방안은 DB에 저장된 빅데이터개인정보의 암·복호화 과정에서 생기는 시스템 부하를 줄이기 위하여 전체 데이터를 전부 암호화 하지 않고 컴럼 패밀리 단위로 데이터를 암·복호화 하는 것이다.
이에 본 논문에서는 HBase의 암호화 방법, 암·복호화시 시스템 부하를 경감시키는 방법과 빅데이터 플랫폼의 각 단계에 개인정보관리체계(PIMS)를 철저하게 적용하는 방안을 제시한다.
이에 본 논문에서는 HBase의 암호화 방법, 암·복호화시 시스템 부하를 경감시키는 방법과 빅데이터 플랫폼의 각 단계에 개인정보관리체계(PIMS)를 철저하게 적용하는 방안을 제시한다. 제시된 방안을 바탕으로 새로운 빅데이터 플랫폼을 제안하고자 한다. 제안된 플랫폼은 각각의 단계에서 개인정보보호법에 저촉되는 부분을 방지하여 궁극적으로는 빅데이터 활성화에 크게 기여할 것으로 판단된다[3, 4, 5].

제안 방법

제안된 방법은 민감한 개인정보에 대해서는 철저하게 보안을 유지함과 동시에 하드웨어 기반 컬럼 패밀리의 암·복호화의 빈도수를 줄여서 네트워크 통신의 부하를 경감시킬 수 있었다. 따라서 본 논문에서는 저장된 빅데이터의 효율적인 개인정보 암호화 방안과 빅데이터 수집부분, 저장및 관리부분, 빅데이터 처리, 분석, 분석결과 가시화 및 서비스 단계에 개인정보 보안을 강화하는 장치를 마련한[Fig. 9]의 빅데이터 플랫폼을 제안하였다. 제안된 플랫폼은 첫째, HBase 데이터베이스에 저장된 빅데이터의 개인정보를 하드웨어 기반과 TED 기법을 병행하여 컴럼패밀리들을 암호화 및 복호화 함으로써 빅데이터 플랫폼의 개인정보보호 강화와 동시에 성능도 향상토록 하였다.
따라서 본고에서는 컴럼 패밀리 단위로 데이터를 암·복호화 할 때 컬럼패밀리를 군집분석(Clustering Analysis)하여 개인정보 민감도에 따라서 가중치를 부여하고 가중치가 높은 상위 50%의 컴럼 패밀리는 하드웨어 기반 암호화 기법을 사용하고 나머지는 TDE(Transparent Data Encryption)방식을 사용할 것을 제안한다.
그 외는 네트워크 통신으로 인한 시스템 부하를 줄이기 위하여 TED 암호화 기법을 사용한다. 따라서 전술한 두 암호화 기법을 제안한 빅데이터 플랫폼에 적용하였다.
본 연구에서는 컴럼 패밀리 단위로 데이터를 암·복호화 할 경우에 컬럼 패밀리를 군집분석(Clustering Analysis)하여 개인정보 민감도에 따라서 가중치를 부여하고 가중치가 높은 상위 50%의 컴럼 패밀리는 하드웨어 기반 암호화 기법을 사용하고 나머지는 TDE(Transparent Data Encryption) 방식을 사용할 것을 제시하였다.
여기서 암·복호화 시스템 구성이나 암·복호화 프로세스는 하드웨어 기반 암호화에서 적용한 방안을사용하도록 한다.

이론/모형

각각의 단계에서 보안을 강화하기위한 조처를 정리한 것이 [Table 3](빅데이터 환경의 개인정보보호필요기술), [Table 4](비식별화 기술 유형)이다. ①번 단계는 빅데이터 저장 부분으로 특히 본 연구에서는 저장된 빅데이터에서 개인정보보호보안 강화를 위하여 대표적인 NoSQL DB인 Hbase의 암호화 방안은 컬럼 패밀리들을 분류하여 민감도가 높은 개인정보가 포함된 것은 하드웨어 암호화 기법을 적용한다. 그 외는 네트워크 통신으로 인한 시스템 부하를 줄이기 위하여 TED 암호화 기법을 사용한다.
①번 단계는 빅데이터 저장 부분으로 특히 본 연구에서는 저장된 빅데이터에서 개인정보보호보안 강화를 위하여 대표적인 NoSQL DB인 Hbase의 암호화 방안은 컬럼 패밀리들을 분류하여 민감도가 높은 개인정보가 포함된 것은 하드웨어 암호화 기법을 적용한다. 그 외는 네트워크 통신으로 인한 시스템 부하를 줄이기 위하여 TED 암호화 기법을 사용한다. 따라서 전술한 두 암호화 기법을 제안한 빅데이터 플랫폼에 적용하였다.
SAP의 빅데이터 플랫폼은 최적의 데이터 수집, 저장 및 관리를 위한 솔루션 뿐 만 아니라, 정형·비정형 고급통계분석과 고차원의 시각화 솔루션을 제공한다. 로그형태의 빅데이터 수집은 하둡 콜렉터를 통한 배치 방식과 스트림 방식을 사용한다. 수집된 데이터는 하둡의 HDFS를 기반으로 하는 대용량 분산파일 시스템에 저장되며, 중요한 고급 분석데이터는 하나(Hana)시스템에 적재한다[5].

성능/효과

제안된 플랫폼은 첫째, HBase 데이터베이스에 저장된 빅데이터의 개인정보를 하드웨어 기반과 TED 기법을 병행하여 컴럼패밀리들을 암호화 및 복호화 함으로써 빅데이터 플랫폼의 개인정보보호 강화와 동시에 성능도 향상토록 하였다. 둘째, 빅데이터 수집, 저장 및 관리 그리고 분석 및 서비스 단계에서 개인정보관리체계(PIMS)와 정보보호인증(ISMS) 규격과 연계한 보안 점검 항목을 플랫폼에 적용하여 개인정보보호와 전반적인 보안을 강화토록 하였다. 따라서 시스템의 성능과 개인정보보안이 강화된 이 플랫폼은 빅데이터의 활성화에 크게 기여할 것이라 판단된다.
첫째, 관리자 측면, 이용자 측면, 네트워크 측면 그리고 서비스 측면에서 공통적으로 개인정보보호 및 취약한 점이 있었다. 둘째, 빅데이터 플랫폼에 많이 사용되는 하둡(Hadoop)이나 NoSQL DB인 HBase는 커버로스를 통한 사용자 인증 및 데이터 전송과정에서 암호화 기능을 제공하나, 저장된 데이터를 암호화 하는데 문제점이 있었다. 또한 하둡은 방대한 양의 데이터를 하나의 클러스터에 저장하기 때문에 데이터 유출과 같이 기업에 막대한 피해를 초래하는 보안 사고에 매우 취약하였다.
또한 하둡은 방대한 양의 데이터를 하나의 클러스터에 저장하기 때문에 데이터 유출과 같이 기업에 막대한 피해를 초래하는 보안 사고에 매우 취약하였다. 셋째, 분석대상 로그가 보안로그에서 어플리케이션 로그로 규모가 커지고 형태도 다양해지면서 기존 방법으로 분석이 용이하지 않은 보안빅데이터 관련 처리 부분이 취약하였다[5, 8, 14].
제안된 방법은 민감한 개인정보에 대해서는 철저하게 보안을 유지함과 동시에 하드웨어 기반 컬럼 패밀리의 암·복호화의 빈도수를 줄여서 네트워크 통신의 부하를 경감시킬 수 있었다.
9]의 빅데이터 플랫폼을 제안하였다. 제안된 플랫폼은 첫째, HBase 데이터베이스에 저장된 빅데이터의 개인정보를 하드웨어 기반과 TED 기법을 병행하여 컴럼패밀리들을 암호화 및 복호화 함으로써 빅데이터 플랫폼의 개인정보보호 강화와 동시에 성능도 향상토록 하였다. 둘째, 빅데이터 수집, 저장 및 관리 그리고 분석 및 서비스 단계에서 개인정보관리체계(PIMS)와 정보보호인증(ISMS) 규격과 연계한 보안 점검 항목을 플랫폼에 적용하여 개인정보보호와 전반적인 보안을 강화토록 하였다.
2장에서 조사 및 분석한 국내외 출시된 빅데이터 플랫폼 문제점을 살펴보면 다음과 같다. 첫째, 관리자 측면, 이용자 측면, 네트워크 측면 그리고 서비스 측면에서 공통적으로 개인정보보호 및 취약한 점이 있었다. 둘째, 빅데이터 플랫폼에 많이 사용되는 하둡(Hadoop)이나 NoSQL DB인 HBase는 커버로스를 통한 사용자 인증 및 데이터 전송과정에서 암호화 기능을 제공하나, 저장된 데이터를 암호화 하는데 문제점이 있었다.
그런데 국내외 빅데이터 플랫폼은 보안관리 및 개인정보보호에 문제점이 있었다. 특히 빅데이터 플랫폼에 많이 사용되는 대표적인 NoSQL DB인 HBase에 저장된 빅데이터의 개인정보 암호화에 취약점이 있었다. 이것을 해결하기위해서 하드웨어 기반의 암호화 방식을 사용한다.

후속연구

둘째, 빅데이터 수집, 저장 및 관리 그리고 분석 및 서비스 단계에서 개인정보관리체계(PIMS)와 정보보호인증(ISMS) 규격과 연계한 보안 점검 항목을 플랫폼에 적용하여 개인정보보호와 전반적인 보안을 강화토록 하였다. 따라서 시스템의 성능과 개인정보보안이 강화된 이 플랫폼은 빅데이터의 활성화에 크게 기여할 것이라 판단된다. 다만 시뮬레이션을 통한 플랫폼의 보안 및 성능의 구체적인 계량 분석은 다음과제로 남겨둔다.
[Table 4]는 제안된 플랫폼의 ①,②, ③,④단계에서 개인정보 비식별화를 위한 적용기술 5개 처리기법에 속한 총 18개 세부기술과 세부기술유형에 대한 처리의 예시이다[16]. 제안된 빅데이터 플랫폼은[Table 1], [Table 2], [Table 3], [Table 4]와 ①,②, ③,④ 에서 적용한 기술들을 반영함으로써 개인정보 보호보안 강화와 시스템 성능 향상으로 빅데이터의 활성화에 크게 기여할 것이다.
제시된 방안을 바탕으로 새로운 빅데이터 플랫폼을 제안하고자 한다. 제안된 플랫폼은 각각의 단계에서 개인정보보호법에 저촉되는 부분을 방지하여 궁극적으로는 빅데이터 활성화에 크게 기여할 것으로 판단된다[3, 4, 5].
제안한 방안은 민감한 개인정보에 대해서는 철저하게 보안을 유지함과 동시에 하드웨어 기반 컬럼 패밀리의 암·복호화의 빈도수를 줄여서 네트워크 통신의 부하를 경감시킴으로서 궁극적으로 빅데이터 플랫폼의의 성능향상에 기여할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	HBase에서 나타나는 개인정보보호에 문제점은 무엇인가?	본 연구에서는 국내외 빅데이터 플랫폼을 조사 및 분석한 결과 개인정보보호에 문제점이 있었다. 특히 빅데이터 플랫폼에 많이 사용되는 대표적인 NoSQL DB인HBase에 저장된 빅데이터의 개인정보 암호화에 취약점이 있었다[2]. 그런데 DB에 저장된 데이터를 암·복호화하는 데는 시스템에 부하가 발생한다.
	그루터의 BAAS 플랫폼의 주요 기능은 무엇인가?	빅데이터 분석플랫폼은BAAS(Bigdata Analysis & Application System)로 대용량 데이터의 수집, 저장, 실시간 및 일괄분석 등 분석용 데이터의 전체 라이프 사이클을 관리하는 플랫폼이다. 이것의 주요 기능은 소셜 네트워크 분석, 온디맨드빅데이터 분석, 소셜 고객관계관리 구현과 그리고 빅데이터 분석 모듈의 온디맨드 제공 등에 활용되고 있다[5].
	PIMS이란 무엇인가?	고객의 개인정보를 보호하기 위해서는 조직이 보호해야하는 개인정보가 무엇이며, 어떻게 전달되고, 왜 중요한지, 어떤 수준으로 관리하고 보호해야 하며, 개인정보보호의 수행 및 목표 달성을 확인할 수 있는 방법의 체계수립이 가장 중요하다. PIMS은 일련의 관리과정을 통해 이용자의개인정보를 안전하게 보호할 수 있도록 기술적․관리적․물리적․조직적인 다양한 보호 대책들을 구현하고 지속해서 관리 및 운영하는 종합적인 체계이다[10].

참고문헌 (23)

Bung-Chel, Kim, "Big Data Security Technology and Response Study", The Journal of Digital Policy & Management Vol. 11, No. 10, pp. 445-451, 2013. 10.
Min-Gu Song, Sun-Bae Kim, "A Study of Improving Reliability on Prediction Model by Analyzing Method Bigdata", The Society of Digital Policy & Management, Vol. 11, No. 6, pp. 103-112, 2013. 06.
Je-Sik Lee, "Techniques for Privacy in Big Data Environments", Internet & Security Focus 2013. 03.
Dai-Sun, Choi, "Privacy Risk Analysis Techniques in Utilizing Big Data", Journal of The Korea Institute of Information Security & Cryptology, Vol. 23, No. 3, pp. 56-60, 2013. 06.
Ji-Sun, Jung, "Big Data Solutions and Services Company Current Status," National Information Society Agency, 2012. 09.
Min-Gu Song, "Providing a Differentiated Services to Patients through Analyzing Medical Treatment Record", Korea Society Management Information Systems pp 62-63 2010. 06.
IBM Korea Software Group Information Management Team, "IBM Big Data Platform", 2013. 03.
So-Hyeon Park, Ik-Rae Jeong, "A Study on Security Improvement in Hadoop Distributed File System Based on Kerberos", Journal of The Korea Institute of Information Security & Cryptology (JKIISC), VOL. 23, NO. 5, pp. 803-813, 2013. 10.

원문보기 상세보기
https://issues.apache.org/jira/browse/HBASE-11447
The Personal Information Protection Law, No. 10465, 2011. 03.
Yong-Bin, Kim, "Problem of Personal Information Protection in Big Data Utilization and an Improvement Method Using PIMS", Engineering Thesis, Kangwon National University, 2013. 06.
Jin-Hun, Kim, "Big Data and Privacy", Legal Research, Vol. 46, 2014. 06.
Young-Ho, Song, Jae-Woo, Chang, "Design and Implementation of HDFS Data Encryption Scheme Using ARIA Algorithms on Hadoop", KIPS Tr. Comp. and Comm. Sys. Vol. 5, No. 2, pp. 33-40, 2016. 05.
Zahid, Anam, Rahat Masood and Muhammad Awais Shibli. "Security of shared NoSQL databases : A Cmparative Analysis", In Proc. Intl Conf. on Information Assurance and Cyber Security(CIACS), IEEE, 2014. 07.
Dae-Yong, Lee, "HW Based Privacy Protection Techniques for Big Data Environment", Engineering Thesis, Chungbuk National University, 2014. 02.
Dong-Guk, Kim, Hek, Lee, "Privacy Trend of Big Data Base", Journal of Internet Computing and Services, Vol. 16, No. 2, pp. 15-22, 2015. 12.
http://www.larsgeorge.com/2009/10/hbase-architecture-101-storage.html
Sek-Ho, Jang, "Present and Future of Information Security in the Big Data Industry", Journal of The Korea Institute of Information Security & Cryptology, Vol. 26, No. 2, pp. 31-34, 2016. 04.

원문보기 상세보기
Seon-Young, Park, "A Performance Analysis of Encryption in HDFS", Journal of Information Science Vol. 41, No. 1, pp. 21-27, 2014. 02.
Seung-Han Kim, "Suggestion for the Improvement of Legal System of Personal Data Protection in the Big Data era", Yonsei University, 2013. 02.
Sung-Gu Hwang, "Strategy of Platform for Bigdata", Electronic Newspaper, 2013. 02.
Min-Gu Song, Sun-Bae Kim, "A Proposal of Efficient Method for Data Center Information System Migration", The Society of Digital Policy & Management, Vol. 12, No. 3, pp. 201-210, 2014. 03.
Min-Gu Song, Sun-Bae Kim, "A Study of Clinical DW for Utilizing Analysis of Medical Treatment Information", The Society of Digital Policy & Management, Vol. 11, No. 8, pp. 293-302, 2013. 08.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증