[논문]대용량 데이터에 대한 효율적인 L-diversity 비식별화 구현

전민혁; 안진현; 임동혁

[국내논문] 대용량 데이터에 대한 효율적인 L-diversity 비식별화 구현
Implementation of efficient L-diversity de-identification for large data 원문보기

전민혁 (호서대학교 컴퓨터공학과) , 안진현 (제주대학교 경영정보학과) , 임동혁 (호서대학교 컴퓨터공학과)

최근 많은 단체나 기업에서 다양하고 방대한 데이터를 요구로 하고, 그에 따라서 국가 공공데이터나 데이터 브로커등 데이터를 통해 직접 수집 하거나 구매해야 하는 경우가 많아지고 있다. 하지만 개인정보의 경우 개인의 동의 없이는 타인에게 양도가 불가능하여 이러한 데이터에 대한 연구에 어려움이 있다. 그래서 특정 개인을 추론할 수 없도록 하는 비식별 처리 기술이 연구되고 있다. 이러한 비식별화의 정도는 모델로 나타낼 수가 있는데, 현재 k-anonymity 와 l-diversity 모델 등이 많이 사용된다. 이 중에서 l-diversity 는 k-anonymity 의 만족 조건을 포함하고 있어 비식별화의 정도가 더욱 강하다. 이러한 l-diversity 모델을 만족하는 알고리즘은 The Hardness and Approximation, Anatomy 등이 있는데 본 논문에서는 일반화 과정을 거치지 않아 유용성이 높은 Anatomy 의 구현에 대해 연구하였다. 또한 비식별화 과정은 전체 데이터에 대한 특성을 고려해야 하기 때문에 데이터의 크기가 커짐에 따라 실질적인 처리량이 방대해지는데, 이러한 문제를 Spark 를 통해 데이터가 커짐에 따라서 최대한 안정적으로 대응하여 처리할 수 있는 시스템을 구현하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 대용량 데이터에 대해 1-diversity 비식별화 모델을 적용하는 시스템을 구현하였다. 단일 서버에서는 처리가 불가능하거나 오래걸리는 데이터에 대하여 Spark 를 적용한 시스템은 저비용으로 추가적인 확장이 가능하고, Anatomy 비식별화의 최종 결과물은 원본과 비슷해 데이터로서의 유용성도 크다.

제안 방법

1-diversity 모델은 k-익명성에 비해 비식별화 정도가 더욱 강화된 모델인데, 1-diversity의 경우 The Hardness and Approximation[3], Anatomy[4] 등의 알고리즘이 연구되었다. 이러한 두 개의 알고리즘 중 데이터의 일반화 과정을 거치지 않는 Anatomy 알고리즘을 통해 정보의 소실을 최소화하는 더욱 유용한 비식별화 구현을 하였다. 그리고 대용량 데이터의 처리에 있어서 단일 서버로는 대용량 처리 불가, 처리 속도 저하 등의 문제가 발생하여 Spark 분산처리 플렛폼[5]을 이용 여러 서버로 분할처리하여 처리 효율을 높였다.
이러한 두 개의 알고리즘 중 데이터의 일반화 과정을 거치지 않는 Anatomy 알고리즘을 통해 정보의 소실을 최소화하는 더욱 유용한 비식별화 구현을 하였다. 그리고 대용량 데이터의 처리에 있어서 단일 서버로는 대용량 처리 불가, 처리 속도 저하 등의 문제가 발생하여 Spark 분산처리 플렛폼[5]을 이용 여러 서버로 분할처리하여 처리 효율을 높였다.
이 데이터는 벤치마킹용 데이터로써 10, 50, 100, 700 개의 학교 내의 교직원에 대한 개인정보 데이터이다. 또한 Spark 의 구성 노드는 총 5 개로, 각 노드별 CPU는 4 Core, 메모리는 20Gb 이고, 총 5 개의 Worker 노드를 1개의 Driver 노드와 최대 4 개의 Executor 노드로 나누어 실험하였다.
우리는 데이터의 비교를 위하여 두가지 시스템을 구현하였는데, Spark 를 사용하지 않은 단일서버 InMemory 상에서의 Anatomy 비식별 시스템과 Spark 를 사용하여 유동적으로 추가 서버를 연결할 수 있는 시스템이다.
이후로 Spark 가 InMemory 에 비해 큰 데이터에 유리한 실험 결과를 바탕으로 데이터의 크기에 따른 Spark 의 Worker 수로 비교를 해보았고, 그에 따른 결과 그래프는 (그림 5)이다. 같은 데이터라고 하더라도 Worker 수의 증가에 따라 실행시간은 꾸준히 감소하고 있는 모습을 볼 수 있는데, 이러한 감소폭은 데이터의 크기가 커질수록 더욱 커짐을 확인할 수 있다.

대상 데이터

본 논문에서의 실험은 LUBM-(10, 50, 100, 700)[6] 데이터를 사용하였다. 이 데이터는 벤치마킹용 데이터로써 10, 50, 100, 700 개의 학교 내의 교직원에 대한 개인정보 데이터이다.
본 논문에서의 실험은 LUBM-(10, 50, 100, 700)[6] 데이터를 사용하였다. 이 데이터는 벤치마킹용 데이터로써 10, 50, 100, 700 개의 학교 내의 교직원에 대한 개인정보 데이터이다. 또한 Spark 의 구성 노드는 총 5 개로, 각 노드별 CPU는 4 Core, 메모리는 20Gb 이고, 총 5 개의 Worker 노드를 1개의 Driver 노드와 최대 4 개의 Executor 노드로 나누어 실험하였다.

성능/효과

우리는 InMemory 단일 시스템과 Spark 시스템을 구현해보았고, 위와 같은 실험 테스트를 통해서 Spark를 사용한 시스템이 InMemory 에 비해 큰 데이터에 대해 더욱 향상된 처리 효율을 보여줌을 확인할 수 있었다.

원문 보기

ScienceON 원문보기

*원문 PDF 파일 및 링크정보가 존재하지 않을 경우 KISTI DDS 시스템에서 제공하는 원문복사서비스를 사용할 수 있습니다.

이 논문과 함께 이용한 콘텐츠

[논문] 효과적인 k-RDFAnonymity를 위한 알고리즘 구현

저작권 관리 안내

내보내기 메뉴

내보내기 구분

파일저장
인쇄
메일전송

구성항목

기본정보
상세정보

관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관

저장형식

Text(ASCII format)
Excel format
RefWorks Direct Export
RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley

메일정보

받는사람 (필수): @
보내는사람 (선택): @
제목
내용: KISTI 검색결과 이메일 서비스

안내

총 건의 자료가 검색되었습니다.

다운받으실 자료의 인덱스를 입력하세요. (1-10,000)

검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다.

데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요)

다운로드 파일은 UTF-8 형태로 저장됩니다.
파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오.

Text(ASCII format)
Excel format

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

AI-Helper ※ AI-Helper는 을 사용합니다.

AI-Helper

안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

연합인증

[국내논문] 대용량 데이터에 대한 효율적인 L-diversity 비식별화 구현
Implementation of efficient L-diversity de-identification for large data 원문보기

초록
AI-Helper