[논문]나이브 베이지안에 기반한 성별 예측 및 정확률 추론 기법

권태원; 이의종; 백두권

[국내논문] 나이브 베이지안에 기반한 성별 예측 및 정확률 추론 기법
Gender Prediction and Precision Inference Method based on the naive Bayesian 원문보기

권태원 (고려대학교 소프트웨어공학과) , 이의종 (고려대학교 컴퓨터학과) , 백두권 (고려대학교 컴퓨터학과)

사용자의 성별은 기본적이면서도 중요한 마케팅 데이터다. 그러나 최근에는 개인정보보호 강화 추세로, 회원가입 시 성별이나 나이 등의 세부 정보를 입력하지 않는 간편 가입이 많아졌다. 이러한 입력되지 않은 정보 추출을 위해 성별 예측 연구의 필요성이 증가되었다. 성별이 입력된 사용자의 정보를 바탕으로 성별이 입력되지 않은 사용자의 성별을 예측하는 기존 연구가 다양한 방법으로 진행되어왔고, 우수한 식별이 가능한 기법들은 이진분류기인 SVM을 기반으로 한 연구가 다수 존재한다. 그러나 SVM 알고리즘은 이진 분류만 가능하기 때문에 성별예측에 대한 정확률은 알 수가 없다. 성별예측의 정확률을 활용하면 부정확한 분류를 예방할 수 있으며 상품추천의 가중치로 사용 될 수 있다. 본 연구는 확률을 기반으로 하여 정확률을 추론 가능한 나이브 베이지안을 응용한다. 그리고 데이터 집합 사례를 균형있게 늘려주는 SMOTE기법을 이용해 클래스 불균형 문제를 개선했으며 또한 성별 예측의 특성에 맞게 노이즈를 제거하고, 성별 분류에 확정적인 아이템에 가중치를 적용했다. 더불어 제안 방법을 실제 데이터에 적용시켜 우수성을 입증하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이는 예측이 틀릴 시 대안이 없다는 한계를 가지고 있다. 본 연구는 성별 예측과 함께 예측의 정확률을 제시함으로서 이를 해결하고자 한다.
본 연구에서는 나이브 베이지안을 성별 예측에 맞게 수정하여 성능을 개선하고, 성별 예측의 정확률을 함께 제시해주는 기법을 제안한다. 성별 예측의 정확률을 제시함으로서 성별 예측 정확도에 따라 고객에게 대응을 달리할 수 있다.
본 연구는 성별이 입력된 사용자의 정보를 바탕으로, 성별이 입력되지 않은 사용자의 성별을 예측하는 기법을 연구했다. 여러 분류 알고리즘들 중 비교적 분류 성능은 떨어지지만 확률을 기반으로 하여 성별 예측의 정확률 추론이 가능한 나이브 베이지안을 응용하였다.

제안 방법

[6]은 SVM을 기반으로 성별을 추론하였다. Heats 알고리즘을 개선하여 데이터 희소성 문제를 해결하였고, SMOTE기법을 통해 클래스 불균형 문제를 해결하였다.
rtCount는 사용자가 평가한 개수이며 W_i 역시 특정성별 아이템의 선호 가중치다. 여기에 최종 확률이 0이 나오지 않도록, 라플라스 스무딩(Laplace Smoothing) 처리를 했다. 노이즈는 전처리 과정에서 빠지기 때문에, 라플라스 스무딩을 통해 걸러지게 된다.
본 연구에서는 데이터 집합의 사례를 균형 있게 늘려주는 통계 기술인 SMOTE 기법을 통해 성비 불균형 문제를 해결하였다[7].
본 연구에서 제안한 기법의 우수성을 입증하기 위해, SVM 분류기와 나이브 베이지안 분류기의 실험 결과를 같이 비교해 보았다. 원 데이터에 클래스 불균형 문제가 있기 때문에 모든 알고리즘엔 SMOTE 처리를 한 상태로 실험을 진행하였다.
본 연구에서 제안한 기법의 우수성을 입증하기 위해, SVM 분류기와 나이브 베이지안 분류기의 실험 결과를 같이 비교해 보았다. 원 데이터에 클래스 불균형 문제가 있기 때문에 모든 알고리즘엔 SMOTE 처리를 한 상태로 실험을 진행하였다. 실험 결과는 표 2와 같다.
본 연구는 성별이 입력된 사용자의 정보를 바탕으로, 성별이 입력되지 않은 사용자의 성별을 예측하는 기법을 연구했다. 여러 분류 알고리즘들 중 비교적 분류 성능은 떨어지지만 확률을 기반으로 하여 성별 예측의 정확률 추론이 가능한 나이브 베이지안을 응용하였다.
예측 성능을 올리기 위해, 남녀 성비 차이인 클래스 불균형 문제를 해결하고, 성별 분류에 도움이 되는 아이템엔 가중치를 주었다. 또한 성별 예측에 영향을 주지 않는 아이템은 노이즈로 취급하여 제거하였다.

대상 데이터

[1]은 나이브 베이지안(Naive Bayesian)과, SVM, 로지스틱 회귀(Logistics Regression)를 이용해 성별을 입력한 기존 사용자의 정보를 토대로 성별을 입력하지 않은 사용자의 성별을 예측한다. 데이터는 Flixter와 MovieLens를 이용했다. 그러나 성능 평가를 위주로 진행하여 실제 적용에는 한계가 있다.
실험 데이터는 공개된 데이터 중에서 사용자의 성별이 기록 된, MovieLens 1M 데이터 셋[9]을 이용하였다.
MovieLens 1M 데이터 셋은 6,040명의 사용자가 선호하는 영화 1백만 건을 투표 한 데이터 셋이다. 투표에 참여한 남자 수는 4331명, 여자는 1709명이다.
MovieLens 1M 데이터 셋은 6,040명의 사용자가 선호하는 영화 1백만 건을 투표 한 데이터 셋이다. 투표에 참여한 남자 수는 4331명, 여자는 1709명이다.
실험 데이터 셋 중 70%는 학습데이터로 사용하고, 30%는 평가데이터로 사용하였다. 제안하는 기법을 제외한 SVM과 나이브 베이지안은 WEKA를 통해 실험 하였다[10].

이론/모형

이에 다양한 방법으로 사용자의 성별을 예측하는 기법이 다방면으로 연구가 되고 있다. 이러한 연구 중 우수한 식별이 가능한 기법의 다수는 이진분류기인 SVM(Support Vector Machine)을 기반으로 한다. 실제로 많은 연구에서 SVM의 예측(일반화)성능이 다른 알고리즘들 보다 더 나은 결과를 보여주고 있다[3].
실험 데이터 셋 중 70%는 학습데이터로 사용하고, 30%는 평가데이터로 사용하였다. 제안하는 기법을 제외한 SVM과 나이브 베이지안은 WEKA를 통해 실험 하였다[10]. WEKA는 데이터마이닝 및 기계학습을 쉽게 사용할 수 있게 해 주는 오픈소스 프로그램이다.

성능/효과

나머지 40%정도의 데이터는 성별 예측에 큰 영향을 주지 않는다. 그래프의 양쪽의 가중치 영역에 있는 데이터 중 극단적으로 남녀 성별이 선호하는 영화에 더 많은 가중치를 주고, 노이즈 감소 영역의 데이터는 노이즈로 취급하고 제거하여 성능을 개선하였다.
63이 나왔다. 최종 결과 값은 0.73으로 SVM 예측과 근접하게 나왔다. 이는, 제안 방법이 분류 성능은 SVM과 유사하면서도 정확률을 알 수 있게 되어 더 많은 활용 방안이 생기게 된다.
성능 평가 결과 SVM을 통한 성별 예측과 거의 동등한 예측 성능을 보여줬으며, 부가적으로 예측의 정확률을 알 수 있게 되었다. 성별 예측의 정확률에 따라 고객에게 대응을 달리할 수 있다는 장점이 있다.

후속연구

향후에는 인터넷 쇼핑몰에서 사용자들의 묵시적인 기록을 바탕으로 한 성별 예측 방법을 연구 할 계획이다.

원문 보기

ScienceON 원문보기

*원문 PDF 파일 및 링크정보가 존재하지 않을 경우 KISTI DDS 시스템에서 제공하는 원문복사서비스를 사용할 수 있습니다.

이 논문과 함께 이용한 콘텐츠

[논문] 연령 및 성별 기반 영화 선호도 예측

저작권 관리 안내

내보내기 메뉴

내보내기 구분

파일저장
인쇄
메일전송

구성항목

기본정보
상세정보

관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관

저장형식

Text(ASCII format)
Excel format
RefWorks Direct Export
RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley

메일정보

받는사람 (필수): @
보내는사람 (선택): @
제목
내용: KISTI 검색결과 이메일 서비스

안내

총 건의 자료가 검색되었습니다.

다운받으실 자료의 인덱스를 입력하세요. (1-10,000)

검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다.

데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요)

다운로드 파일은 UTF-8 형태로 저장됩니다.
파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오.

Text(ASCII format)
Excel format

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

AI-Helper ※ AI-Helper는 을 사용합니다.

AI-Helper

안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

연합인증

[국내논문] 나이브 베이지안에 기반한 성별 예측 및 정확률 추론 기법
Gender Prediction and Precision Inference Method based on the naive Bayesian 원문보기

초록
AI-Helper