선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 빅데이터 환경에서 최근 활용되는 기계학습 알고리즘을 응용하여 기존의 분석과 판단이 어려웠던 사용자의 상품 거래에 대한 성향을 분석한다. 2 장은 관련연구, 3장은 제안 기법, 4장은 성능 평가, 5장 결론으로 마친다.
제안 방법
- 각 기계학습 알고리즘은 연동되는 API나 프로그램이 없기 때문에 출력결과를 직접 계산하였다. 통계 차트와 의사결정 트리의 데이터 시각화 부분은 D3(Data-Driven Documents)를 이용하였다.
- 데이터 간의 거리측정은 긍정·부정을 포함하는 전체 데이터에서 등급 항목에 대한 거리를 측정하였다. 측정되는 거리 값은 전체 데이터에서 측정한 데이터 거리에서 가장 가까운 거리를 찾는 것이 효율적이다.
- H를 계산하여 모두 더한다. 마지막으로 비교하기 전, 후 변화를 비교하여 가장 좋은 속성의 색인을 반환하고, 앞 과정을 반복하여 정보이득(엔트로피)이 가장 높은 속성에 대해서 데이터 분류한다.
- 모든 데이터 변수를 고려할 수 없기 때문에 분류되지 않은 항목에 대해서는 Knn을 이용하여 거리를 측정하고, 거리 값에 가까운 등급에 대해 예측한다. 표 4는 카테고리 3의 긍정·부정 데이터를 포함하는 등급 데이터의 거리(평균)을 나타낸다.
- 본 논문에서 사용한 기계학습 알고리즘은 Naïve Bayes, Decision Tree, Knn(K-nearest neighbor), Apriori를 상호 응용하였다.
- 본 논문에서는 기계학습 알고리즘을 응용하여 사용자의 거래 성향을 분석하였다. 성향 분석 결과 정의한 목적에 따라 다양한 결과를 추측할 수 있다는 것을 증명할 수 있었다.
- Apriori와 응용한다. 연관 규칙에서 두 아이템간의 관계의 강도를 측정하기 위해서 지지도와 신뢰도를 추출한다. 신뢰도는 추출된 부품 키워드 간에 연관규칙에 대한 신뢰도를 나타낸다.
- 측정한다. 유클리드 거리를 사용하여 계산하고, 추출된 값은 정규화 수행 이후, 거리가 가장 짧은 개수를 가지는 변수 정렬하고 연산을 반복 수행한다. 표 3은 긍정·부정, 부품 종류에서 나타난 브랜드를 기준으로 변수를 입력 예를 나타낸다.
- 의사결정 트리 알고리즘으로 분류된 데이터 항목의 긍정, 부정, 세부 부품 단어의 발생 빈도수를 이용하여 거리를 측정한다. 유클리드 거리를 사용하여 계산하고, 추출된 값은 정규화 수행 이후, 거리가 가장 짧은 개수를 가지는 변수 정렬하고 연산을 반복 수행한다.
- 카테고리 3의 데이터 특징상 4가지 등급에 대한 키워드보다 부품에 대한 키워드가 데이터에 훨씬 많이 포함되었기 때문에 부품 키워드 인식을 선행한 후 이에 호환되는 등급과 부품 종류를 선택하도록 의사결정 트리를 작성하였다. 그림 6은 카테고리 3 데이터 그룹을 확장한 것이다.
- 단어)의 빈도수와 통계치를 추출한다. 한글 단어 및 어휘는 형태소(국립국어원 표준국어대사전)에서 검색 결과로 나온 명사, 동사, 관형사·명사, 동사 등을 참고하여 긍정·부정 형태의 단어를 추출하였다. 다음은 단어의 긍정·부정을 판단하는 방법을 설명한다.
대상 데이터
- 본 논문에서 사용된 거래 데이터는 로드바이크 중고거래 데이터를 수집하였다. 로드바이크 상품에 관련된 결과를 추론하기 위해서 추출된 항목은 종류, 부품 명과 종류, 부품 별 상관관계 등이다.
- 수집된 데이터는 웹(Web)상에서 수집 가능한 거래 게시판 총 194, 841개를 대상으로 데이터(구매, 판매)를 추출하였다.
데이터처리
- 분석 결과 관련되지 않은 데이터 유형은 가장 거리가 짧은 등급 : SRAM 으로 예상할 수 있다. 각 항목에 대한 키워드 관심도 측정을 위해 Apriori 을 이용하여 신뢰도를 측정하였다. 표 5는 키워드 SRAM과 등급 별 키워드에 대한 관심도를 분석하였다.
- 수집 데이터에서 포함된 단어(제목, 본문의 긍정·부정 단어)의 빈도수와 통계치를 추출한다. 한글 단어 및 어휘는 형태소(국립국어원 표준국어대사전)에서 검색 결과로 나온 명사, 동사, 관형사·명사, 동사 등을 참고하여 긍정·부정 형태의 단어를 추출하였다.
이론/모형
- 거리를 측정하는 방법은 유클리드 거리 (Euclidean distance)를 사용하며 공식은 다음과 같은 공식을 사용한다[11].
- 관계도출을 위한 연관분석은 앞에서 분류 알고리즘으로 추출된 분류 항목, 단어의 빈도수 및 확률 통계를 기반으로 Apriori와 응용한다. 연관 규칙에서 두 아이템간의 관계의 강도를 측정하기 위해서 지지도와 신뢰도를 추출한다.
- 최초 부모 노드로부터 데이터 집합을 분류될 때까지 재귀적인 분류절차를 반복하는 형태를 가지고 있다[9]. 데이터 분할을 결정하는 방법 중 양자화(Quantitative)방법을 적용하며, 정보이득(Information Gain)을 계산하여 각 노드별 속성에 대해 확인하여 분할을 진행한다. 다음은 분류항목이 선택될 확률 계산하기 위해 다음과 같은 공식을 사용한다[10].
- 실험환경은 데이터 처리/분석은 하둡(Hadoop)을 기반으로 파이썬(Python) 모듈을 이용하여 알고리즘을 수행한다. 각 기계학습 알고리즘은 연동되는 API나 프로그램이 없기 때문에 출력결과를 직접 계산하였다.
- 정보이득에 대한 정보 측정 방법은 다음과 같은 엔트로피(Entropie) 계산 공식을 사용한다[10].
성능/효과
- Condition 키워드에서 Result 키워드가 포함될 확률이 상대적으로 낮았기 때문에 지지도를 최소 0.01로 설정하고 최소 신뢰도를 0.5로 설정한 결과 SRAM의 경우 RED와 FORCE 등급에 대한 신뢰도가 가장 높게 나타났으며 SHIMANO의 경우 105, ULTEGRA 등급에 대한 신뢰도가 높은 순으로 나타났다. 앞의 예를 통합적으로 분석한 결론으로 카테고리 3에서 통계상 긍정 성향이 높은 구동계 종류는 SHIMANO의 ULTEGRA 등급으로 나타났으며, 분류 데이터를 기준으로 관련이 없는 데이터를 예측했을 때 SHIMANO 다음으로 긍정적인 성향을 나타낸 구동계는 SRAM 구동계로 예측되었다.
- 측정되는 거리 값은 전체 데이터에서 측정한 데이터 거리에서 가장 가까운 거리를 찾는 것이 효율적이다. 분석 결과 관련되지 않은 데이터 유형은 가장 거리가 짧은 등급 : SRAM 으로 예상할 수 있다. 각 항목에 대한 키워드 관심도 측정을 위해 Apriori 을 이용하여 신뢰도를 측정하였다.
- 생성된 의사결정 트리는 종류: SHIMANO, 등급: ULTEGRA의 분류 비율이 가장 높게 나타났다. 카테고리 3의 데이터 특징상 4가지 등급에 대한 키워드보다 부품에 대한 키워드가 데이터에 훨씬 많이 포함되었기 때문에 부품 키워드 인식을 선행한 후 이에 호환되는 등급과 부품 종류를 선택하도록 의사결정 트리를 작성하였다.
- 거래 성향을 분석하였다. 성향 분석 결과 정의한 목적에 따라 다양한 결과를 추측할 수 있다는 것을 증명할 수 있었다.
- 수집된 데이터는 최초에 각 알고리즘에 입력되는 변수들을 추출하는 과정이 실제로 전체과정(수집, 데이터 준비, 알고리즘 적용, 결과추출, 결과분석)에서 60% 이상의 시간과 노력이 소모되었다. 또한 선별된 상품거래 데이터에 대한 결과를 추출하기 위해서는 거래 상품 주제에 대한 높은 이해도가 요구되었다.
- 5로 설정한 결과 SRAM의 경우 RED와 FORCE 등급에 대한 신뢰도가 가장 높게 나타났으며 SHIMANO의 경우 105, ULTEGRA 등급에 대한 신뢰도가 높은 순으로 나타났다. 앞의 예를 통합적으로 분석한 결론으로 카테고리 3에서 통계상 긍정 성향이 높은 구동계 종류는 SHIMANO의 ULTEGRA 등급으로 나타났으며, 분류 데이터를 기준으로 관련이 없는 데이터를 예측했을 때 SHIMANO 다음으로 긍정적인 성향을 나타낸 구동계는 SRAM 구동계로 예측되었다. 이외 SRAM, SHIMANO 구동계 종류의 관심도 분석 결과 어떠한 등급에 사용자의 관심도(신뢰도)가 높다는 것을 확인할 수 있었다.
- 앞의 예를 통합적으로 분석한 결론으로 카테고리 3에서 통계상 긍정 성향이 높은 구동계 종류는 SHIMANO의 ULTEGRA 등급으로 나타났으며, 분류 데이터를 기준으로 관련이 없는 데이터를 예측했을 때 SHIMANO 다음으로 긍정적인 성향을 나타낸 구동계는 SRAM 구동계로 예측되었다. 이외 SRAM, SHIMANO 구동계 종류의 관심도 분석 결과 어떠한 등급에 사용자의 관심도(신뢰도)가 높다는 것을 확인할 수 있었다.
- 단어의 비율(방사형)을 나타낸다. 전체 카테고리에서 긍정·부정 성향 비율(평균 63%, 37%)은 긍정적인 것인 성향이 높았다. 카테고리 4의 경우 비율(49%, 51%)이 비슷하고, 카테고리 6의 경우 비율(63%)이 부정적인 성향이 높은 것으로 나타났다.
- 측정되는 거리 값은 전체 데이터에서 측정한 데이터 거리에서 가장 가까운 거리를 찾는 것이 효율적이다. 분석 결과 관련되지 않은 데이터 유형은 가장 거리가 짧은 등급 : SRAM 으로 예상할 수 있다.
- 대한 다양한 기능들을 제공하고 있다. 하지만 수집된 데이터를 입력데이터로 효율적으로 가공해주는 기능을 제공하는 데이터마이닝 연구 및 자동화 프로그램은 비교적 부족한 것으로 나타났다.
후속연구
- 향후 연구로는 이러한 문제를 해결하기 위해 특정 기계학습 알고리즘에 적절한 수집된 데이터를 일괄적으로 정형화된 데이터로 가공할 수 있는 연구가 필요할 것으로 예상한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.