선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 그러나, 본 연구는 기존 연구와 달리 멀티 레이블 방식으로 장소예측을 한다는 점에서 기존연구와 차별화된다. 본 연구에서 사용하는 MLC 방법을 살펴보자.
- 본 연구의 핵심은 MLC 기법에 의한 장소예측 결과를 실증적으로 분석하는 것이다. MLC는 이미 기존에 많은 연구자들에 의하여 사용되어온 SLC 방법과는 다른 예측방법과 성과측정치를 사용한다.
- MLC는 이미 기존에 많은 연구자들에 의하여 사용되어온 SLC 방법과는 다른 예측방법과 성과측정치를 사용한다. 이에 대해서 상세히 알아보자.
- 첫째, 우선은 오차위주의 해석을 하기 위하여 해밍로스(HL) 와 원에러(OE)를 비교하고 그에 따른 분류기와 MLC추론방법의 적용정도를 알아본다. 해밍로스와 원에러를 정렬을 시켜서 어떤 분류기와 어떤 MLC추론방법에서 상대적으로 더 유리한 해밍로스와 원에러가 나오는지를 보고자 한다.
제안 방법
- 즉, 샘플 기반 성과측정치로서 해밍로스 (Hamming Loss), 서브셋 정확도 (Subset Accuracy), 그리고 샘플 기반 F1 (example based F1)을 적용하였다. 그리고 레이블 기반 성과측정치로서 마이크로 F1 (micro F1), 매크로 F1 (macro F1)을 적용하였고 랭킹 기반 성과측정치로서는 평균 정밀도 (average precision)와 원에러 (one error)를 적용하였다. 아울러 MLC 분석을 위하여 기존 연구애서 사용한 모든 주요 분류기를 골고루 적용하였다.
- 즉, 학습시 멀티 레이블 학습데이터를 단일 레이블 자료로 변환하여 해당 자료를 단일 레이블 분류기로 학습한다. 그리고 테스트 할때 학습된 단일 레이블 분류기를 이용하여 단일 분류 추정치를 계산한 다음 해당 추정치를 멀티 레이블 추정치로 변환한다. 여기에는 다양한 방법론이 존재하는데 대표적인 방법 몇개를 소개한다.
- 첫째, MLC작업을 위하여 사용된 분류기로는 우선 단일 분류기와 앙상블 분류기를 골고루 사용하였다. 단일 분류기로는 로직스틱 회귀(LR), 의사결정트리 (DT), 인공신경망 (NN), 나이브 베이지안망 (NB), 서포트벡터머신(SVM), k최근접이웃 (kNN) 분류기를 사용하였다. 앙상블 분류기로는 랜덤포레스트 (RF), 부스팅(AB), 배깅(BA), 스태킹(ST).
- 둘째, MLC추론방법중 본연구에서는 기본적인 벤치마킹 추론방법으로 널리 사용되는 BR, CC, RAkEL외에 이를 개선한 PW, MCC 를 사용하였다.
- 둘째, 알고리즘 적합 방법은 현재 사용되는 분류 알고리즘을 일반화하여 멀티 레이블 데이터를 처리한다. 예를 들어서 멀티 레이블 k-최근접이웃 (MLkNN: Multi-Label k-Nearest Neighbor) [30] 방법은 k-최근접이웃 (k-Nearest Neighbor) 방법을 변환하여 멀티 레이블 자료를 처리할 수 있도록 한 방법이다.
- 둘째, 정확도와 정밀도 위주로 보기 위하여 서브셋 정확도와 평균 정밀도를 비교하고 그에 따른 분류기와 MLC추론방법의 적용정도를 비교한다. 이를 위하여 서브셋 정확도 SA와 평균정 밀도 AP를 정렬하여 보다 정확한 의미를 해석한다.
- 둘째, 해밍로스, 원에러 (이상 오차 측면 성과치), 서브셋 정확도, 평균 정밀도 (이상 정확도와 정밀도 측면의 성과치), F1 값 등 성과측정치 관점에서 유리한 분류기와 MLC 추론방법, 불리한 분류기와 MLC 추론방법을 제시하였다. 그 결과 모든 성과측면에서 유리한 분류기는 배깅이고 모든 성과측면에서 유리한 MLC 추론방법은 PW인 것으로 확인되었다.
- 참가자들에게는 일정액의 인센티브를 지급하였다. 본 연구에서 대상으로 하는 타겟변수는 방문한 건물을 예측하는 것이다. 즉, 표 1에서 첫 번째 변수인 건물명(Building Name)이 타겟변수로 사용되었다.
- 본 연구에서는 사용자의 인구통계학적 정보와 활동정보를 토대로 미래에 방문할 장소를 멀티 레이블 분류방법, 즉 MLC 추론방법을 이용하여 예측했다. 본 연구에서 사용한 MLC 추정 방법은 BR, CC, MCC, PW, RAkEL 등 모두 5개 방법을 적용하였다. 이들 5개 방법은 알고리즘 적합기법과 문제 변환방법을 동시에 커버하므로써 MLC 방법의 핵심사항을 모두 적용하였다.
- 본 연구에서는 사용자의 인구통계학적 정보와 활동정보를 토대로 미래에 방문할 장소를 멀티 레이블 분류방법, 즉 MLC 추론방법을 이용하여 예측했다. 본 연구에서 사용한 MLC 추정 방법은 BR, CC, MCC, PW, RAkEL 등 모두 5개 방법을 적용하였다.
- 본 연구에서는 이같은 성과측정치중에서 장소예측에 적합하 다고 판단되는 성과측정치인 해밍로스, 원에러, 서브셋 정확도, 평균 정밀도, 그리고 세 개의 F1값 (즉, 샘플기반 F1, 마이크로 F1, 매크로 F1)를 적용한다.
- 본 연구에서는 인구통계학적 특성들과 건물 내 활동내역을 토대로 사용자가 방문한 건물을 추정하기 위해 표 1에 정리된 22가지 변수를 사용했다. 변수 내 범주의 수는 정의 칸의 괄호 안에 표기했다.
- 셋째, 성과측면에서 불리한 분류기와 MLC 추론방법도 분석하였다. 그 결과 해밍로스, 원에러, 서브셋 정확도, 평균 정밀도, F1 값등 모든 성과측면에서 볼 때 가장 불리한 결과를 보여 주는 분류기는 로지스틱 회귀와 스태킹이며, 가장 불리한 MLC 추론방법은 RAkEL인 것으로 확인되었다.
- 셋째, 성과측정치로는 해밍로스 (HL), 원에러 (OE), 서브셋 정확도(SA),평균 정밀도 (AP), 샘플기반 F1 (EF), 마이크로 F1(MiF), 매크로 F1(MaF)를 적용하였다.
- 그리고 레이블 기반 성과측정치로서 마이크로 F1 (micro F1), 매크로 F1 (macro F1)을 적용하였고 랭킹 기반 성과측정치로서는 평균 정밀도 (average precision)와 원에러 (one error)를 적용하였다. 아울러 MLC 분석을 위하여 기존 연구애서 사용한 모든 주요 분류기를 골고루 적용하였다. 즉, 단일 분류기에서 로지스틱회귀, 의사결정트리, 인공신경망을 사용하였고 앙상블 분류기로는 배깅, 스태킹, 부스팅, 랜덤 포레스트, 랜덤 서브스페이스를 적용하였다.
- 이중에서 관련 문헌에서 많이 사용되는 성과측정치는 7개가 있다 [15]. 이같은 성과측정치를 세개의 그룹으로 정리할 수가 있는바 즉, 샘플 기반 성과측정치, 레이블 기반 성과측정치. 그리고 랭킹 기반 성과측정치가 그것이다 [26].
- 본 연구에서 사용한 MLC 추정 방법은 BR, CC, MCC, PW, RAkEL 등 모두 5개 방법을 적용하였다. 이들 5개 방법은 알고리즘 적합기법과 문제 변환방법을 동시에 커버하므로써 MLC 방법의 핵심사항을 모두 적용하였다. 그리고 본 연구에서 적용한 성과측정치는 모두 7개이고 이는 기존 MLC방법에서 널리 사용되는 성과측정치들이다.
- 셋째, F1값을 중심으로 해석한다. 이를 위하여 샘플기반 F1 (EF), 마이크로 F1(MiF), 매크로 F1(MaF)값을 구한 후에 이들 간 비교를 통하여 어떤 분류기와 어떤 MLC추론방법이 상대적으로 기여를 더 많이 하는지를 분석한다.
- 둘째, 정확도와 정밀도 위주로 보기 위하여 서브셋 정확도와 평균 정밀도를 비교하고 그에 따른 분류기와 MLC추론방법의 적용정도를 비교한다. 이를 위하여 서브셋 정확도 SA와 평균정 밀도 AP를 정렬하여 보다 정확한 의미를 해석한다.
- 아울러 MLC 분석을 위하여 기존 연구애서 사용한 모든 주요 분류기를 골고루 적용하였다. 즉, 단일 분류기에서 로지스틱회귀, 의사결정트리, 인공신경망을 사용하였고 앙상블 분류기로는 배깅, 스태킹, 부스팅, 랜덤 포레스트, 랜덤 서브스페이스를 적용하였다.
- 그리고 본 연구에서 적용한 성과측정치는 모두 7개이고 이는 기존 MLC방법에서 널리 사용되는 성과측정치들이다. 즉, 샘플 기반 성과측정치로서 해밍로스 (Hamming Loss), 서브셋 정확도 (Subset Accuracy), 그리고 샘플 기반 F1 (example based F1)을 적용하였다. 그리고 레이블 기반 성과측정치로서 마이크로 F1 (micro F1), 매크로 F1 (macro F1)을 적용하였고 랭킹 기반 성과측정치로서는 평균 정밀도 (average precision)와 원에러 (one error)를 적용하였다.
- 첫째, 문제변환방법이란 MLC 문제를 하나 또는 복수개의 SLC 문제로 변환하여 해결하는 방법이다. 즉, 학습시 멀티 레이블 학습데이터를 단일 레이블 자료로 변환하여 해당 자료를 단일 레이블 분류기로 학습한다. 그리고 테스트 할때 학습된 단일 레이블 분류기를 이용하여 단일 분류 추정치를 계산한 다음 해당 추정치를 멀티 레이블 추정치로 변환한다.
- 첫째, MLC작업을 위하여 사용된 분류기로는 우선 단일 분류기와 앙상블 분류기를 골고루 사용하였다. 단일 분류기로는 로직스틱 회귀(LR), 의사결정트리 (DT), 인공신경망 (NN), 나이브 베이지안망 (NB), 서포트벡터머신(SVM), k최근접이웃 (kNN) 분류기를 사용하였다.
- 첫째, 기존 연구와 달리 본 연구에서는 사용자의 인구통계 정보와 활동정보를 토대로 MLC추론방법을 적용하여 결과를 도출하였다. 이같은 분석시도는 기존 장소예측 분야에서는 처음으로 시도되었다는 점에서 학술적, 실무적 의의가 있다.
- 첫째, 우선은 오차위주의 해석을 하기 위하여 해밍로스(HL) 와 원에러(OE)를 비교하고 그에 따른 분류기와 MLC추론방법의 적용정도를 알아본다. 해밍로스와 원에러를 정렬을 시켜서 어떤 분류기와 어떤 MLC추론방법에서 상대적으로 더 유리한 해밍로스와 원에러가 나오는지를 보고자 한다.
대상 데이터
- 따라서, MLC문제는 단일 레이블 분류 문제와 비교하여 주어진 학습자료의 개수를 줄이는 효과가 있다. 그렇기 때문에 본 자료를 단일 레이블 분류문제로 풀때에는 6868개의 자료였지만 이를 MLC 문제로 변환하면서 동일인이 방문한 여러건물을 멀티 레이블을 이용하여 하나의 자료로 간주할 수가 있어서 2373개의 자료로 재구성된 것이다.
- 이들 5개 방법은 알고리즘 적합기법과 문제 변환방법을 동시에 커버하므로써 MLC 방법의 핵심사항을 모두 적용하였다. 그리고 본 연구에서 적용한 성과측정치는 모두 7개이고 이는 기존 MLC방법에서 널리 사용되는 성과측정치들이다. 즉, 샘플 기반 성과측정치로서 해밍로스 (Hamming Loss), 서브셋 정확도 (Subset Accuracy), 그리고 샘플 기반 F1 (example based F1)을 적용하였다.
- 본 연구에 사용된 자료는 서울의 한 사립 대학교 인문사회 캠퍼스 내의 학생들을 대상으로 학교 내 방문 건물, 이동경로, 건물 내 활동, 인구통계학적 특성들을 설문을 통해 2주간 조사한 상황자료다. 그리고 본 자료는 기존연구에서 다양한 분류기를 이용한 단일 레이블 분류문제로 사용된 바 있으나 [9, 10, 11, 12, 13], 본 연구에서는 해당 자료를 MLC 문제에 맞게 다시 수정하여 모두 2373개의 상황예측 자료로 구성하였다.
- 본 상황자료는 개인정보 보호를 위하여 설문자가 대학 캠퍼스에 들어왔을 때에 한하여 수집한 자료이다. 참가자들에게는 일정액의 인센티브를 지급하였다.
- 본 연구에 사용된 자료는 서울의 한 사립 대학교 인문사회 캠퍼스 내의 학생들을 대상으로 학교 내 방문 건물, 이동경로, 건물 내 활동, 인구통계학적 특성들을 설문을 통해 2주간 조사한 상황자료다. 그리고 본 자료는 기존연구에서 다양한 분류기를 이용한 단일 레이블 분류문제로 사용된 바 있으나 [9, 10, 11, 12, 13], 본 연구에서는 해당 자료를 MLC 문제에 맞게 다시 수정하여 모두 2373개의 상황예측 자료로 구성하였다.
이론/모형
- 그리고 임계치를 적용하여서 가장 적합한 레이블을 찾아 추정치를 정한다. 또한 몬테카를로 방법을 이용한 MCC방법도 사용된다.
성능/효과
- 그리고 해밍로스, 원에러 관점에서 가장 불리한 MLC 추론방법은 RAkEL이며 이 역시 서브셋 정확도와 평균 정밀도 측면에서도 가장 불리한 MLC 추론방법이다. F1 값 기준으로 볼 때 가장 불리한 분류기는 로지스틱 회귀, 스태킹, 그리고 랜덤 포레스트 순으로 나타났다. 그리고 가장 불리한 MLC 추론방법은 RAkEL이다.
- 배깅은 해밍로스와 원에러에서도 우수한 성과를 보이는 분류기이기 때문에 배깅은 에러는 줄이는 목적과 정확도와 정밀도를 높이는 목적 달성에 유리한 분류기임을 알 수 있다. MLC 추론 관점으로 보 면 BR, CC와 같은 전통적인 MLC 추론기법이 유리하고 아울러 PW, MCC 추론기법도 유리한 결과를 보이고 있다. 따라서, 서브셋 정확도와 평균 정밀도 관점으로 보면 MLC 추론기법은 RAkEL을 제외하고는 모두 다 좋은 성과를 보여준다.
- 결국 분류기 관점으로 보면 배깅과 랜덤 서브스페이스의 상대적으로 우수한 성과를 보이고 있음을 알 수 있다. MLC 추론 방법 관점으로 보면 해밍로스에서는 BR이 원에러에서는 PW와 BR의 성과가 좋다. 정리하면 해밍로스와 원에러 관점에서 볼 때 분류기에서는 배깅이 공통적으로 좋은 성과를 보이고 MLC 추론방법으로는 BR이 공통적으로 좋은 성과를 보인다.
- 그리고 가장 불리한 MLC 추론방법은 RAkEL이다. 결론적으로 성과측면에서 볼 때 가장 불리한 결과를 보여주는 분류기는 로지스틱 회귀와 스태킹이며, 가장 불리한 MLC 추론방법은 RAkEL이다.
- 둘째, 해밍로스, 원에러 (이상 오차 측면 성과치), 서브셋 정확도, 평균 정밀도 (이상 정확도와 정밀도 측면의 성과치), F1 값 등 성과측정치 관점에서 유리한 분류기와 MLC 추론방법, 불리한 분류기와 MLC 추론방법을 제시하였다. 그 결과 모든 성과측면에서 유리한 분류기는 배깅이고 모든 성과측면에서 유리한 MLC 추론방법은 PW인 것으로 확인되었다. 반면, 의사결 정트리는 서브셋 정확도, 평균 정밀도와 F1값 측면에서 유리한 분류기였다.
- 셋째, 성과측면에서 불리한 분류기와 MLC 추론방법도 분석하였다. 그 결과 해밍로스, 원에러, 서브셋 정확도, 평균 정밀도, F1 값등 모든 성과측면에서 볼 때 가장 불리한 결과를 보여 주는 분류기는 로지스틱 회귀와 스태킹이며, 가장 불리한 MLC 추론방법은 RAkEL인 것으로 확인되었다.
- 넷째, 기존 장소예측 연구는 성과측정치가 정확도나 AUC 정도에 국한되었지만 본 연구는 MLC에서 도출되는 다양한 성과 측정치를 파악할 수가 있었다. 이같은 MLC기법의 특성은 향후 장소예측에 관한 연구에서 많은 기여를 할 것으로 기대된다.
- MLC 추론 관점으로 보 면 BR, CC와 같은 전통적인 MLC 추론기법이 유리하고 아울러 PW, MCC 추론기법도 유리한 결과를 보이고 있다. 따라서, 서브셋 정확도와 평균 정밀도 관점으로 보면 MLC 추론기법은 RAkEL을 제외하고는 모두 다 좋은 성과를 보여준다. 한가지 특기할 만한 사실은 MLC 추론방법에서 BR은 평균 정밀도 향상에는 유리하지만 서브셋 정확도 향상에는 기여를 못하고 있다.
- 이를 분류기 관점으로 정리하면 배깅, 부스팅, 의사결 정트리가 상대적으로 좋은 성과를 보여주고 있다. 보다 세부적 으로 조사해보면 배깅이 모든 F1값에서 좋은 성과를 보여주고 있고, 의사결정트리 역시 모든 F1값에서 유리한 성과를 보여주고 있다. 반면 부스팅은 샘플기반 F1과 매크로 F1에서 상대적 으로 더 좋은 성과를 보여주고 있다.
- MLC 추론 방법 관점으로 보면 해밍로스에서는 BR이 원에러에서는 PW와 BR의 성과가 좋다. 정리하면 해밍로스와 원에러 관점에서 볼 때 분류기에서는 배깅이 공통적으로 좋은 성과를 보이고 MLC 추론방법으로는 BR이 공통적으로 좋은 성과를 보인다. 해밍로스와 원에러와 같이 MLC를 적용할때 발생되는 오차를 줄이기 위해서는 배깅 분류기를 이용하여 BR 추론방법을 적용하는 것 이 상대적으로 유리하다.
- 표 4는 분류기 관점으로 성과를 보여주고 있다. 즉, 해밍로스의 경우 배깅과 랜덤 서브스페이스가 좋은 성과를 보이고 있고, 원에러의 경우 배깅이 상대적으로 좋은 성과를 보이고 있다. 결국 분류기 관점으로 보면 배깅과 랜덤 서브스페이스의 상대적으로 우수한 성과를 보이고 있음을 알 수 있다.
- 성과측정치별로 베스트 분류기와 MLC추론방법을 정리하면 표 7과 같다. 해밍로스, 원에러 기준으로 볼 때 가장 좋은 분류기로는 배깅, 랜덤 서브스페이스이고, 가장 좋은 성과를 보이는 MLC 추론방법은 BR, PW이다. 해밍로스, 원에러와 같이 오차 관점으로 볼 때 가장 좋은 성과를 보이는 분류기는 모두 앙상블 임이 특기할 만하다.
후속연구
- 둘째, MLC에 적합한 속성추출 (Feature Selection) 방법을 연구할 필요가 있다. SLC에는 이미 다양한 속성추출 방법이 기존연구에서 제안된 바 있으나 MLC에서는 아직 속성추출에 관한 연구가 많지 않기 때문이다.
- 넷째, 기존 장소예측 연구는 성과측정치가 정확도나 AUC 정도에 국한되었지만 본 연구는 MLC에서 도출되는 다양한 성과 측정치를 파악할 수가 있었다. 이같은 MLC기법의 특성은 향후 장소예측에 관한 연구에서 많은 기여를 할 것으로 기대된다.
- 첫째, SLC와 MLC간 성과비교를 보다 면밀하게 할 필요가 있다. 주어진 장소예측 자료의 성격에 따라 SLC와 MLC가 서로 상충된 결과를 보일 수 있기 때문이다.
- 향후 본 연구가 장소예측에서 MLC 기법이 보다 활발하게 적용되는 기본연구로 이용될 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.