현재 저널 논문 투고 및 심사 시스템에서 저자는 언제든지 논문 투고가 가능하며 그에 따라 저널 편집위원들이 투고된 논문들에 가장 적절한 심사위원들을 찾아 배정하는 데에 어려움을 겪고 있다. 본 논문에서는 편집위원들의 이러한 심사위원 선정의 어려움을 해결하기 위하여, 투고된 논문들에 적절한 심사위원들을 추천하는 탐욕 알고리즘과 유전 알고리즘을 제시한다. 제안하는 두 알고리즘에서는 투고 논문들의 키워드(Keyword)와 심사위원들의 전문지식 태그(Expertise Tag) 정보를 활용하여 심사위원들의 전문성을 평가하고, 추천되는 심사위원들 간의 공정성 및 심사 참여빈도를 고려하여 심사위원들에게 심사기회가 균등하게 이루어지도록 한다. 제안하는 알고리즘을 검증하기 위하여 본 논문에서는 한국정보처리학회에서 운영하고 있는 JIPS 논문 투고 및 심사 시스템에 추천 알고리즘을 적용해보고 이의 결과를 제시한다. 마지막으로, 제안하는 두 알고리즘의 성능 분석을 수행하여 유전 알고리즘이 탐욕 알고리즘에 비해 추천 심사위원들의 적합도 측면에서 더 좋은 성능을 나타냄을 제시한다.
현재 저널 논문 투고 및 심사 시스템에서 저자는 언제든지 논문 투고가 가능하며 그에 따라 저널 편집위원들이 투고된 논문들에 가장 적절한 심사위원들을 찾아 배정하는 데에 어려움을 겪고 있다. 본 논문에서는 편집위원들의 이러한 심사위원 선정의 어려움을 해결하기 위하여, 투고된 논문들에 적절한 심사위원들을 추천하는 탐욕 알고리즘과 유전 알고리즘을 제시한다. 제안하는 두 알고리즘에서는 투고 논문들의 키워드(Keyword)와 심사위원들의 전문지식 태그(Expertise Tag) 정보를 활용하여 심사위원들의 전문성을 평가하고, 추천되는 심사위원들 간의 공정성 및 심사 참여빈도를 고려하여 심사위원들에게 심사기회가 균등하게 이루어지도록 한다. 제안하는 알고리즘을 검증하기 위하여 본 논문에서는 한국정보처리학회에서 운영하고 있는 JIPS 논문 투고 및 심사 시스템에 추천 알고리즘을 적용해보고 이의 결과를 제시한다. 마지막으로, 제안하는 두 알고리즘의 성능 분석을 수행하여 유전 알고리즘이 탐욕 알고리즘에 비해 추천 심사위원들의 적합도 측면에서 더 좋은 성능을 나타냄을 제시한다.
In journal manuscript submission and review systems, authors can submit their manuscript at any time and editorial members are struggling to find proper reviewers for the submitted manuscripts and assign them to such reviewers. In order to solve this problem, we propose a greedy algorithm and a gene...
In journal manuscript submission and review systems, authors can submit their manuscript at any time and editorial members are struggling to find proper reviewers for the submitted manuscripts and assign them to such reviewers. In order to solve this problem, we propose a greedy algorithm and a genetic algorithm to recommend proper reviewers for the submitted manuscripts. The proposed algorithms evaluate reviewers' speciality for the submitted manuscripts by using the submitted manuscripts' keywords and the reviewers expertises. In addition to that, they take the fairness among the reviewers' speciality and the review frequency for consideration. To verify the proposed algorithms, we apply them to the JIPS manuscript submission and review system that the Korea Information Processing Society has operated, and present the results in this paper. By performing the performance evaluation of the proposed algorithms, we finally show that the genetic algorithm outperforms the greedy algorithm in terms of the recommended reviewers' fitness.
In journal manuscript submission and review systems, authors can submit their manuscript at any time and editorial members are struggling to find proper reviewers for the submitted manuscripts and assign them to such reviewers. In order to solve this problem, we propose a greedy algorithm and a genetic algorithm to recommend proper reviewers for the submitted manuscripts. The proposed algorithms evaluate reviewers' speciality for the submitted manuscripts by using the submitted manuscripts' keywords and the reviewers expertises. In addition to that, they take the fairness among the reviewers' speciality and the review frequency for consideration. To verify the proposed algorithms, we apply them to the JIPS manuscript submission and review system that the Korea Information Processing Society has operated, and present the results in this paper. By performing the performance evaluation of the proposed algorithms, we finally show that the genetic algorithm outperforms the greedy algorithm in terms of the recommended reviewers' fitness.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 저널 논문 투고 및 심사 시스템에서 투고된 논문의 키워드와 심사위원들의 전문지식 태그 정보를 기반으로 해당 논문의 심사위원들을 추천하는 알고리즘을 제안한다. 앞서 설명한 기존 방안들의 단점을 개선하기 위하여 심사위원들의 공정성과 참여빈도도 함께 고려하여 추천 심사위원을 선정하고 각 추천 심사위원들에 대한 우선순위도 함께 산출되도록 한다.
본 논문은 저널 논문 투고 및 심사 시스템에서 투고 논문에 대한 심사위원들을 추천하는 방법을 제시했다. 이와 같은 목적으로 탐욕 알고리즘과 유전 알고리즘을 제안하였으며, 이 두 알고리즘 모두 주제유사성 비교를 기반으로 하여 해당 논문의 분야에서 보다 더 전문적인 심사위원을 추천한다.
가설 설정
본 논문에서는 일정한 주기를 정하고 각 주기가 돌아오는 시점(Epoch)마다 해당 주기 동안 투고된 논문들의 집합 P를 우선 정의한다. 한편, 심사위원들의 집합 R은 이미 본 논문에서 고려하는 논문 투고 및 심사 시스템에 등록되어있다고 가정한다. 또한, 해당 주기가 돌아오는 시점 이전에 편집장은 임의의 투고 논문에 대해 직접 몇 명의 심사위원들을 이미 할당해놓을 수 있다.
제안 방법
심사위원의 전문지식을 채집하는 방안은 여러 가지 방법이 존재하며 본 논문의 주제와 관련성이 적기 때문에 간략하게 설명한다. 본 논문에서 심사위원의 전문지식은 해당 심사위원이 이전에 투고했던 논문을 분석한 키워드와 심사에 참여한 논문의 키워드를 심사위원의 전문성과 관련이 있다고 보고 전문지식 태그로 추가하는 방안을 활용하였다.
앞서 설명한 기존 방안들의 단점을 개선하기 위하여 심사위원들의 공정성과 참여빈도도 함께 고려하여 추천 심사위원을 선정하고 각 추천 심사위원들에 대한 우선순위도 함께 산출되도록 한다. 본 논문에서 제안하는 심사위원 추천 방법으로 탐욕 알고리즘과 유전 알고리즘을 개발하였으며 이 두 알고리즘 간의 성능 비교를 제시한다.
본 논문에서는 이와 같은 문제에 대한 해결책으로서 탐욕(Greedy) 알고리즘 및 유전자(Genetic) 알고리즘을 각각 제안한다.
본 절에서는 최적화 문제를 해결하는 대표적 기법인 유전 알고리즘을 적용하여 투고 논문에 대한 추천 심사위원을 선별하는 유전 알고리즘을 제시한다. 유전 알고리즘에 대한 각 고려 사항은 다음과 같이 설정한다.
본 논문에서는 저널 논문 투고 및 심사 시스템에서 투고된 논문의 키워드와 심사위원들의 전문지식 태그 정보를 기반으로 해당 논문의 심사위원들을 추천하는 알고리즘을 제안한다. 앞서 설명한 기존 방안들의 단점을 개선하기 위하여 심사위원들의 공정성과 참여빈도도 함께 고려하여 추천 심사위원을 선정하고 각 추천 심사위원들에 대한 우선순위도 함께 산출되도록 한다. 본 논문에서 제안하는 심사위원 추천 방법으로 탐욕 알고리즘과 유전 알고리즘을 개발하였으며 이 두 알고리즘 간의 성능 비교를 제시한다.
저널 투고 논문 심사위원 추천 문제를 해결하기 위하여본 논문에서는 투고 논문과 심사위원 사이의 전문분야 유사성과 심사위원의 심사 참여빈도를 기반으로 투고 논문에 적합한 심사위원들을 추천한다. 앞으로 투고 논문의 주제를 나타내는 주제어를 키워드(Keyword)라 지칭하고, 심사위원의 지식에 관련된 주제어를 전문지식(Expertise)이라고 지칭한다.
대상 데이터
실험 데이터 집합은 실제 한국 정보처리학회 저널 논문 투고 및 심사 시스템[14]에서 추출한 투고 논문과 심사위원들의 집합을 사용하였다. Table 3은 본 실험을 위하여 마련한 각기 다른 크기의 3가지 실험 데이터 집합 내용을 제시한다.
각 데이터 집합에서 투고 논문 수는 임의의 시점에서 심사가 요구되는 논문의 수를 의미한다. 실험 수행시간의 단축을 위해, 후보 심사위원의 수는 실제 시스템에 등록된 후보 심사위원들 중 해당 시점에서의 모든 투고 논문들에 대하여 적합도 함수 f(p, Rp , r)의 값이 0 이상인 심사위원만 후보 심사위원 대상으로 선정하였다.
이론/모형
제안하는 알고리즘에서는 Equation (7)을 이용하여 해당 논문에 대하여 유사성 정도가 ε 값보다 높은 심사위원들을 선별한다(라인 5∼9). 이때 bpr은 논문 심사위원 추천 문제의 제한사항 Θ1 ∼ Θ4 들을 만족하는지에 대한 여부를 판단하는 부분을 나타내는 것으로, 그러한 제한사항을 모두 만족해야만 선별될 수 있다.
성능/효과
이와 같은 목적으로 탐욕 알고리즘과 유전 알고리즘을 제안하였으며, 이 두 알고리즘 모두 주제유사성 비교를 기반으로 하여 해당 논문의 분야에서 보다 더 전문적인 심사위원을 추천한다. 유전 알고리즘에 비하여 탐욕 알고리즘이 빠른 수행시간 내에 결과를 산출하지만, 유전 알고리즘의 산출 결과가 적합도 측면에서 탐욕 알고리즘보다 우수함을 알 수 있다. 유전 알고리즘의 수행시간이 매우 길다는 점은 단점이지만, 저널에서 논문이 투고가 된 시점 이후 실제로 편집장이 심사위원을 선정하기까지는 일반적으로 하루 이상의 시간이 소요되기 때문에 유전 알고리즘의 긴 수행시간은 큰 문제가 되지 않는다.
유전 알고리즘에 비하여 탐욕 알고리즘이 빠른 수행시간 내에 결과를 산출하지만, 유전 알고리즘의 산출 결과가 적합도 측면에서 탐욕 알고리즘보다 우수함을 알 수 있다. 유전 알고리즘의 수행시간이 매우 길다는 점은 단점이지만, 저널에서 논문이 투고가 된 시점 이후 실제로 편집장이 심사위원을 선정하기까지는 일반적으로 하루 이상의 시간이 소요되기 때문에 유전 알고리즘의 긴 수행시간은 큰 문제가 되지 않는다. 제시한 방안은 기존의 추천 방안과 달리 추천 심사위원들에 대해 우선순위를 부여하고, 전문성에 대한 고려 이외에, 비슷한 전문성을 지닌 심사위원들의 심사참여 공정성도 고려하고 있으며, 심사위원들의 참여빈도까지도 고려하여 적합한 심사위원들을 추천하기 때문에 제한 기간 내에 심사진행이 원활히 될 수 있도록 유도하고 있다.
후속연구
하지만, 논문 투고가 상시 일어나는 저널 논문 투고 및 심사 시스템에서는, 투고된 논문들에 대해 편집위원이 심사위원을 선정할 때까지 일반적으로 하루 이상의 시간이 소요되기 때문에 심사위원 추천 알고리즘의 수행시간이 빨라야 할 필요는 없다. 따라서 논문이 투고된 시점 혹은 그 이후에 주기적으로 유전 알고리즘을 수행하여 추천 심사위원들을 편집위원에게 제공한다면 더 좋은 성능을 기반으로 심사위원들을 선정하는데 도움이 될 것이다.
제시한 방안은 기존의 추천 방안과 달리 추천 심사위원들에 대해 우선순위를 부여하고, 전문성에 대한 고려 이외에, 비슷한 전문성을 지닌 심사위원들의 심사참여 공정성도 고려하고 있으며, 심사위원들의 참여빈도까지도 고려하여 적합한 심사위원들을 추천하기 때문에 제한 기간 내에 심사진행이 원활히 될 수 있도록 유도하고 있다. 본 논문에서 제안하는 방안을 활용하면 저널 논문 투고 및 심사 시스템에서 편집위원들이 각 투고 논문들에 대한 우수하고 적합한 심사위원들을 추천받을 수 있으므로, 전반적인 투고 논문 관리 및 처리 과정을 용이하게 진행시킬 수 있을 것으로 기대된다.
질의응답
핵심어
질문
논문에서 추출한 답변
기존의 심사위원 추천 방안의 단점은 무엇인가?
그러나 기존 방안들은 심사위원들의 과거 심사 참여 빈도를 고려하지 않고 있다. 이에 따라, 소수의 심사위원들에게 논문 심사가 집중되어 제한 기간 내에 심사가 원활하게 이루어지지 못하거나 특정 연구자들에게는 심사기회가 잘 주어지지 않는 상황이 발생되기도 하는 단점이 있다. 또한, 투고된 논문에 대하여 추천 심사위원들의 전문성에 대한 균형을 고려하지 않기 때문에, 편집위원은 각 추천 심사위원들이 보내온 심사 결과를 전문성의 정도에 따라 차별적으로 살펴보아야 하는 불편함이 있다.
추천 시스템이란 무엇인가?
추천 시스템은 다양한 정보를 기반으로 하여 사용자의 관심도와 관련성이 크고 좀 더 유익하고 흥미로운 정보를 제공하여 선택의 방향을 제시해주는 시스템을 말한다. 최근 아마존(Amazon), 넷플릭스(Netflix), 구글(Google) 등과 같은 서비스는 추천 시스템을 적용하여 서비스의 품질을 높이는 경우가 증가하고 있다[15-16].
현재 저널 논문 투고 및 심사 시스템에서 어떤 어려움이 있으며 그 원인은 무엇인가?
현재 저널 논문 투고 및 심사 시스템에서 저자는 언제든지 논문 투고가 가능하며 그에 따라 저널 편집위원들이 투고된 논문들에 가장 적절한 심사위원들을 찾아 배정하는 데에 어려움을 겪고 있다. 본 논문에서는 편집위원들의 이러한 심사위원 선정의 어려움을 해결하기 위하여, 투고된 논문들에 적절한 심사위원들을 추천하는 탐욕 알고리즘과 유전 알고리즘을 제시한다.
참고문헌 (16)
C. Long, R. C. Wong, Y. Peng, and L. Ye, "On Good and Fair Paper-Reviewer Assignment," IEEE 13th International Conference on Data Mining, 2013.
X. Liu, T. Suel, and N. Memon, "A Robust Model for Paper-Reviewer Assignment," the 8th ACM Conference on Recommender systems: 25-32, 2014.
X. Yun-hong, G. Xi-tong, X. Liang, C. Yu, Z. and Yong-yao, "Research Analytics for Reviewer Recommendation," International Conference on Management Science & Engineering (19th), 2012.
J. Lee, J. Lee, H. Jung, I. Kang, S. Shin "Automatic Recommendation of Panel Pool Using a Probabilistic Ontology and Researcher Networks" Journal of the Korean Society for Information Management, Vol.24, No.3, pp.43-65, 2007.
P. Kim, S. Lee, I. Kang, H. Jung, J. Lee, W. Sung "The Academic Information Analysis Service using OntoFrame-Recommendation of Reviewers and Analysis of Researchers' Accomplishments" Journal of KIISE : Computer Systems and Theory, Vol.35, No.7, pp.431-441, 2008.
J. Lee, K. Lee, and J. G. Kim, "Personalized Academic Research Paper Recommendation System," arXiv preprint arXiv:1304.5457, 2013.
C. Basu, H. Hirsh, W. W. Cohen, and C. Nevill-Maning, "Technical Paper Recommendation: A Study in Combining Multiple Information Sources," Journal of Artificial Intelligence Research, Vol.14, pp.231-252, 2001.
김진권 "KFMA Online 논문투고/심사 시스템 안내" Journal of fluid machinery, Vol.8, No.1, pp.81-85, 2005.
W. W. Cohen, P. Ravikumar, and S. E. Fienberg, "A comparison of string metrics for matching names and records" KDD Workshop on Data Cleaning and Object Consolidation, Vol.3, pp.73-78, 2003.
D. C. Conry, "Recommender Systems for the Conference Paper Assignment Problem," the ACM Conference on Recommender Systems, 2009.
J. Goldsmith and R. H. Sloan, "The AI Conference Paper Assignment Problem," In Pref. Handling for AI, Papers from the AAAI Workshop, 2007.
T. Kolasa and D. Kro,l "A Survey of Algorithms for Paperreviewer Assignment Problem," IETE Technical Review (Medknow Publications & media Pvt. Ltd.), 2011.
J. Park, Y. Cho "Social Network Analysis for the Effective Adoption of Recommender Systems" Journal of Intelligence and Information Systems, Vol.17, No.4, pp.305-316, 2011.
S. Lee "Personalized Contents Recommendation System Based on Social Network" Journal of Broadcast Engineering, Vol.18, No.1, pp.98-105, 2013.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.