정보화 사회 핵심 인프라인 웹 상에서 수많은 정보 서비스가 제공되고 있지만, 차세대 웹이라 일컫는 시맨틱 웹 기술을 활용한 시맨틱 서비스는 그 숫자나 서비스 제공 범위에 대한 공감대에 있어서 아직 성숙되지 못한 상태이다. 본 연구는 2개의 시맨틱 서비스들의 동일한 세 가지 기능들을 비교 평가하는 방식으로 시맨틱 서비스를 개발함에 있어 반드시 고려해야 할 신뢰성을 어떻게 측정할 수 있을 것인지 그 방법을 제시하고 있다. 비교 대상 시스템의 신뢰성 측정을 위해, 피실험자의 기대-결과 신뢰성과 작업 정확도 측정이 관찰자 관점에서 수행되었으며, 다른 한편으로, 기능적 신뢰성과 정보 신뢰성 스칼라 값(0~5)을 피실험자 스스로 벡터 그래프에 나타내도록 하였다. 실험결과는 관찰자에 의한 평가 값과 피실험자에 의한 평가 값이 매우 유사함을 보여 주었으며, 서비스된 정보의 정확성과 작업 수행의 만족성이 사용자 관점에서 상호 밀접한 관계를 가진다는 사실을 확인하여 주었다. 본 연구 결과를 통하여, 우리는 시맨틱 서비스가 제공하는 기능적 신뢰성과 기능 수행의 결과로 서비스되는 정보에 대한 신뢰성이 정보 시스템의 신뢰성 평가를 위한 필수적 요소임을 알 수 있었다. 특히, 신뢰성은 시맨틱 정보 서비스에서 사용상 품질 (Quality in Use)을 의미한다고 볼 수 있으며, 결과적으로 서비스의 사용상 품질을 결정하는 중요한 요소임을 실증하였다.
정보화 사회 핵심 인프라인 웹 상에서 수많은 정보 서비스가 제공되고 있지만, 차세대 웹이라 일컫는 시맨틱 웹 기술을 활용한 시맨틱 서비스는 그 숫자나 서비스 제공 범위에 대한 공감대에 있어서 아직 성숙되지 못한 상태이다. 본 연구는 2개의 시맨틱 서비스들의 동일한 세 가지 기능들을 비교 평가하는 방식으로 시맨틱 서비스를 개발함에 있어 반드시 고려해야 할 신뢰성을 어떻게 측정할 수 있을 것인지 그 방법을 제시하고 있다. 비교 대상 시스템의 신뢰성 측정을 위해, 피실험자의 기대-결과 신뢰성과 작업 정확도 측정이 관찰자 관점에서 수행되었으며, 다른 한편으로, 기능적 신뢰성과 정보 신뢰성 스칼라 값(0~5)을 피실험자 스스로 벡터 그래프에 나타내도록 하였다. 실험결과는 관찰자에 의한 평가 값과 피실험자에 의한 평가 값이 매우 유사함을 보여 주었으며, 서비스된 정보의 정확성과 작업 수행의 만족성이 사용자 관점에서 상호 밀접한 관계를 가진다는 사실을 확인하여 주었다. 본 연구 결과를 통하여, 우리는 시맨틱 서비스가 제공하는 기능적 신뢰성과 기능 수행의 결과로 서비스되는 정보에 대한 신뢰성이 정보 시스템의 신뢰성 평가를 위한 필수적 요소임을 알 수 있었다. 특히, 신뢰성은 시맨틱 정보 서비스에서 사용상 품질 (Quality in Use)을 의미한다고 볼 수 있으며, 결과적으로 서비스의 사용상 품질을 결정하는 중요한 요소임을 실증하였다.
While numerous information services are provided on the Web as a core infrastructure of information society, semantic services using the Semantic Web technologies still stay deployed number and application range. This situation would be mainly originated from the failure of securing reliability to t...
While numerous information services are provided on the Web as a core infrastructure of information society, semantic services using the Semantic Web technologies still stay deployed number and application range. This situation would be mainly originated from the failure of securing reliability to the user. Thus, this paper introduces an evaluation method for measuring reliabilities of the semantic services comparatively. To measure the reliability of the compared systems, the observer assesses 'precision in task performance' as a quantitative analysis and 'reliability of expectation-result' as a qualitative analysis described by the test persons. On the other hand, the test person should rate the functional reliability and reliability of the served information on the vector graph by himself with a scale from 0 to 5. Experimental results show that assessment by the observer is very similar to rating value by test persons, and that the accuracy of the served information has a close effect on the functional reliability. Through this paper, we can verify the essential factors for evaluating the reliability of semantic service systems. These are functional reliability and reliability of served information resulting from function execution. In particular, it has been proven that the reliability of the semantic information services largely influences the "Quality in Use" and therefore determines the major factors of the semantic service reliability.
While numerous information services are provided on the Web as a core infrastructure of information society, semantic services using the Semantic Web technologies still stay deployed number and application range. This situation would be mainly originated from the failure of securing reliability to the user. Thus, this paper introduces an evaluation method for measuring reliabilities of the semantic services comparatively. To measure the reliability of the compared systems, the observer assesses 'precision in task performance' as a quantitative analysis and 'reliability of expectation-result' as a qualitative analysis described by the test persons. On the other hand, the test person should rate the functional reliability and reliability of the served information on the vector graph by himself with a scale from 0 to 5. Experimental results show that assessment by the observer is very similar to rating value by test persons, and that the accuracy of the served information has a close effect on the functional reliability. Through this paper, we can verify the essential factors for evaluating the reliability of semantic service systems. These are functional reliability and reliability of served information resulting from function execution. In particular, it has been proven that the reliability of the semantic information services largely influences the "Quality in Use" and therefore determines the major factors of the semantic service reliability.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
제안 방법
neural network" 분야의 대표 연구자 5인의 최신논문을 각 1편씩 DBLP4)를 통해 검색하고 제시하세요.' OntoFrame 2007과 OntoFrame 2008 모두 연구자 정보에서 직접 DBLP 내 논문 정보를 확인할 수 있는 기능을 제공하고 있다.
기능적 신뢰성과 정보 신뢰성을 측정하기 위해 GOMS 모델을 이용하여 선택 규칙 (Selection Rule) 에 따라 선택된 실행 방법(Method)과 기대를 작업 수행 전에 서술하도록 하였으며, 작업 수행 후에도 실행 결과에 대한 피실험자의 평가를 서술하도록 하였다[12丄 신뢰성 측정값을 정량적으로 얻기 위하여 X-Y 축에。~5 사이의 값을 갖는 벡터 그래프 상에 기능 정확성과 만족성2)을, 그리고 정보 정확성과 만족성3)을 수치화하여 표시하도록 하였다.
본 연구를 위해 수행된 신뢰성 비교 평가 실험은 각비교 대상 기능에 대해 피실험자 판단으로 얻어진 기능적 신뢰성 (Functional Reliability), 정보 신뢰성 (R이ia- bility about Retrieved Information)과 관찰자 분석으로 얻어진 기대-결과 신뢰성 (Reliability of Expectation - Result)과 작업 수행 정확도 측정으로 구성된다.
대상 데이터
사용성 관련 평가를 위한 인원은 수 명으로 충분히 가능하다는 연구를 바탕으로 피실험자를 5명(80% 이상의 문제를 파악할 수 있는 인원) 선정하였다[10, □丄
성능/효과
이 결과는 시맨틱 서비스와 같은 새로운 유형으로 정보를 제공하는 서비스의 경우 검색 결과 자체뿐만 아니라 관련 기능들의 완성도를 높이는 방식으로 신뢰성을확보할 필요가 있다는 교훈을 주었다. OntoFrame 2008 은 사용성을 떨어뜨린 외부 서비스 연계, 자동 완성, 개체 중심적 통합 검색 기능을 중점적으로 개선함으로써시맨틱 서비스에 대한 신뢰성을 확보하려는 시도의 결과로 개발된 서비스이다.
후속연구
향후 본 연구결과를 바탕으로 개체 중심적 통합 검색과 같은 시스템의 중심 기능에 대한 개선에 우선 순위를 두면서, 시맨틱 기술을 활용한 높은 신뢰성을 가진 정교한 서비스를 제공하는데 초점을 맞출 예정이다.
참고문헌 (14)
홍서영, 박준아, 서진원, 김진우, "사용자 중심의 웹 사이트 평가 모형의 개발", 제10회 한국 HCI 학회: 학술 대회 논문집, 2001.
ISO 9126-1, Software Engineering, Product Quality, 2001.
ISO 15489-2, Information and Documentation - Records Management -, 2001.
정혜정, "소프트웨어 신뢰도 품질 평가 메트릭에 대한 연구", 한국인터넷정보학회지, 7(2), 2006.
김영기, "웹 사이트의 신뢰성 평가에 영향을 미치는 요인과 각 요인의 중요도에 관한 연구", 한국문헌정보 학회지, 41(4), 2007.
J. Tian, S. Rudraraju, and Z. Li, "Evaluating Web Software Reliability Based on Workload and Failure Data Extracted from Server Logs," In Journal of IEEE Transactions on Software Engineering, 30 (11), 2005.
W. Tsai, "Service-oriented System Engineering: A New Paradigm," In Proceedings of IEEE International Workshop on Service-oriented System Engineering, 2005.
W. Sung, H. Jung, P. Kim, I. Kang, S. Lee, M. Lee, D. Park, and S. Hahn, "A Semantic Portal for Researchers Using OntoFrame," In Proceedings of the 6th International Semantic Web Conference and the 2nd Asian Semantic Web Conference, 2007.
H. Jung, M. Lee, P. Kim, S. Lee, and W. Sung, "Implementation of a Semantic Service Framework with Three Features for Improving Reliability," In Proceedings of the 1st Workshop, Human Factors and the Semantic Web in ASWC 2008, 2009.
J. Nielsen, Card Sorting: How Many Users to Test, Jakob Nielsen's Alertbox, July 19, 2004.
J. Nielsen, Quantitative Studies: How Many Users to Test?, Jakob Nielsen's Alertbox, June 26, 2006.
D. Kieras, "A Guide to GOMS Task Analysis," Technical Report of Univ. of Michigan, 1994.
H. Jung, M. Lee, and W. Sung, "Toward Managing and Generating Hyperlinks to External Services," In Proceedings of the 4th International Conference on Networked Computing and Advanced Information Management, 2008.
"청년과학 13호: 설문조사, 좀 제대로 하자!", http://kioku.springnote.com/pages/585547, 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.