[논문]ISO/IEC 25023 소프트웨어 품질 특성 평가를 이용한 시험자간 비교시험에 관한 연구

이창희; 김명섭; 김윤숙; 노아름; 양정심; 송성현

doi:10.5762/kais.2020.21.6.18

ISO/IEC 25023 소프트웨어 품질 특성 평가를 이용한 시험자간 비교시험에 관한 연구
A Study on Proficiency Comparison Testing Between Testers Using ISO/IEC 25023 Software Quality Characteristics Evaluation 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.21 no.6, 2020년, pp.18 - 27

이창희 (LG전자, SW센터, SW공학연구소) , 김명섭 (LG전자, SW센터, SW공학연구소) , 김윤숙 (LG전자, SW센터, SW공학연구소) , 노아름 (LG전자, SW센터, SW공학연구소) , 양정심 (LG전자, SW센터, SW공학연구소) , 송성현 (LG전자, SW센터, SW공학연구소)

초록
AI-Helper

본 연구는 국제표준 ISO/IEC 25023 소프트웨어 품질 특성 평가를 이용하여 ISO/IEC 17043 숙련도 시험 요구 사항을 기준으로 시험자간 숙련도 시험의 결과를 비교 분석한 연구이다. 시험 분야 신청서는 KOLAS에서 정의하는 전기 시험 분야의 소프트웨어 시험으로 한국계량측정협회에 제출을 하였다. 시험자간 숙련도 시험 평가 항목은 국제표준인 ISO/IEC 25023 SW 품질 특성 중 기능 완전성과 시간 효율성으로 선정을 하였다. 시험자간 숙련도 비교 시험은 서울 소재의 LG전자 SW공인시험소에서 2019년 5월 28일에 KOLAS 평가사가 현장에 입회하여 실시되었다. 시험 평가 방법은 기능 완전성으로 시험자 1인당 1회 측정을 하였고 시간 효율성으로 시험자 1인당 10회를 반복 측정을 하였다. 시험의 수행 결과 기능 완전성의 경우는 12개의 시험 단계를 시험자들이 모두 통과하여 만족으로 평가되었다. 시간 효율성은 10회 반복 측정한 평균 결과 시험자 1과 3은 9.45 ± 0.01 초, 시험자 2는 9.52 ± 0.0 초로 나타났으나 통계적으로 유의하게 차이가 없었다. 결론적으로 시험자들의 숙련도는 동등하였으며 해당 시험기관 시험 결과의 신뢰성을 확인할 수 있었다.

Abstract ▼ AI-Helper

This study compared and analyzed the results of proficiency testing between testers based on the international standard ISO/IEC 17043 proficiency testing requirements using ISO/IEC 25023 software quality characteristics evaluation. Application of the test was submitted to the KASTO as a software test in the electric test field defined by KOLAS. Among ISO/IEC 25023, the evaluation items for proficiency testing between testers were selected as functional completeness and time behavior. The comparison test between testers was carried out on May 28, 2019 at the accredited LG Electronics SW Laboratory in Seoul and attended by KOLAS assessors. The test evaluation method was measured once per tester with functional completeness, and measurement was repeated 10 times per tester according to time behavior. As a result, in the case of functional completeness, all 12 test steps were passed, and the satisfaction was evaluated. Time behavior was repeated 10 times, and the mean was 9.45 ± 0.01 seconds for testers 1 and 3 and 9.52 ± 0.0 seconds for tester 2, but there was no statistically significant difference. In conclusion, the proficiency of the testers was equal, and the reliability of the test results of the test institute was confirmed.

주제어

표/그림 (8)

표 Table 1. Summary table for the usage of quality measures
그림 Fig. 1 Model of Testing
그림 Fig. 2 Test procedure: (a) Application screen of functional conformity assessment, (b) Video screen to measure the time of mean response time.
표 Table 2. Characteristics of participants in the test
표 Table 3. Criteria of functional completeness evaluation
표 Table 4. Criteria of time behavior evaluation
표 Table 5. Result of functional completeness
표 Table 6. Results of difference in measurement evaluation between testers

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 이전 논문과는 다르게 ISO/IEC 25023의 소프트웨어 품질 특성과 ISO/IEC 17043 숙련도 요구사항을 이용하여 시험 기관의 수행 능력을 평가하는 시험자간 숙련도 프로그램의 평가 절차 및 방법, 그리고 시험 결과를 비교 분석한 시험 적용 사례를 제시하였다. 이러한 사례를 통하여 본 논문에서 제시된 내용들은 소프트웨어 분야에서 공인 시험기관으로 최초 인정을 신청하는 기관들과 소프트웨어 품질 개선 활동을 수행하는 기관들에게 선행 사례로 활용 될 수 있을 것이다.
본 연구의 목적은 소프트웨어 시험자간 숙련도 비교시험을 통하여 해당 시험기관의 시험수행능력 및 기술 능력을 파악하고 시험 결과의 신뢰성 및 정확성을 확보하는데 있다.
본 연구의 시험 방법은 국제 표준 ISO/IEC 17043 숙련도 시험 요구사항을 기준으로 절차 및 방법에 대한 모델을 제시하고 국제 표준 ISO/IEC 25023 소프트웨어 품질 특성 평가를 기준으로 소프트웨어 시험의 평가 지표를 이용하여 시험자들이 수행한 시험 결과를 비교하는 연구이다.
이 연구는 국제 표준 ISO/IEC 17043 숙련도 시험 요구사항을 이용하여 시험자간 숙련도 시험 절차 및 방법을 제시하였고 ISO/IEC 25023 소프트웨어 품질 특성을 이용하여 시험에 대한 평가 방법을 제시하였다. 시험 방법은 동일한 한 개의 모바일 폰과 소프트웨어 어플리케이션 시료를 이용하였고 시험자는 시험 경력 및 전공을 고려하여 3명을 선정하였으며 시험 항목은 기능 완전성과 시간 효율성으로 시험을 완료한 후에 그 결과를 분석하여 평가를 하였다.

제안 방법

이 연구는 국제 표준 ISO/IEC 17043 숙련도 시험 요구사항을 이용하여 시험자간 숙련도 시험 절차 및 방법을 제시하였고 ISO/IEC 25023 소프트웨어 품질 특성을 이용하여 시험에 대한 평가 방법을 제시하였다. 시험 방법은 동일한 한 개의 모바일 폰과 소프트웨어 어플리케이션 시료를 이용하였고 시험자는 시험 경력 및 전공을 고려하여 3명을 선정하였으며 시험 항목은 기능 완전성과 시간 효율성으로 시험을 완료한 후에 그 결과를 분석하여 평가를 하였다.
시험자간 숙련도 비교 현장 시험은 KOLAS 평가사가 입회하여 2019년 5월 28일에 서울 소재의 LG전자 SW 공인시험소 (KT874)에서 실시되었으며 시험 모델은 기능 완전성으로 시험자 1인당 1회 측정 하였고 시간 효율 성으로 시험자 1인당 10회 반복 측정을 하였다(Fig. 1).
시험자간 숙련도 비교시험은 KOLAS 숙련도 시험 기술위원회에서 선임한 평가사가 사전에 시험 계획서의 적합성을 평가하였고 현장 시험 당일에 입회하여 진행하였다. 시험자들은 일괄된 시험 수행을 위하여 사전에 준비된 시험 절차서를 제공 받았으며 시료의 사용방법과 시험 범위를 확인하고 시험을 수행하였다.
해당 시험의 구체적 평가 수단으로는 국제 표준 규격 ISO/IEC 25023의 소프트웨어 품질속성 평가를 기준으로 해당 시험에 대한 기능 완전성과 시간 효율성을 측정하여 시험자간의 능력을 비교 평가하고자 한다(Table 1).

대상 데이터

시험자간 숙련도 비교 평가 시험은 안정성이 확보된 모바일 폰 1개 시료로 진행하였다. 시험에 사용된 모바일 폰 기기는 중국 샤오미(Xiomi) 업체에서 제작한 Redmi Note 7 (Android 9) 모델을 사용하였으며 소프트웨어 어플리케이션은 GIF 메이커-편집기(제조사: GIF Maker & GIF Editor & Video Maker, 버전: 1.5.26)를 사용하였다.
시험자간 숙련도 시험의 참가자는 동등한 시험 능력을 보유한 시험자들로 선정하기 위하여 대학 전공 및 경력 연수를 고려하여 최종 선정하였다. 시험에 참여하는 시험자는 모두 여성이었으며 경력은 최소 20년 이상이었고 대학 전공은 컴퓨터공학과를 졸업하였으며 학력은 학사 2명과 석사 1명으로 선정하였다(Table 2).
시험자간 숙련도 비교 평가 시험은 안정성이 확보된 모바일 폰 1개 시료로 진행하였다. 시험에 사용된 모바일 폰 기기는 중국 샤오미(Xiomi) 업체에서 제작한 Redmi Note 7 (Android 9) 모델을 사용하였으며 소프트웨어 어플리케이션은 GIF 메이커-편집기(제조사: GIF Maker & GIF Editor & Video Maker, 버전: 1.
시험자간 숙련도 시험의 참가자는 동등한 시험 능력을 보유한 시험자들로 선정하기 위하여 대학 전공 및 경력 연수를 고려하여 최종 선정하였다. 시험에 참여하는 시험자는 모두 여성이었으며 경력은 최소 20년 이상이었고 대학 전공은 컴퓨터공학과를 졸업하였으며 학력은 학사 2명과 석사 1명으로 선정하였다(Table 2).

데이터처리

수집된 시험 결과 자료는 엑셀(Microsoft Excel 2010)을 이용하여 기능 완전성을 분석하였고 시간 효율성은 통계 프로그램 Minitab 17 (Minitab Incorporated, Pennsylvania, USA)을 이용하여 일원배치 분산분석 (One-way Anova)을 하였다.
시간 효율성 평가는 소프트웨어 어플리케이션의 동영상 생성 처리 기능을 11단계로 나누어 각각 10회 반복 수행하였으며 3명의 시험자들이 수행한 동영상 생성 처리의 평균 시간을 통계적으로 차이가 있는지를 기각치 F 값을 유의수준 5% 기준으로 일원배치 분산분석을 수행하여 판단하였다.

이론/모형

국제 표준 ISO/IEC 25023 소프트웨어 품질 평가는 ISO/IEC 25010에서 정의하는 소프트어의 품질 모델을 적용하여 사용되었다. 소프트웨어 품질 평가는 다양한 다른 국제 표준 규격 또는 지침에서 제시하는 방법을 참조하여 사용할 수 있다.
기능 완전성 평가 방법은 시험 소프트웨어 어플리케이션 기능을 12 단계의 시험 케이스로 작성하였으며 각 단계별로 기능 동작에 문제가 없는지 확인하고 ISO/IEC 25023에서 제시하는 소프트웨어 품질 평가 기준을 적용하였다[6].
본 연구의 시험 분야는 KOLAS에서 정의하는 전기시험 분야 (대분류, 03)의 소프트웨어 시험 (소분류, 012)으로 KASTO (Korea Association of Standards & Testing Organizations, 한국계량측정협회)에 신청서 (PC-19-23)를 제출 하였다. 시험자간 숙련도 시험 평가 항목은 국제표준인 ISO/IEC 25023 SW 품질 특성 중 기능 적합성의 기능 완전성과 수행 효율성의 시간 효율성을 시험 평가 항목으로 선정을 하였다.
본 연구의 시험 분야는 KOLAS에서 정의하는 전기시험 분야 (대분류, 03)의 소프트웨어 시험 (소분류, 012)으로 KASTO (Korea Association of Standards & Testing Organizations, 한국계량측정협회)에 신청서 (PC-19-23)를 제출 하였다. 시험자간 숙련도 시험 평가 항목은 국제표준인 ISO/IEC 25023 SW 품질 특성 중 기능 적합성의 기능 완전성과 수행 효율성의 시간 효율성을 시험 평가 항목으로 선정을 하였다.

성능/효과

본 연구는 시험자간 숙련도 비교 평가를 위한 시험 절차 및 방법을 제시하였고 소프트웨어 어플리케이션의 기능 완전성과 시간 효율성 시험 결과로 시험자들은 동등한 결과를 획득할 수 있다는 능력을 보여 줌으로써 해당 시험기관의 소프트웨어 시험 결과는 신뢰성이 있다는 것을 보여 주었다.

후속연구

첫째, 본 연구는 국제 표준인 ISO/IEC 25023 소프트웨어 품질 특성의 평가를 이용하여 시험자간의 숙련도를 측정하는 방법을 제시했다는 점에서 연구의 중요성과 의의를 들 수 있다. 그러나 ISO/IEC 25023의 8가지 주특성 중에서 기능 완전성과 시간 효율성만을 대상으로 평가를 진행하였기 때문에 다른 주특성 평가 항목들도 추가로 연구가 진행되어야 할 것이다. 둘째, 일개 시험기관의 시험자들로 시험자간 숙련도 비교 시험을 진행하였기 때문에 여러 시험기관들 간의 비교 평가와 더 나아가 국가들 간의 비교 평가 연구도 진행되어야 할 것이다.
그러나 ISO/IEC 25023의 8가지 주특성 중에서 기능 완전성과 시간 효율성만을 대상으로 평가를 진행하였기 때문에 다른 주특성 평가 항목들도 추가로 연구가 진행되어야 할 것이다. 둘째, 일개 시험기관의 시험자들로 시험자간 숙련도 비교 시험을 진행하였기 때문에 여러 시험기관들 간의 비교 평가와 더 나아가 국가들 간의 비교 평가 연구도 진행되어야 할 것이다. 마지막으로 본 연구의 결과를 기초로 하여 다양한 인구학적 특성을 고려한 숙련도 비교 평가 연구와 비교 숙련도의 향상을 위한 전략적 프로그램을 개발하는 연구들도 추가로 제언하는 바이다.
둘째, 일개 시험기관의 시험자들로 시험자간 숙련도 비교 시험을 진행하였기 때문에 여러 시험기관들 간의 비교 평가와 더 나아가 국가들 간의 비교 평가 연구도 진행되어야 할 것이다. 마지막으로 본 연구의 결과를 기초로 하여 다양한 인구학적 특성을 고려한 숙련도 비교 평가 연구와 비교 숙련도의 향상을 위한 전략적 프로그램을 개발하는 연구들도 추가로 제언하는 바이다.
마지막으로 향후 연구 계획으로는 숙련도 시험 전용 어플리케이션을 개발하고 다수의 시험자들을 숙련도 시험에 참여하도록 하여 시험자들의 숙련도에 미치는 요인을 분석할 예정이다.
본 논문에서는 이전 논문과는 다르게 ISO/IEC 25023의 소프트웨어 품질 특성과 ISO/IEC 17043 숙련도 요구사항을 이용하여 시험 기관의 수행 능력을 평가하는 시험자간 숙련도 프로그램의 평가 절차 및 방법, 그리고 시험 결과를 비교 분석한 시험 적용 사례를 제시하였다. 이러한 사례를 통하여 본 논문에서 제시된 내용들은 소프트웨어 분야에서 공인 시험기관으로 최초 인정을 신청하는 기관들과 소프트웨어 품질 개선 활동을 수행하는 기관들에게 선행 사례로 활용 될 수 있을 것이다.
하지만 이러한 노력에도 불구하고 소프트웨어 시험에 대한 지원은 상대적으로 부족한 것이 현실이다. 이러한 점을 고려하여 국내 산업 및 글로벌 시장에서 소프트웨어에 대한 경쟁력 있는 품질 및 신뢰성 확보를 위하여 시험분야에 대한 지속적인 관심과 연구가 진행되어야 할 것이다.
이러한 제한점에도 불구하고 본 연구는 소프트웨어 시험 인정분야에서 시험자간 숙련도 비교 평가를 국제 표준 기반으로 적합한 시험 절차와 평가 방법을 제시하였으므로 향후 진행되는 연구들의 문제점을 보완하거나 기초 자료가 될 것으로 사료된다.

참고문헌 (16)

Nilaranjan Barik, Puspanjali Jena, Narayana Sethy. Assessing information communication technology (ICT) skills of degree science students of An autonomous college of ODISHA : A survey. VSRD International Journal of Library & Information Science, Vol. I, Issue I, 2015. Available From: http://hdl.handle.net/10760/31112
Bo Kyung Park, Woo Sung Jang, Ki Du Kim, Young Chul Kim. A Simplified Test Maturity Model (sTMM) for Small and Midsize Test Organization. Journal of KIISE, Vol. 45, No. 6, pp. 522-532, 2018. DOI: http://dx.doi.org/10.5626/JOK.2018.45.6.522

상세보기
ISO/IEC 25000 "Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Guide to SQuaRE", 2014. Available From: https://www.iso.org/obp/ui/#iso:std:iso-iec:25000:ed-1:v1:en
ISO/IEC 25010, "Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models", 2011. Available From: https://www.iso.org/obp/ui/#iso:std:iso-iec:25010:ed-1:v1:en
ISO/IEC 25020 "Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Quality measurement framework", 2019. Available From: https://www.iso.org/obp/ui/#iso:std:iso-iec:25020:ed-2:v1:en
ISO/IEC 25023 "Software engineering: Software product Quality Requirements and Evaluation (SQuaRE) - Measurment of system and software product quality", 2016. Available From: https://www.iso.org/obp/ui/fr/#iso:std:iso-iec:25023:ed-1:v1:en
ISO/IEC 25030 "Systems and software engineering - Systems and software quality requirements and evaluation (SQuaRE) - Quality requirements framework", 2019. Available From: https://www.iso.org/obp/ui/fr/#iso:std:iso-iec:25030:ed-2:v1:en
Almira S, Nermina Zaimovic-U, Hazim B. Proficiency testing and interlaboratory comparisons in laboratory for dimensional measurement. Journal of Trends in the Development of Machinery and Associated Technology, Vol. 16, No. 1, 2012. Available From: https://www.tmt.unze.ba/zbornik/TMT2012Journal/24.pdf
A. Shakhashiro, A. Fajgelj, U. Sansone. Comparison of Different Approaches to Evaluate Proficiency Test Data. Conference Paper, The Royal Society of Chemistry, Special Publication No. 307, Cambridge, pp. 220-228, 2007. DOI: https://doi.org/10.1007/s00769-008-0413-7
Ewa Szewczak, Adam Bondarzewski. Is the assessment of interlaboratory comparison results for a small number of tests and limited number of participants reliable and rational?, Accreditation and Quality Assurance volume 21, pp. 91-100, 2016. DOI: https://doi.org/10.1007/s00769-016-1195-y

상세보기
A Dinita. Conformity assessment of the measurement accuracy in testing laboratories using a software application. 13th International Conference on Tribology, Materials Science and Engineering, 174, 2017. Available From: https://iopscience.iop.org/article/10.1088/1757-899X/174/1/012069
H.Y.Lee, H.S. Yang, Convergence Performance Evaluation Model for Intrusion Protection System based on CC and ISO Standard. The Journal of Digital Police & Management, Vol. 13, No. 5, 2015. DOI: https://doi.org/10.14400/JDC.2015.13.5.251
Jung-Hun Lee, Mi-Jin Lee. Time behaviour evaluation of software products considering service types. ICT Convergence (ICTC), Conference Paper, October 2012. Available From: https://ieeexplore.ieee.org/document/6387129
Jung, Hye-Jung. The Software Quality Testing on the basis of the International Standard ISO/IEC 25023. Journal of the Korea Convergence Society, Vol. 7, No 6, pp.35-41, 2016. DOI: http://dx.doi.org/10.15207/JKCS.2016.7.6.035
Kyunghwan Park, Cheolgyu Lee. A study on proficiency test sample development for enviromental and reliablility testing field. J Korean Soc Qual Manag, Vol. 45, No.3, pp. 447-462, 2017. DOI: https://doi.org/10.7469/JKSQM.2017.45.3.447
Chang-Hee Lee, Byeong-Yun Chang. The effect of the self-measurement frequency levels on SmartCare obesity management. Journal of the Korea Academia-Industrial cooperation Society, Vol. 16, No. 3 pp. 1972-1980, 2015. DOI: http://dx.doi.org/10.5762/KAIS.2015.16.3.1972

원문보기 상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증