데이터 주도 접근법을 활용한 소프트웨어 테스트 자동화 : 온라인 쇼핑몰 결제시스템 사례 Software Test Automation Using Data-Driven Approach : A Case Study on the Payment System for Online Shopping원문보기
This study examines a data-driven approach for software test automation at an online shopping site. Online shopping sites typically change prices dynamically, offer various discounts or coupons, and provide diverse delivery and payment options such as electronic fund transfer, credit cards, mobile p...
This study examines a data-driven approach for software test automation at an online shopping site. Online shopping sites typically change prices dynamically, offer various discounts or coupons, and provide diverse delivery and payment options such as electronic fund transfer, credit cards, mobile payments (KakaoPay, NaverPay, SyrupPay, ApplePay, SamsungPay, etc.) and so on. As a result, they have to test numerous combinations of possible customer choices continuously and repetitively. The total number of test cases is almost 584 billion. This requires somehow automation of tests in settling payments. However, the record playback approach has difficulties in maintaining automation scripts due to frequent changes and complicated component identification. In contrast, the data-driven approach minimizes changes in scripts and component identification. This study shows that the data-driven approach to test automation is more effective than the traditional record playback method. In 2014 before the test automation, the monthly average defects were 5.6 during the test and 12.5 during operation. In 2015 after the test automation, the monthly average defects were 9.4 during the test and 2.8 during operation. The comparison of live defects and detected errors during the test shows statistically significant differences before and after introducing the test automation using the data-driven approach.
This study examines a data-driven approach for software test automation at an online shopping site. Online shopping sites typically change prices dynamically, offer various discounts or coupons, and provide diverse delivery and payment options such as electronic fund transfer, credit cards, mobile payments (KakaoPay, NaverPay, SyrupPay, ApplePay, SamsungPay, etc.) and so on. As a result, they have to test numerous combinations of possible customer choices continuously and repetitively. The total number of test cases is almost 584 billion. This requires somehow automation of tests in settling payments. However, the record playback approach has difficulties in maintaining automation scripts due to frequent changes and complicated component identification. In contrast, the data-driven approach minimizes changes in scripts and component identification. This study shows that the data-driven approach to test automation is more effective than the traditional record playback method. In 2014 before the test automation, the monthly average defects were 5.6 during the test and 12.5 during operation. In 2015 after the test automation, the monthly average defects were 9.4 during the test and 2.8 during operation. The comparison of live defects and detected errors during the test shows statistically significant differences before and after introducing the test automation using the data-driven approach.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구에서는 GUI 테스트 자동화 문제를 해결하기 위해 Selenium을 이용한 Record Play Back 기법과 데이터 주도 접근법을 접목하여 자동화 스크립트는 최소화 하고, 다양한 데이터의 조합 조건을 통해 생성된 테스트 케이스를 효과적으로 실행하는 회귀테스트 자동화 구현 방안을 제시하고자 한다.
본 연구에서는 온라인 쇼핑몰 결제수단의 효과적적인 회귀테스트를 위해 테스트 자동화가 구현되기 전인 2014년 데이터와 테스트 자동화가 적용된 2015년 데이터의 비교를 통해 통합테스트 환경에서의 결함 발견 활동과 운영환경의 결함 예방 활동에 대한 테스트 자동화 효과를 분석하였다.
온라인 쇼핑몰의 결제과정에서 회원정보, 상품정보, 결제수단 등 다양한 조합에 따라 생성되는 수십만 가지의 테스트 케이스를 수동 테스트로 실행하는 것은 불가능하므로, 본 연구에서는 기존의 테스트 자동화 방법들을 분석하여 도출한 RecordPlayback 기법과 데이터 주도 접근법(Data-Driven Approach)을 통합한 회귀테스트 자동화 방식의 효과를 입증하고자 한다. 나아가 제시된 테스트 자동화 방법은 온라인 쇼핑몰뿐만 아니라 특정 시나리오 안에서 여러 테스트 조건을 조합하여 생성된 테스트 케이스를 실행하는 사업 환경(포털 검색, 전자결재 시스템, 예매 또는 예약 시스템)에서도 응용하여 적용하는 것이 가능할 것으로 여겨진다.
회귀 테스트가 반복적으로 수행되는 이유는 발견된 결함이 정확히 수정되었더라도 의도하지 않았던 새로운 형태의 결함이 발생하거나, 프로그램 소스코드의 수정 또는 소프트웨어 모듈의 추가 과정에서 기존에 정상 동작했던 기능에 악영향을 끼쳐 결함이나 오류를 발생시키지 않는지를 재검증 하기 위한 목적으로 수행된다(Jeong et al., 2008).
가설 설정
5. Membership : 로그인 회원이 가진 회원등급으로 회원등급 설정 조합에 의해 생성된 회원등급은 회원등급 할인 혜택이 적용되며, 로그인 계정과 1 : 1로 맵핑된다.
제안 방법
3. 배송비 설정 조합은 국내/해외 배송비 설정 조건, 무료배송비 우선 설정 조건, 상품별 개별 배송비 설정 조건, 공급사 배송비 설정 조건, 해외 배송 보험료 설정 조건, 지역별 배송비 설정 조건 등의 설정을 조합하여 59개의 배송비 조건을 설정하였다.
5. 적립금 설정 조합은 적립금 지급 시점 설정 조건, 적립금 절사 조건, 회원등급 추가 적립금 지급 설정 조건, 적립금으로 구매 시 적립 기준설정 조건, 1회 사용 적립금 최대 사용한도 설정 조건 등의 설정을 조합하여 59개의 적립금 조건을 설정하였다.
이와 같이 영역별 주요 페이지에 대한 기대결과를 엑셀로 정리하여 하나의 주문 시나리오를 테스트 케이스로 생성하였다. 그리고 해당 조건의 데이터를 이용하여 작성된 자동화 스크립트가 실행되면서 테스트 케이스의 기대결과와 실제 화면에 노출된 항목들을 비교하여 테스트 결과를 검증한다. 따라서 다양한 테스트 데이터의 조합 조건과 테스트 시나리오에 맞는 최소한의 자동화 스크립트만 있다면, 무수히 많은 조합의 테스트케이스를 생성하여 반복적으로 실행 할 수 있다.
본 연구는 모든 구매과정을 검증하는 것이 아니라 배송과 구매확정 및 평가 영역을 제외한 쇼핑몰 접속부터 주문서작성 페이지에서 지불결제수단을 선택하는 단계까지를 자동화 구현의 범위로 정하였다.
본 연구에서는 Record-Play Back 기법의 GUI 자동화 도구인 Selenium 툴과 데이터 주도 접근 방법을 이용한 온라인 쇼핑몰 테스트 자동화 방법을 제안하고, 온라인 쇼핑몰 구매 결제 시스템에 이를 적용하여 효과적으로 회귀 테스트를 수행하였다.
테스트 자동화 실행을 위해 테스트 자동화 전용 쇼핑몰 구성이 필요하다. 생성한 쇼핑몰에는 상품설정 조합, 회원 설정 조합, 배송비 설정 조합, 쿠폰할인 설정 조합, 적립금 설정 조합, 고객혜택 설정 조합 등 다양한 설정 조건들을 각 쇼핑몰들의 특성에 맞게 설정했다.
이와 같이 영역별 주요 페이지에 대한 기대결과를 엑셀로 정리하여 하나의 주문 시나리오를 테스트 케이스로 생성하였다. 그리고 해당 조건의 데이터를 이용하여 작성된 자동화 스크립트가 실행되면서 테스트 케이스의 기대결과와 실제 화면에 노출된 항목들을 비교하여 테스트 결과를 검증한다.
키워드 기반 테스트 : 기능 자동화 테스트 프레임워크의 유형으로 테스트 케이스의 각 동작을 키워드로 정의한다. 정의된 키워드를 이용하여 시나리오 형태의 테스트 케이스를 생성하고, 작성된 테스트 케이스를 실행한다. 키워드 기반테스트의 장점은 키워드 정보를 통해 프로그래밍을 접하지 않은 사용자들도 테스트 스크립트를 쉽고 유연하게 작성할 수 있다.
테스트 자동화 실행을 위한 기본적인 툴은 Selenium을 이용하였고, 개발자는 최소한의 쇼핑몰 구매과정을 자동화 스크립트로 작성하였다. QA(Quality Assurance)는 다양한 설정 조합 조건을 기반으로 테스트 케이스를 생성하였고, 작성된 자동화 스크립트와 테스트 케이스는 SVN에 추가하고 관리한다.
테스트 자동화가 구현되기 전 2014년에는 결제수단 테스트를 카드, 무통장, 계좌이체, 휴대폰 결제에 대해 각각 10가지 조건으로 40개 정도의 테스트케이스를 수행했지만, 2015년 자동화 초기에만 약 1,000건 정도의 테스트케이스를 추가해 결제수단 테스트를 진행했다. 운영환경 이슈에 대한 테스트 케이스 추가 및 신규 결제수단 추가, 다양한 솔루션 설정 조건들의 변경으로 현재는 약 15,646건의 결제수단 테스트케이스를 통합테스트 기간 동안 매일 실행하고 있다.
대상 데이터
1. 상품 설정 조합은 상품 공급 조건, 상품 세금 조건, 상품 옵션 조건, 상품 배송비 조건, 상품 조건, 상품 무이자 조건 등의 설정을 조합하여 261개의 상품을 생성하였다.
데이터처리
테스트케이스의 기대결과는 장바구니 페이지, 주문서 작성 페이지, 주문완료 페이지가 있다. 각 페이지의 특정 영역을 실제 테스트 결과와 비교하여 검증한다.
쇼핑몰의 모든 설정 조건의 조합이 불가능하여 운영환경에서 사용 중인 설정을 조사하고, 사용빈도가 높은 설정 항목들을 도출하여 등가분할, 경계값 분석, Pairwise(2-way) 기법을 적용하여 조건 조합을 생성하였다(Patton, 2006).
이론/모형
Pairwise 기법은 ‘Allpairs’ 툴을 사용하였으며, 각 조합 조건 설정 SET에 대한 상세 내용은 아래와 같다.
성능/효과
1. Retest-all : 이전에 사용했던 모든 테스트 케이스를 새로운 버전에 모두 재사용하는 것으로 비용과 노력이 많이 소요되어 매우 비효율적이지만, 수정된 코드로 인한 오류를 발견할 확률이 높다. 예를 들면, A기능 테스트를 위해 100개의 테스트 케이스로 테스트 했다면, A+기능으로 수정된 경우에도 기존의 100개의 테스트 케이스를 모두 테스트 수행하고, A+에 대한 추가 테스트 케이스를 수행한다.
2. GUI 요소들은 어플리케이션 내부에서 GUI 요소들 사이에 상호 의존성을 가지고 동시에 복잡한 이벤트를 수행한다.
2. Product : 고객이 구매하고자 하는 상품을 지정하는 것으로, 상품 설정 조합에 의해 생성된 상품을 1개 또는 최대 2개까지 구매 가능하다.
2. 스크립트 기반 테스트 : 테스트 케이스를 자동으로 실행하기 위해 자동화 툴을 통해 UI의 속성 정보를 이용하여 스크립트를 작성하고, 생성된 자동화 스크립트를 반복적으로 실행할 수 있는 장점이 있다. 하지만, 기능의 커버리지가 불명확하고, 요구사항을 분석하는데 많은 시간과 비용이 투입된다.
2. 회원 설정 조합은 회원등급 결제 조건, 상품별 할인과 중복 시 적용 조건, 회원등급 할인/적립조건 등의 설정을 조합하여 52개의 회원등급을 생성하였다.
3. 스크립트 언어에 익숙하지 않은 테스터라도 사전에 정의된 스크립트에 테스트 데이터를 입력하고 테스트를 수행할 수 있다.
4. 쿠폰할인 설정 조합은 쿠폰 사용 조건, 쿠폰 사용 제한 조건, 적립금 동시 사용 조건, 할인 동시사용 조건, 상품/주문서 동시 사용 조건, 쿠폰 종류 조건, 혜택 구분 조건, 발급 구분 조건, 사용범위 조건, 사용가능 결제수단 조건, 선택 범주 적용 조건 등의 설정을 조합하여 16가지의 쿠폰 사용 설정과 60개의 쿠폰을 생성하였다.
6. 고객혜택 설정 조합은 고객혜택 유형 조건, 기간 유형 조건, 상품 범위 조건, 참여 대상 조건, 사용 범위 조건, 구매 횟수 조건, 구매 수량 조건, 제공 혜택 조건 등을 조합하여 206개의 고객혜택 조건을 설정하였다.
특히 데이터의 조합 조건의 항목들을 도출하고, 정의하여 기대결과를 작성하는 것은 고도의 지적 노력을 요하는 힘든 작업이다. 둘째, 자동화 스크립트 작성과 테스트 자동화 환경을 구축하는 것은 개발자의 도움을 받아야 한다는 것이다. 테스트 엔지니어는 개발자와 같은 정교한 자동화 스크립트 작성이 불가능하고, 테스트 자동화 환경에 대한 이해도 부족하기 때문이다.
하지만 테스트 실행 코드와 데이터의 분리로 테스트 케이스 증가 여부에 관계없이 결제 시나리오만 자동화 스크립트로 작성하기 때문에 유지보수 비용을 감소시켰다. 둘째, 테스트 커버리지 확대를 위한 테스트 케이스 추가 작업이 용이하다. 이는 기존 작성된 자동화 스크립트의 추가 변경 없이 엑셀 문서의 데이터 조합 조건을 통해 쉽게 테스트 케이스를 추가, 수정, 삭제할 수 있는 장점을 가지고 있다.
이와 같이, Record-Play Back 기법과 데이터 주도 접근법을 활용한 회귀테스트 자동화 적용으로 기존 수동 테스트로는 수행할 수 없었던 수많은 테스트 케이스를 반복적으로 실행하고, 전체적인 테스트 수행 시간을 단축하므로 빠른 결과 확인과 피드백이 가능해졌다. 또한, 객관적인 테스트 평가 기준으로 테스트 결과에 대한 신뢰성을 제공하고, 여러 영역의 잠재된 결함들을 빠르게 발견하여 수정하므로 서비스의 품질을 향상시켰다. 이를 통해 회귀테스트 자동화 구현의 효과성과 효율성을 확인하였고, 이와 같은 방법을 응용하면 온라인 쇼핑몰처럼 특정 시나리오 안에서 다양한 데이터의 조합 조건에 따라 테스트가 필요한 영화 또는 공연 예매 사이트, 항공권 예약 사이트, 인터넷 검색 사이트, 인터넷 게시판 등 다양한 서비스영역에서 구현된 방법과 유사하게 적용이 가능할 것으로 예상되며, 이를 통해 본 실험 결과와 같이 기존보다 확대된 테스트 범위와 빠른 테스트 수행은 서비스 시스템의 품질향상에 도움을 줄 수 있을 것으로 기대한다.
두 번째 단계는 데이터 주도 접근법을 통해 테스트 실행에 필요한 모든 데이터 정보를 엑셀 파일로 정의하여 테스트케이스를 생성한다. 마지막으로 Selenium AES를 이용하여 다양한 브라우저 환경에서 생성한 모든 테스트케이스를 테스트하고, 테스트 수행 결과를 QA가 확인한다.
이는 기존 작성된 자동화 스크립트의 추가 변경 없이 엑셀 문서의 데이터 조합 조건을 통해 쉽게 테스트 케이스를 추가, 수정, 삭제할 수 있는 장점을 가지고 있다. 셋째, 수동 테스트에서 발생하는 테스터의 실수나 누락이 발생하지 않고, 테스트 수행 결과에 대해 빠른 피드백을 제공하므로 개발 시간을 단축하는데 도움을 줄 수 있다. 또한, 테스트 자동화 수행 결과는 객관적인 평가 기준을 제시하고, 테스트 결과에 대한 신뢰성을 제공할 수 있다.
이와 같이, Record-Play Back 기법과 데이터 주도 접근법을 활용한 회귀테스트 자동화 적용으로 기존 수동 테스트로는 수행할 수 없었던 수많은 테스트 케이스를 반복적으로 실행하고, 전체적인 테스트 수행 시간을 단축하므로 빠른 결과 확인과 피드백이 가능해졌다. 또한, 객관적인 테스트 평가 기준으로 테스트 결과에 대한 신뢰성을 제공하고, 여러 영역의 잠재된 결함들을 빠르게 발견하여 수정하므로 서비스의 품질을 향상시켰다.
RTS(Regression Test Selections)는 테스트 케이스를 일시적으로 배제하는 기법이지만 TSR(Test Suite Reduction)은 테스트 케이스 삭제를 통해 테스트 스위트의 사이즈를 줄이는 기법이다. 테스트 케이스 삭제로 결함 검출 효율성이 저하될 가능성이 존재하지만 전체 재 테스트 기법에 비해 효과적이다.
후속연구
온라인 쇼핑몰의 결제과정에서 회원정보, 상품정보, 결제수단 등 다양한 조합에 따라 생성되는 수십만 가지의 테스트 케이스를 수동 테스트로 실행하는 것은 불가능하므로, 본 연구에서는 기존의 테스트 자동화 방법들을 분석하여 도출한 RecordPlayback 기법과 데이터 주도 접근법(Data-Driven Approach)을 통합한 회귀테스트 자동화 방식의 효과를 입증하고자 한다. 나아가 제시된 테스트 자동화 방법은 온라인 쇼핑몰뿐만 아니라 특정 시나리오 안에서 여러 테스트 조건을 조합하여 생성된 테스트 케이스를 실행하는 사업 환경(포털 검색, 전자결재 시스템, 예매 또는 예약 시스템)에서도 응용하여 적용하는 것이 가능할 것으로 여겨진다.
테스트 엔지니어는 개발자와 같은 정교한 자동화 스크립트 작성이 불가능하고, 테스트 자동화 환경에 대한 이해도 부족하기 때문이다. 셋째, 자동화 실행 결과 실패가 발생한 항목에 대한 원인이 실제 결함인지, 자동화 스크립트 오류인지, 테스트 케이스의 기대결과 오류인지, 테스트 실행 환경 문제인지에 대한 분석이 필요하다. 이를 위해 오류가 발생하는 부분에 대한 녹화와 이미지 캡처 기능을 추가했지만, 기본적으로 자동화 스크립트 코드를 기반으로 분석하는데 어려움이 존재한다.
이러한 한계점을 해결하기 위해서는 데이터 조합 조건을 이용해 자동으로 효과적인 테스트 케이스를 도출하는 방법과 자동화 실행 결과 노출되는 실패 항목에 대한 효율적인 분석 방법을 위한 연구가 추가적으로 필요하다.
또한, 객관적인 테스트 평가 기준으로 테스트 결과에 대한 신뢰성을 제공하고, 여러 영역의 잠재된 결함들을 빠르게 발견하여 수정하므로 서비스의 품질을 향상시켰다. 이를 통해 회귀테스트 자동화 구현의 효과성과 효율성을 확인하였고, 이와 같은 방법을 응용하면 온라인 쇼핑몰처럼 특정 시나리오 안에서 다양한 데이터의 조합 조건에 따라 테스트가 필요한 영화 또는 공연 예매 사이트, 항공권 예약 사이트, 인터넷 검색 사이트, 인터넷 게시판 등 다양한 서비스영역에서 구현된 방법과 유사하게 적용이 가능할 것으로 예상되며, 이를 통해 본 실험 결과와 같이 기존보다 확대된 테스트 범위와 빠른 테스트 수행은 서비스 시스템의 품질향상에 도움을 줄 수 있을 것으로 기대한다.
한계점은 첫째, 복잡한 테스트 케이스를 테스트 엔지니어가 직접 수동으로 작성하는데 많은 시간과 노력이 소요된다. 특히 데이터의 조합 조건의 항목들을 도출하고, 정의하여 기대결과를 작성하는 것은 고도의 지적 노력을 요하는 힘든 작업이다.
질의응답
핵심어
질문
논문에서 추출한 답변
전자거래가 이루어지는 온라인 쇼핑몰이 사용하는 결제 방식에는 어떤 것이 있는가?
전자거래가 이루어지는 온라인 쇼핑몰은 무통장결제, 카드결제, 실시간 계좌이체, 가상 계좌이체, 휴대폰결제, 적립금 및 예치금 결제 등 다양한 결제 방식을 사용하고 있다. 또한 최근에는 여러 가지 간편결제 서비스(페이코, 페이나우, 카카오페이, 케이페이, 네이버페이, 시럽페이)가 등장하면서 빠르게 온라인 쇼핑몰시장에 확대되었다(Kim et al.
회귀 테스트가 반복적으로 수행되는 이유는?
회귀 테스트가 반복적으로 수행되는 이유는 발견된 결함이 정확히 수정되었더라도 의도하지 않았던 새로운 형태의 결함이 발생하거나, 프로그램 소스코드의 수정 또는 소프트웨어 모듈의 추가 과정에서 기존에 정상 동작했던 기능에 악영향을 끼쳐 결함이나 오류를 발생시키지 않는지를 재검증 하기 위한 목적으로 수행된다(Jeong et al., 2008).
데이터 주도 접근법의 장점은 무엇인가?
1. 데이터 주도 테스트를 통해 테스트 코드 양을 최소화하면서 테스트 커버리지를 높일 수 있다.
2. 많은 양의 테스트 항목을 쉽게 만들어 실행할 수 있다.
3. 스크립트 언어에 익숙하지 않은 테스터라도 사전에 정의된 스크립트에 테스트 데이터를 입력하고 테스트를 수행할 수 있다.
4. 응용프로그램을 다뤄보지 않아도 테스트에 필요한 데이터를 구성하고 준비할 수 있다.
참고문헌 (25)
Bolt, W., D. Humphrey, and R. Uittenbogaard, "Transaction Pricing and the Adoption of Electronic Payments : A Cross-Country Comparison", International Journal of Central Banking, Vol.4, No.1, 2008, 89-123.
Chae, H.S., "Model-based Test-Concepts and Issues", Communications of the Korean Institute of Information Scientists and Engineers, Vol.32, No.4, 2014, 59-71. (채흥석, "모델 기반 테스트-개념과 이슈", 정보과학회지, 제32권, 제4호, 2014, 59-71.)
Damm, L.O. and L. Lundberg, "Results from Introducing Component-level Test Automation and Test-Driven Development", Journal of Systems and Software, Vol.79, No.7, 2006, 1001-1014.
DMC Media, "2016 The Market Trends of Mobile Easy Payment Services", DMC, 2016. (DMC Media, "2016 모바일 간편결제 서비스 시장 현황과 전망", DMC, 2016.)
Do, H. and G. Rothermel, "On the Use of Mutation Faults in Empirical Assessments of Test Case Prioritization Techniques", IEEE Transactions On Software Engineering, Vol.32, No.9, 2006, 733-752.
Elbaum, S., A.G. Malishevsky, and G. Rothermel, "Prioritizing Test Cases for Regression Testing", Proceedings of the International Symposium of Software Testing and Analysis, 2000, 102-112.
Gerrard, P., "Testing GUI Applications", The Fifth EuroSTAR(Software Testing and Review) Conference, 1997, 24-28.
Hwang, Y. and J. Jeong, "Electronic Commerce and Online Consumer Behavior Research : A Literature Review", Information Development, Vol.32, No.3, 2016, 377-388.
Jeong, K.C., S.H. Lee, J.H. Jo, Y.M. Sin, and Y.O. Park, "An Efficient Regression Testing Using Testing Automation Tool for Industrial Automation Software", Proceedings of Control Automation System Symposium, 2008, 245- 249. (정광철, 이상훈, 조주현, 신영민, 박용운, "자동화 테 스트 도구를 활용한 산업용 자동화 소프트웨어 의 효율적인 회귀 테스트", 제어로봇시스템학 회 국내학술대회논문집, 2008, 245-249.)
Jin, J.S., H.M. Kim, and J.S. Park, "A Study on Behavior in Using Fin-Tech Based on Life Style Types", Journal of Information Technology Services, Vol.16, No.1, 2017, 119-138. (진정숙, 김현모, 박주석, "라이프스타일 유형에 따 른 모바일 간편결제 서비스의 이용행태 연구", 한국IT서비스학회지, 제16권, 제1호, 2017, 119-138.)
Jo, H. and J.M. Lee, "A Study on Antecedents of WOM in the Context of Internet ECommerce", Journal of Information Technology Services, Vol.12, No.2, 2013, 231- 242. (조 현, 이정민, "인터넷 전자상거래 환경에서의 구 전효과의 선행 요인에 관한 연구", 한국IT서비스학회지, 제12권, 제2호, 2013, 231-242.)
Jung, W.J., S.R. Rah, and Y.L. Choi, "A Study on the Selection of Test Scope and the Prioritization of Test Case Based on Modification Method for Regression Testing", Journal of Information Technology Services, Vol.14, No.2, 2015, 129-142. (정우진, 나상린, 최용락, "변경 메서드 기반의 회귀 테스트 검증 범위 선택 및 검증 항목 우선순위 선정에 관한 연구", 한국IT서비스학회지, 제14권, 제2호, 2015, 129-142.)
Kim, S.D., P. Park, and S.B. Yang, "Influencing Factors on Users' Resistance to the Mobile Easy Payment Services : Focusing on the Case of KakaoPay Users", Journal of Information Technology Services, Vol.16, No.2, 2017, 139-156. (김소담, Philip Park, 양성병, "모바일 간편결제 서비스에 대한 사용자 수용저항 요인 : 카카오페 이 사용자를 중심으로", 한국IT서비스학회지, 제16권, 제2호, 2017, 139-156.)
Kwon, W.I., H.J. Lee, S.H. Choi, S.H. Lee, and E.Y. Park, Practical Software Testings for the Developers, Third Edition, STA, 2010. (권원일, 이현주, 최승희, 이승호, 박은영, 개발자도 알아야 할 소프트웨어 테스팅 실무, 3판, STA, 2010.)
Lee, J.G., H.S. Kim, S.H. Kuk, and D.W, Cho, "Record-Playback based Automatic Test Case Generation for GUI Test", Proc. of the KIISE Korea Computer Congress, 2007, Vol.34, No.1(B), 2007, 96-100. (이정규, 김현수, 국승학, 조대환, "Record-Playback 기술 기반의 GUI 테스트 케이스 자동 생성", 한국컴퓨터종합학술대회논문집, 제34권, 제1 호(B), 2007, 96-100.
Memon, A., A. Nagarajan, and Q. Xie, "Automating Regression Testing for Evolving GUI Software", Journal of Software Maintenance and Evolution : Research and Practice, Vol.17, No.1, 2005, 27-64.
Meszaros, G., R. Bohnet, and J. Andrea, "Agile Regression Testing Using Record and Playback" In F. Maurer & D. Wells(Eds.), Extreme Programming and Agile Methods- XP/Agile Universe, Lecture Notes in Computer Science, Springer, Berlin, Heidelberg, Vol.2753, 2003, 111-119.
Morris, S., "Automated GUI Testing", Tessella Support Services PLC, 1999.
Patton, R., Software Testing, Second Edition, Information publishing Group, 2006. (Ron Patton, 소프트웨어 테스팅, 제2판, 김도균 옮김, 정보문화사, 2006.)
Polo, M., S. Tendero, and M. Piattini, "Integrating Techniques and Tools for Testing Automation", Software Testing Verification and Reliability, Vol.17, No.1, 2007, 3-39.
Prototech Solutions, "9 Tips for selecting test cases for Regression Testing", available at http://www.prototechsolutions.com/regres sion-testing/(Accessed on May 18, 2017).
Rothermel, G., S. Elbaum, A. Malishevsky, P. Kallakuri, and X. Qiu, "On Test Suite Composition and Cost-Effective Regression Testing", ACM Transactions on Software Engineering and Methodology, Vol.13, No.3, 2004, 277-331.
Schwartz, A. and H. Do, "Cost-effective Regression Testing through Adaptive Test Prioritization Strategies", Journal of Systems and Software, Vol.115, 2016, 61-81.
w3ii.com, "Data Driven Testing", available at http://www.w3ii.com/software_testing_dictionary/data_driven_testing.html (Accessed on May 15, 2017).
Zech, P., P. Kalb, M. Felderer, C. Atkinson, and R. Breu, "Model-based Regression Testing by OCL", International Journal on Software Tools for Technology Transfer, Vol. 19, No.1, 2017, 115-131.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.