X. 어플리케이션 테스트 관리

01. 어플리케이션 테스트 케이스 설계

소프트웨어 테스트

개발된 응용 어플리케이션이나 시스템이 사용자가 요구하는 기능과 성능, 사용성, 안정성 등을 만족하는지 확인하고, 노출되지 않은 숨어있는 소프트웨어의 결함을 찾아내는 활동

 

소프트웨어 테스트 필요성

- 오류 발견 관점 : 프로그램에 잠재된 오류를 발견하고 이를 수정하여 올바른 프로그램을 개발하기 위해 필요

- 오류 예방 관점 : 프로그램 실행 전에 동료 검토, 워크 스루, 인스펙션 등을 통해 오류를 사전에 발견하는 예방 차원의 필요

- 품질 향상 관점 : 사용자의 요구사항 및 기대 수준을 만족하도록 반복적인 테스트를 거쳐 제품의 신뢰도를 향상하는 품질 보증을 위해 필요

 

소프트웨어 테스트 원리

(1) 결함 존재 증명 : 결함이 존재함을 밝히는 활동

(2) 완벽 테스팅은 불가능 : 완벽하게 테스팅하려는 시도는 불필요한 시간과 자원낭비

(3) 초기 집중 : SW 개발 초기 체계적인 분석 및 설계가 수행되지 못한다면 그 결과가 프로젝트 후반에 영향을 미치게 되어 비용이 커진다는 요르돈의 법칙 적용(Snowball Effect, 눈덩이 법칙)

(4) 결함 집중 : 적은 수의 모듈에서 대다수의 결합이 발생, 오류의 80%는 전체 모듈의 20% 내에서 발견 (파레토 법칙)

(5) 살충제 패러독스 : 동일한 테스트 케이스에 의한 반복적 테스트는 새로운 버그를 찾지 못함

(6) 정황 의존성 : 소프트웨어의 성격에 맞게 테스트 실시

(7) : 오류-부재의 궤변 : 요구사항을 충족시켜주지 못한다면, 결함이 없다고 해도 품질이 높다고 볼 수 없음

 

소프트웨어 테스트 산출물

- 테스트 계획서(Test Plan) : 테스트 목적과 범위 정의, 대상 시스템 구조 파악, 테스트 수행 절차, 테스트 일정, 조직의 역할 및 책임 정의, 종료 조건 정의 등 테스트 수행을 계획한 문서

- 테스트 베이시스(Test Basis) : 분석, 설계 단계의 논리적인 Case로 테스트 설계를 위한 기준이 되는 문서(요구사항 명세서, 관련 기준 또는 표준 등)

- 테스트 케이스(Test Case) : 테스트를 위한 설계 산출물로, 응용 소프트웨어가 사용자의 요구사항을 준수하는지 확인하기 위해 설계된 입력 값, 실행조건, 기대 결과로 구성된 테스트 항목의 명세서

- 테스트 시나리오(Test Scenario) : 어플리케이션의 테스트 되어야 할 기능 및 특징, 테스트가 필요한 상황을 작성한 문서

- 테스트 스크립트(Test Script) : 테스트 케이스의 실행 순서(절차)를 작성한 문서

- 테스트 결과서(Test Results) : 테스트 결과를 정리한 문서로 테스트 프로세스를 리뷰하고, 테스트 결과를 평가하고 리포팅하는 문서

 

소프트웨어 테스트 유형

 

(1) 프로그램 실행 여부에 따른 분류

 

프로그램 실행 여부에 따라 `정적 테스트`와 `동적 테스트`로 나눌 수 있다.

정적 테스트

테스트 대상을 실행하지 않고 구조를 분석하여 논리성을 검증하는 테스트

(유형) 리뷰, 정적 분석

 

리뷰

소프트웨어의 다양한 산출물에 존재하는 결함을 검출하거나 프로젝트의 진행 상황을 점검하기 위한 활동으로 전문가가 수행

 

리뷰의 유형

- 동료 검토(Peer Review) : 2~3명이 진행하는 리뷰의 형태로 요구사항 명세서 작성자가 요구사항 명세서를 설명하고, 이해관계자들이 설명을 들으면서 결함을 발견하는 형태로 진행하는 검토 기법

- 인스펙션(Inspection) : 소프트웨어 요구, 설계, 원시 코드 등의 저작자 외의 다른 전문가 또는 팀이 검사하여 문제를 식별하고 문제에 대한 올바른 해결을 찾아내는 형식적인 검토 기법 (개발 초기에 검사해야만 개발 초기 작업물에서 문제를 발견할 수 있다)

- 워크 스루(Walk Through) : 검토 자료를 회의 전에 배포해서 사전 검토한 후 짧은 시간 동안 회의를 진행하는 형태로 리뷰를 통해 문제 식별, 대안 조사, 개선 활동, 학습 기회를 제공하는 가장 비형식적인 검토 기법

 

정적 분석

사람이 직접 수행하는 수작업 중심의 `리뷰`와는 달리, 자동화된 도구의 지원을 받아 정적 테스트를 수행하는 방법

 

정적분석의 유형

- 코딩표준 : 개발자가 프로그램 작성 시 지켜야 할 코딩 표준 및 코딩 지침에 대한 준수 여부 검사

- 복잡도 측정 : 신뢰할 수 있는 척도를 사용하여 프로그램의 복잡도 측정 및 분석 검사

- 자료 흐름 분석 : 프로그램의 자료 흐름에 이상(Anomaly) 존재 여부에 대한 분석 검사

 

동적 테스트

소프트웨어를 실행하는 방식으로 테스트를 수행하여 결함을 검출하는 테스트

블랙박스 테스트(명세 기반 테스트), 화이트 박스 테스트(구조 기반 테스트)

 

(2) 테스트 기법에 따른 분류

 

화이트박스 테스트(White-Box Test)

각 응용 프로그램의 내부 구조와 동작을 검사하는 소프트웨어 테스트

코드 분석과 프로그램 구조에 대한 지식을 바탕으로 문제가 발생할 가능성이 있는 모듈 내부를 테스트하는 방법

구조 기반 테스트, 코드 기반 테스트, 로직 기반 테스트, 글래스(Glass) 박스 테스트라고도 부른다.

 

- 테스트 커버리지

프로그램의 테스트 수행 정도를 나타내는 값으로 테스트 수행의 완벽성을 측정하는 도구 (얼마나 많은 범위를 테스트했는가?)

(코드로 작성된 부분만 측정이 가능하며, 특정 기능이 구현되지 않았거나 명세서의 기능이 생략된 경우 결함 발견이 불가하다)

 

- 테스트 커버리지 유형

(1) 기능 기반 커버리지 : 테스트 대상 어플리케이션의 전체 기능을 모수로 설정하고, 실제 테스트가 수행된 기능의 수를 측정하는 방법

(2) 라인 커버리지 : 어플리케이션 전체 소스 코드의 라인 수를 모수로 테스트 시나리오가 수행한 소스 코드의 라인 수를 측정하는 방법

(3) 코드 커버리지 : 소스 코드의 구문, 조건, 결정 등의 구조 코드 자체가 얼마나 테스트되었는지를 측정하는 방법

(일반적으로 테스트 커버리지라고 한다면, 코드커버리지를 일컫는다)

 

- 테스트 커버리지의 구성

구문(문장, Statement), 결정(Decision), 조건(Condition), 결정 포인트(Decision Point)로 구성되어 있다.

소스코드는 구문, 조건문에 대한 결정, 결정에 대한 조건식이 있다.

참과 거짓에 대한 결정 포인트(분기 노드)가 있는데, 소스 코드상의 if, while, for, switch 문이 결정 포인트라고 할 수 있다.

 

화이트박스 테스트 유형

(1) 구문 커버리지(문장 커버리지, Statement Coverage)

프로그램 내의 모든 명령문을 적어도 한번 수행하는 커버리지

(2) 결정 커버리지(선택 커버리지, Decision Coverage / 분기 커버리지, Branch Coverage) 

(각 분기의) 결정 포인트 내의 전체 조건식이 적어도 한번은 참(T)과 거짓(F)의 결과를 수행하는 테스트 커버리지

(3) 조건 커버리지(Codition Coverage)

(각 분기의) 결정 포인트 내의 각 개별조건식이 적어도 한 번은 참과 거짓의 결과가 되도록 수행하는 테스트 커버리지

(4) 조건/결정 커버리지(Condition/Decision Coverage) 

조건/결정 커버리지는 전체 조건식뿐만 아니라 개별 조건식도 참 한번, 거짓 한 번 결과가 되도록 수행하는 테스트 커버리지

(5) 변경 조건/결정 커버리지(Modified Condition/Decision Coverage)

개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 함으로써 조건/결정 커버리지를 향상시킨 커버리지

(6) 다중 조건 커버리지(Multiple Condition Coverage)

결정 조건 내 모든 개별 조건식의 모든 가능ㅎ나 조합을 100% 보장하는 커버리지

(7) 기본 경로 커버리지(Base Path Coverage) = 경로 커버리지

수행 가능한 모든 경로를 테스트 하는 기법

- 기본 경로 커버리지는 맥케이브의 순환복잡도를 기반으로 커버리지를 계산한다.

* 맥케이브 순환 복잡도 : 제어 흐름의 복잡한 정보를 정량적으로 표시하는 기법

구분	항목	설명
계산식	V(G) = E - N + 2	복잡도 V(G)는 노드(N) 수와 간선(E) 수로 계산
	V(G) = P + 1	복잡도 V(G)는 조건 분기문(P)의 수로 계산

(8) 제어 흐름 테스트(Control Flow Testing)

프로그램 제어 구조를 그래프 형태로 나타내어 내부 로직을 테스트하는 기법

(9) 데이터 흐름 테스트 (Data Flow Testing)

제어 흐름 그래프에 데이터 사용현황을 추가한 그래프를 통해 테스트하는 기법

 

 

블랙박스 테스트(Black-Box Test)

외부 사용자의 요구사항 명세를 보면서 수행하는 테스트이다.

 

블랙박스 테스트 유형

(1) 동등분할 테스트(Equivalence Partitioning Testing) : 입력 데이터의 영역을 유사한 도메인별로 유효값/무효값을 그룹핑하여 대푯값 테스트 케이스를 도출하여 테스트 하는 기법

(2) 경곗값 분석 테스트 = 한곗값 테스트(Boundary Value Analysis Testing) : 등가 분할 후 경곗값 부분에서 오류 발생 확률이 높기 때문에 경곗값을 포함하여 테스트 케이스를 설계하여 테스트하는 기법

(3) 결정 테이블 테스트(Decision Table Testing) : 요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트 하는 기법

(4) 상태 전이 테스트(State Transition Testing) : 테스트 대상 · 시스템이나 객체의 상태를 구분하고, 이벤트에 의해 어느 한 상태에서 다른 상태로 전이되는 경우의 수를 수행하는 테스트 기법

(5) 유스케이스 테스트(Use Case Testing) : 시스템이 실제 사용되는 유스케이스로 모델링 되어있을 때 프로세스 흐름을 기반으로 테스트케이스를 명세화하여 수행하는 테스트 기법

(6) 분류 트리 테스트(Classification Tree Method Testing) : SW의 일부 또는 전체를 트리 구조로 분석 및 표현하여 테스트 케이스를 설계하여 테스트하는 기법

(7) 페어와이즈 테스트(Pairwist Testing) : 테스트 데이터 값들 간에 최소한 한 번씩을 조합하는 방식이며, 이는 커버해야 할 기능적 범위를 모든 조합에 비해 상대적으로 적은 양의 테스트 세트를 구성하기 위한 테스트 기법

(8) 원인-결과 그래프 테스트 : 그래프를 활용하여 입력 데이터 간의 관계 및 출력에 미치는 영향을 분석하여 효용성이 높은 테스트 케이스를 선정하여 테스트하는 기법

(9) 비교 테스트 : 여러 버전의 프로그램에 같은 입력값을 넣어서 동일한 결과 데이터가 나오는지 비교해보는 테스트 기법

 

(3) 테스트 시각에 따른 분류

(1) 검증(Verification) : 소프트웨어 개발 과정을 테스트, 올바른 제품을 생산하고 있는 검증

(2) 확인(Validation) : 소프트웨어 결과를 테스트, 최종 사용자 요구 또는 소프트웨어 요구에 적합한지 판단

 

(4) 테스트 목적에 따른 분류

(1) 회복 테스트(Recovery Testing) : 시스템에 고의로 실패를 유도하고, 시스템의 정상적 복귀 여부를 테스트 하는 기법

(2) 안전 테스트(Security Testing) : 불법적인 소프트웨어가 접근하여 시스템을 파괴하지 못하도록 소스 코드 내의 보안적인 결함을 미리 점검하는 테스트 기법

(3) 성능 테스트(Performance Testing) : 사용자의 이벤트에 시스템이 응답하는 시간, 특정 시간 내에 처리하는 업무량, 사용자 요구에 시스템이 반응하는 속도 등을 측정하는 테스트 기법

(4) 구조 테스트(Structure Testing) : 시스템의 내부 논리 경로, 소스 코드의 복잡도를 평가하는 테스트 기법

(5) 회귀 테스트(Regression Testing) : 오류를 제거하거나 수정한 시스템에서 오류 제거와 수정에 의해 새로이 유입된 오류가 없는지 확인하는 일종의 반복 테스트 기법

(6) 병행 테스트(Parallel Testing) : 변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교하는 테스트 기법 

 

성능 테스트에는 상세한 유형이 더 존재한다 🤔

- 부하 테스트(Load Testing) : 시스템에 부하를 계속 증가시키면서 시스템의 임계점을 찾는 테스트

- 강도 테스트(Stress Testing) : 시스템 처리 능력 이상의 부하, 즉 임계점 이상의 부하를 가하여 비정상적인 상황에서의 처리를 테스트

- 스파이크 테스트(Spike Testing) : 짧은 시간에 사용자가 몰릴 때 시스템의 반응 측정 테스트

- 내구성 테스트(Endurance Testing) : 오랜 시간 시스템에 부하를 가하여 시스템 반응 테스트

 

(5) 테스트 종류에 따른 분류

(1) 명세 기반 테스트(블랙박스 테스트) : 프로그램의 요구사항 명세서를 기반으로 테스트 케이스를 선정하여 테스트하는 기법

(2) 구조 기반 테스트(화이트박스 테스트) : 소프트웨어 내부 논리 흐름에 따라 테스트 케이스를 작성하고 확인하는 테스트 기법

(3) 경험 기반 테스트(블랙박스 테스트) : 유사 소프트웨어나 유사 기술 평가에서 테스터의 경험을 토대로 한 직관과 기술 능력을 기반으로 수행하는 테스트 기법

- 탐색적 테스트(Exploratory Test) : 테스트 스크립트 또는 테스트 케이스를 문서로 작성하지 않고 경험에 바탕을 두고 탐색적으로 기능을 수행해보면서 테스트하는 기법 

- 오류 추정(Error Guessing) : 개발자가 범할 수 있는 실수를 추정하고 이에 따른 결함이 검출되도록 테스트 케이스를 설계하여 테스트하는 기법

 

테스트 케이스

특정 요구사항을 준수하는지 확인하기 위해 개발된 입력 값, 실행 조건, 예상된 결과의 집합

 

테스트 케이스 구성요소

- 식별자(Identifier) : 테스트 케이스를 고유하게 식별하기 위한 항목 식별자

- 테스트 항목(Test Item) : 테스트할 모듈 또는 기능에 대한 간략한 내용

- 입력 명세(Input Specifictaion) : 테스트 실행 시 입력할 데이터 및 조건

- 출력 명세(Output Specification) : 테스트 케이스 실행 시 기대되는 결과 데이터

- 환경 설정(Environmental Needs) : 테스트 수행 시 필요한 하드웨어나 소프트웨어 환경

- 특수절차요구(Special Procedure Requirment) : 테스트 케이스 수행 시 특별히 요구되는 절차

- 의존성 기술 (Inter-case Dependencies) : 테스트 케이스 간의 의존성 및 종속성

 

테스트 오라클

테스트의 결과가 참인지 거짓인지를 판단하기 위해서 사전에 정의된 참값을 입력하여 비교하는 기법

 

테스트 오라클 종류

- 참(True) 오라클 : 모든 입력 값에 대하여 기대하는 결과를 생섬함으로써 발생된 오류를 모두 검출할 수 있는 오라클

- 샘플링(Sampling) 오라클 : 특정한 몇 개의 입력 값에 대해서만 기대하는 결과를 제공해주는 오라클

- 휴리스틱(Heuristic) 오라클 : 샘플링 오라클을 개선하는 오라클로, 특정 입력값에 대해 올바른 결과를 제공하고, 나머지 값들에 대해서는 휴리스틱(추정)으로 처리하는 오라클

- 일관성 검사(Consistent) 오라클 : 어플리케이션 변경이 있을 때, 수행 전과 후의 결괏값이 동일한지 확인하는 오라클

 

테스트 레벨(Test Level) 

함께 편성되고 관리되는 테스트 활동의 그룹

 

테스트 레벨의 종류

소프트웨어 개발 단계에 따라 분류할 수 있고, 이렇게 분류된 것을 테스트 레벨이라고 할 수 있다.

(1) 단위테스트 : 사용자 요구사항에 대한 단위 모듈, 서브루틴 등을 테스트하는 단계

(2) 통합 테스트 : 단위 테스트를 통과한 모듈 사이의 인터페이스, 통합된 컴포넌트 간의 상호 작용을 검증하는 테스트 단계

(3) 시스템 테스트 : 통합된 단위 시스템의 기능이 시스템에서 정상적으로 수행되는지를 검증하는 테스트 단계

- 기능적 요구사항 테스트 : 명세서 기반의 블랙박스 테스트

- 비기능적 요구사항 테스트 : 구조적 요소에 대한 화이트 박스 테스트

(4) 인수 테스트 : 계약상의 요구사항이 만족되었는지 확인하기 위한 테스트 단계

- 사용자 인수 테스트 : 비즈니스 사용자가 시스템 사용의 적절성 여부 등을 확인하는 테스트

- 운영상의 인수 테스트 :  시스템 관리자가 시스템 인수 시 수행하는 테스트 활동으로 백업/복원 시스템, 재해 복구, 사용자 관리, 정기 점검등을 확인하는 테스트

- 계약 인수 테스트 : 계약 상의 인수/검수 조건을 준수하는지 여부 등을 확인하는 테스트

- 규정 인수 테스트 : 정부 지침, 법규, 규정 등이 규정에 맞게 개발되었는지 확인하는 테스트

- 알파 테스트 : 선택된 사용자가 개발자 환경에서 통제된 상태로 개발자와 함께 수행하는 인수 테스트

- 베타 테스트 : 실제 환경에서 일정 수의 사용자에게 대상 소프트웨어를 사용하게 하고 피드백을 받는 인수 테스트

 

테스트 시나리오

테스트 수행을 위한 여러 테스트 케이스의 집합으로서, 동작 순서를 기술한 문서

테스트 항목을 하나의 시나리오에 모두 작성하지 않고, 시스템별, 모듈별, 항목별 테스트 시나리오를 분리하여 작성한다.

 

테스트 환경 구축

개발된 응용 소프트웨어가 실제 운영 시스템에서 정상적으로 작동되는지 테스트하기 위하여 실제 운영 시스템과 동일한 사양의 하드웨어, 소프트웨어, 네트워크 등의 환경 시설을 구축하는 활동이다.

 

02. 어플리케이션 통합 테스트

단위 테스트(Unit Test)

단위(컴포넌트) 테스트는 개별적인 모듈(또는 컴포넌트)을 테스트한다.

구현 단계에서 각 모듈을 구현한 후 수행한다.

 

객체 지향 프로그램에서는 컴포넌트 테스트 수행 시 테스트 되는 메서드는 다른 클래스 객체에 의존한다.

이런 경우 메서드를 고립화하여 테스트하는 것이 불가능하므로 독립적인 컴포넌트 테스트를 위해 스텁의 객체 지향 버전인 목 객체가 필요하다.

· 목(Mock) 객체 생성 프레임워크

 

목(Mock) 객체 유형

- 더미 객체(Dummy) : 테스트할 때 객체만 필요하고 해당 객체의 기능까지는 필요하지 않은 경우에 사용

- 테스트 스텁(Stub) : 제어 모듈이 호출하는 타 모듈의 기능을 단순히 수행하는 도구로 더미 객체의 단순 기능에 특정 상태를 가정해서 특정한 값을 리턴하거나 특정 메세지 출력

- 테스트 드라이버(Driver) : 테스트 대상 하위 모듈을 호출하고, 파라미터를 전달하고, 모듈 테스트 수행 후의 결과를 도출

- 테스트 스파이(Spy) : 테스트 대상 클래스와 협력하는 클래스로 향하는 출력을 검증하는데 사용

- 가짜 객체(Fake) : 실제 협력 클래스의 기능을 대체해야 할 경우에 사용

 

통합 테스트(Integration Test)

소프트웨어 각 모듈 간의 인터페이스 관련 오류 및 결함을 찾아내기 위한 체계적인 테스트 기법

단위 테스트가 끝난 모듈 또는 컴포넌트 단위의 프로그램이 설계 단계에서 제시한 어플리케이션과 동일한 구조와 기능으로 구현된 것인지를 확인하는 테스트

 

통합 테스트의 분류

(1) 비점증적 방식 : 빅뱅 방식, 모든 컴포넌트를 사전에 통합하여 전체 프로그램을 한꺼번에 테스트하는 것을 말한다.

(2) 점증적 방식 : 상향식 통합 방식, 하향식 통합 방식

- 하향식 통합 방식 : 메인 제어 모듈(프로그램)로부터 아래 방향으로 제어의 경로를 따라 이동하면서 하향식으로 통합하며 테스트를 진행, 메인 제어 모듈에 통합되는 하위 모듈과 최하위 모듈은 `깊이-우선`, `너비-우선` 방식으로 통합 (모든 하위 컴포넌트를 대신하여 더미 모듈인 스텁 사용)

* 깊이-우선(Depth-First) : 루트 노드에서 시작해서 다음 분기로 넘어가기 전에 해당 분기를 완벽하게 탐색하는 방법

* 너비-우선(Breadth-First) : 루트 노드에서 시작해서 인접한 노드를 먼저 탐색하는 방법

- 상향식 통합 방식 : 어플리케이션 구조에서 최하위 레벨의 모듈 또는 컴포넌트로부터 위쪽 방향으로 제어의 경로를 따라 이동하면서 구축과 테스트를 수행 (상위의 모듈에서 데이터의 입력과 출력을 확인하기 위해 더미 모듈인 드라이브 사용) 

(하위 모듈의 기능을 수행하는 클러스들은 프로그램의 위쪽으로 결합되며, 드라이버는 최종적으로 실제 모듈 또는 컴포넌트로 대체)

 

샌드위치 통합

상향식 통합 테스트와 하향식 통합 테스트 방식을 결합한 테스트 방식

병렬 테스트가 가능하고, 시간 절약이 가능하며 스텁과 드라이버의 필요성이 매우 높은 방식이다.

 

테스트 자동화 도구

반복적인 테스트 작업을 스크립트 형태로 구현함으로써, 테스트 시간 단축과 인력 투입 비용을 최소화하는 한편, 쉽고 효율적인 테스트를 수행할 수 있는 방법

 

테스트 자동화 도구 유형

(1) 정적 분석 도구 (Static Analysis Tools) : 소스 코드에 대한 코딩 표준, 코딩 스타일, 코드 복잡도 및 남은 결함을 발견 하기 위해 사용되는 어플리케이션을 실행하지 않고 분석하는 도구

(2) 테스트 실행 도구 (Test Exception Tools) : 테스트를 위해 작성된 스크립트를 실행하고, 작성된 스크립트는 각 스크립트마다 특정 데이터와 테스트 수행 방법을 포함하고 있다.

- 데이터 주도 접근 방식 : 다양한 테스트 데이터를 이용하여 동일한 테스트 케이스를 반복해서 실행할 수 있으며, 스크립트 언어에 익숙하지 않은 테스터도 미리 작성된 스크립트에 테스트 데이터만 추가하여 쉽게 테스트를 수행

- 키워드 주도 접근 방식 : 키워드를 이용하여 테스트 수행 동작을 정의할 수 있으며, 테스트 대상 어플리케이션의 특성에 맞추어 키워드에 대해 테일러링을 수행할 수 있음

 

성능 테스트 도구(Performance Test Tools)

어플리케이션의 처리량, 응답 시간, 경과 시간, 자원 사용률에 대해 가상의 사용자를 생성하고 테스트를 수행함으로써 성능 목표를 달성하였는지를 확인하는 도구

 

테스트 통제 도구(Test Control Tools)

테스트 계획 및 관리를 위한 테스트 관리 도구, 테스트 수행에 필요한 데이터와 도구를 관리하는 형상 관리 도구, 테스트에서 발생한 결함에 대해 관리하거나 협업을 지원하기 위한 결함 추적/관리 도구 등이 있다.

 

테스트 하네스(Test Harness) 개념

어플리케이션 컴포넌트 및 모듈을 테스트하는 환경의 일부분으로, 테스트를 지원하기 위한 코드와 데이터를 일컫는 말

 

테스트 하네스 구성요소

(1) 테스트 드라이버(Test Driver)

(2) 테스트 스텁(Test Stub)

(3) 테스트 슈트(Test Suites) : 테스트 대상 컴포넌트나 모듈, 시스템에 사용되는 테스트 케이스의 집합

(4) 테스트 케이스(Test Case) : 입력 값, 실행 조건, 기대 결과 등의 집합

(5) 테스트 시나리오(Test Scenario) : 어플리케이션의 테스트 되어야 할 기능 및 특징, 테스트가 필요한 상황을 작성한 문서

(6) 테스트 스크립트(Test Script) : 자동화된 테스트 실행 절차에 대한 명세

(7) 목 오브젝트(Mock Obejct) : 사용자의 행위를 조건부로 사전에 입력해두면, 그 상황에 예정된 행위를 수행하는 객체

 

소프트웨어 결함

개발자 오류로 인해 만들어지는 문서 또는 코딩상의 결점으로 소프트웨어가 개발자가 설계한 것과 다르게 동작하거나 다른 결과가 발생하는 현상

 

소프트웨어 결함 관련 용어

- 오류(Error) : 결함(Defect)의 원인이 되는 것으로, 일반적으로 사람에 의해 생성된 실수

- 결점(Fault) : 개발 활동을 수행함에 있어서 시스템이 고장(Failure)을 일으키게 하며, 오류(Error)가 있는 경우 발생하는 현상

- 버그(Bug) : 프로그램 오류로 인해 예상치 못한 결과가 나는 현상

- 고장(Failure) / 문제(Problem) : 소프트웨어 제품에 포함된 결함이 실행될 떄 발생하는 현상

↳ 오류(Error)로 인해 결점(Fault)가 발생하고, 이 결점(Fault)로 인해 Failure(고장)이 발생한다.

 

소프트웨어 결함 관리

단계별 테스트 수행 후 발생한 결함의 재발 방지와 유사 결함 발견 시 처리 시간 단축을 위해 결함을 추적하고 관리하는 활동

 

소프트웨어 결함 관리 프로세스 (계기검수재추최)

(1) 결함관리 계획 : 전체 프로세스에서 결함 관리에 대한 일정, 인력, 업무 프로세스를 확보하여 계획을 수립하는 것

(2) 결함 기록 : 테스터는 발견된 결함에 대한 정보를 결함 관리 DB에 기록

(3) 결함 검토 : 등록된 결함에 있어서 주요 내용을 검토하고, 결함을 수정할 개발자에게 전달

(4) 결함 수정 : 개발자는 할당된 결함의 프로그램 수정

(5) 결함 재확인 : 테스터는 개발자가 수정한 내용을 확인하고 다시 테스트 수행

(6) 결함 상태 추적 및 모니터링 활동 : 결함 관리 팀장은 결합 관리 데이터베이스를 이용하여 대시보드 또는 게시판 형태의 서비스 제공

(7) 최종 결함 분석 및 보고서 작성 : 발견된 결함에 관한 내용과 이해관계자들의 이견이 반영된 보고서를 작성하고 결함 관리 종료

↳ 비행기 계기판을 검수하고, 재추천을 최종 결정한다 (계기검수 재추최)

 

결함 분석

테스트 케이스를 실행한 후 발견된 결함을 분석하여 테스트 결함 보고서(테스트 사건 보고서)를 작성

 

결함 분석 방법

- 구체화(Specifictaion) : 결함의 원인을 찾기 위해 결함을 발생시킨 입력값, 테스트 절차, 테스트 환경을 명확히 파악하는 방법

- 고립화(Isolation) : 입력값, 테스트 절차, 테스트 환경 중 어떤 요소가 결함 발생에 영향을 미치는지 분석하는 방법

- 일반화(Generaliztion) :  결함 발생에 영향을 주는 요소를 최대한 일반화 시키는 방법

 

결함 생명주기 별 결함 상태

- 결함 등록(Open) : 테스터가 테스트 절차를 실행하여 발견된 결함을 분석 후 구체화, 고립화, 일반화한 결함으로서 보고된 상태

- 결함 검토(Reviewed) : Open 된 결함의 처리 방안을 검토하는 상태

- 결함 할당(Assigned) : 결함을 수정할 개발자가 결정되고, 그 개발자에게 결함 해결이 요구된 상태

- 결함 수정(Resolved) : 개발자가 자신에게 할당된 수정 사항에 대한 해결을 처리한 상태

- 결함 확인(Verified) : 개발자의 결함 처리가 합당한지, 정확한지 검증이 완료된 상태

- 결함 종료(Closed) : 수정된 사항에 대하여 정확한 수정이 이루어졌다고 판단되어 종료된 상태

- 결함 재등록(Reopen) : 결함이 정확하게 수정되지 않아서 다시 수정을 요구하는 상태

- 결함 조치 보류(Deferred) : Open 된 결함을 곧바로 수정하지 않고 다음 릴리스에서 해결하기로 연기된 상태

 

결함 처리 유형

- Fixed : 요청된 결함을 수정 완료 처리한 경우

- Duplicated : 기존의 다른 결함과 중복되는 경우

- Won't Fix : 수정이 필요할 정도로 중요하거나 긴급한 것이 아니므로 수정하지 않는 경우

- Invaild : 테스트 케이스에 문제가 있는 경우

 

결함 추이 분석

테스트 완료 후 발견된 결함의 결함 관리 측정 지표의 속성값들을 분석하고, 향후 어플리케이션의 어떤 모듈 또는 컴포넌트에서 결함이 발생할지를 추정하는 작업

 

결함 추이 분석 유형

- 결함 분포 분석 : 각 어플리케이션 모듈 또는 컴포넌트의 특정 속성에 해당하는 결함의 수를 측정하여 결함의 분포를 분석

- 결함 추세 분석 : 테스트 진행 시간의 흐름에 따른 결함의 수를 측정하여 결함 추세를 분석

- 결함 에이징 분석 : 등록된 결함에 대해 특정한 결함 상태의 지속 시간을 측정하여 분석

 

테스트 커버리지(Test Coverage)

주어진 테스트 케이스에 의해 수행되는 소프트웨어의 테스트 범위를 측정하는 테스트 품질 측정 기준

 

테스트 커버리지 유형

- 기능 기반 커버리지 : 테스트 대상 어플리케이션의 전체 기능을 모수로 설정하고, 실제 테스트가 수행된 기능의 수를 측정하는 방법

- 라인 커버리지 : 어플리케이션 전체 소스 코드의 라인 수를 모수로 테스트 시나리오가 수행한 소스 코드의 라인 수를 측정하는 방법

- 코드 커버리지 : 소스 코드의 구문, 조건, 결정 등의 구조 코드 자체가 얼마나 테스트 되었는지를 측정하는 방법

 

결함 심각도별 분류 (치주보경미)

- 치명적(Critical) 결함 : 기능이나 제품의 테스트를 완전히 방해하거나 못하게 하는 결함

- 주요(Major) 결함 : 기능이 기대와 많이 다르게 동작하거나 기능이 해야하는 것을 못하는 결함

- 보통(Normal) 결합 : 제품이나 프로그램이 특정 기준을 충족하지 못하거나 전체에 경향을 주지 않는 일부 기능이 부자연스러운 결합

- 경미(Minor) 결합 : 사용상의 불편함을 유발하는 결합

- 단순(Simple) 결함 : 사소한 버그라고 하며, 기능에는 영향이 없지만 수정되어야하는 결함

 

결함 우선 순위

발생한 결함이 얼마나 빠르게 처리되어야 하는지를 결정하는 척도

- 결정적(Critical) : 24시간 안에 즉시 수정

- 높음(High) : 중요한 결함이 수정되는 동안, 이 우선순위의 결함은 종료 기준에 대한 테스트 활동을 하기 위해서 수저오디어야하는 다음 후보가 됨

- 보통(Medium) : 실패가 발생했을 때 올바른 에러 메세지가 출력되지 않는 것과 같은 에러가 이 우선순위로 분류될 수 있음

- 낮음(Low) : 디자인에서 일부 강화하거나 사용자 경험을 향상시키기 위한 작은 기능 구현에 대한 요청이 우선순위로 분류

 

03. 어플리케이션 성능 개선

어플리케이션 성능 측정 지표

(1) 처리량(Throughput) : 어플리케이션이 주어진 시간에 처리할 수 있는 트랜잭션의 수

(2) 응답 시간(Response Time) : 사용자 입력이 끝난 후, 어플리케이션의 응답 출력이 개시될 때까지의 시간

(어플리케이션의 경우 메뉴 클랙 시 해당 메뉴가 나타나기까지 걸리는 시간)

(3) 경과 시간(Turnaround Time) : 어플리케이션에 사용자가 요구를 입력한 시점부터 트랜잭션을 처리 후 그 결과의 출력이 완료할 때까지 걸리는 시간

(4) 자원 사용률(Resource Usage) : 어플리케이션이 트랜잭션을 처리하는 동안 사용하는 CPU 사용량, 메모리 사용량, 네트워크 사용량

 

성능 분석 도구

- 성능/부하/스트레스 점검 도구(Performance, Load, Stress) 도구

어플리케이션의 성능 점검을 위해 가상의 사용자를 점검 도구 상에서 인위적으로 생성한 뒤, 시스템의 부하나 스트레스를 통해 성능 측정 지표인 처리량, 응답시간, 경과 시간 등을 점검하기 위한 도구 

* 성능 테스트 도구 : JMeter, LoadUI, OpenSTA

- 모니터링 도구(Monitoring) 도구 : 어플리케이션 실행 시 자원 사용량을 확인하고 분석 가능한 도구

* 모니터링 도구 : Scouter, Zabbix 

 

어플리케이션 성능 저하 요인 (가볍게 봅시다)

 

데이터베이스 관련 성능 저하 원인

- 데이터베이스 락(DB Lock) : 대량의 데이터 조회, 과도한 업데이트, 인덱스 생성시 발생하는 현상 

- 불필요한 데이터베이스 패치(DB Fetch) : 실제 필요한 데이터보다 많은 대량의 데이터 요청이 들어올 경우 응답 시간 저하 현상 발생

- 연결 누수(Connection Leak) : DB 연결과 관련한 JDBC 객체를 사용 후 종료하지 않을 경우 발생

- 부적절한 커넥션 풀 크기(Connection Pool Size) : 너무 작거나 크게 설정한 경우 성능 저하 현상이 발생할 가능성 존재

- 확정(Commit) 관련 : 트랜잭션이 확정(Commit)되지 않고 커넥션 풀에 반환될 때 성능 저하 가능성 존재

 

내부 로직으로 인한 성능 저하 원인

- 웹 어플리케이션의 인터넷 접속 불량 : 웹 어플리케이션 실행 시 인터넷 접속 불량으로 서버 소켓(Server Socket) 쓰기는 지속되나, 클라이언트에서 정상적 읽기가 수행되지 않을 경우 성능 저하 가능성 존재

- 특정 파일의 업로드, 다운로드로 인한 성능 저하 : 대량의 파일을 업로드하거나 다운로드할 경우 처리시간이 길어져서 어플리케이션의 성능 저하 가능성 존재

- 정상적으로 처리되지 않은 오류 처리로 인한 성능 저하 : 오류 처리 로직과 실제 처리 로직 부분을 분리하지 않고 코딩하거나 예외가 발생할 경우에 제대로 처리되지 않아 행이 걸리는 상황이 발생하여 성능 저하 가능성 존재

 

외부 호출(HTTP, 소켓 통신)로 인한 성능 저하 원인

임의의 트랜잭션이 수행되는 동안 외부 트랜잭션(외부 호출)이 장시간 수행되거나, 타임아웃이 일어나는 경우 성능 저하 현상이 발생할 수 있다.

 

잘못된 환경 설정이나 네트워크 문제로 인한 성능 저하 원인

- 환경 설정으로 인한 성능 저하

- 네트워크 장비로 인한 성능 저하

 

어플리케이션 성능 테스트 수행 절차

(1) 성능 테스트 도구 설치 : 대상 시스템에 선정된 테스트 도구 설치
(2) 테스트 환경 설정 : 해당 시스템의 운영체제, DBMS 버젼, 네트워크 상태 등에 대해 설정

(3) 시나리오 생성 : 테스트 목적에 맞는 부하 형태, 파라미터, 사용자 수, Ramp-up load, 수행 시간, 모니터링 결과 저장 파일 등의 정보 설정

(4) 성능 테스트 실행 및 모니터링 : 성능 테스트를 수행하면서 테스트 상황을 도구를 통해 모니터링

 

베드 코드(Bad Code)

다른 개발자가 로직(Logic)을 이해하기 어렵게 작성된 코드

 

베드 코드 사례

- 외계인 코드(Alien Code) : 아주 오래되거나 참고문서 또는 개발자가 없어 유지보수 작업이 아주 어려운 코드

- 스파게티 코드(Spaghetti Code) : 스파게티 코드는 컴퓨터 프로그램의 소스 코드가 복잡하게 얽힌 모습을 스파게티의 면발에 비유한 표현

- 알수없는 변수명 : 변수나 메서드에 대한 이름 정의를 알 수 없는 코드

- 로직 중복 : 동일한 처리 로직이 중복되게 작성된 코드

 

베드 코드 유형

- 오염 : 비즈니스 기능을 수행하지 못하는 많은 컴포넌트들이 존재

- 문서부족 : 현재 코드와 문서가 일치하지 않고 수정과 변경을 위한 도메인 지식은 크게 증가 하지만 개발자의 지식부족 초래

- 의미없는 이름 : 함수, 클래스, 컴포넌트 이름들이 명확한 의미를 갖지 못하거나 실제 작동과 불일치

- 높은 결합도 : 클래스와 컴포넌트 간에 데이터와 컨트롤 흐름이 네트워크로 복잡하게 연결

- 아키텍처 침식 : 아키텍처가 더 이상 구별되지 않고 여러 솔루션으로 이루어져 아키텍처상 변형들로 인해 시스템 품질이 떨어짐

 

클린 코드(Clean Code)

잘 작성되어 가독성이 높고, 단순하며, 의존성을 줄이고, 중복을 최소화하여 깔끔하게 잘 정리된 코드를 말한다.

 

클린 코드 특징

- 중복 코드 제거로 어플리케이션의 설계가 개선된다.

- 가독성이 높으므로 어플리케이션의 기능에 대해 쉽게 이해할 수 있다.

- 버그를 찾기 쉬워지며, 프로그래밍 속도가 빨라진다.

 

클린 코드 작성 원칙

(1) 가독성

(2) 단순성

(3) 의존성 최소

(4) 중복성 제거

(5) 추상화

 

소스 코드의 최적화 기법의 유형

(1) 의미 있는 이름

(2) 간결하고 명확한 주석

(3) 보기 좋은 배치

(4) 작은 함수

(5) 읽기 쉬운 제어 흐름

(6) 오류 처리

(7) 클래스 분할 배치

(8) 느슨한 결합(Loosely Coupled) 기법 적용

(9) 코딩 형식 기법 적용

 

소스 코드 품질 분석

소스 코드에 대한 코딩 스타일, 설정된 코딩 표준, 코드의 복잡도, 코드 내에 존재하는 메모리 누수 현황, 스레드의 결함 등을 발견하기 위한 활동

소스 코드 품질 분석은 정적 분석 도구와 동적 분석 도구로 나누어진다.

 

정적분석도구 

작성된 소스 코드를 실행시키지 않고, 코드 자체만으로 코딩 표준 준수 여부, 코딩 스타일 적정 여부, 잔존 결함 발견 여부를 확인하는 코드 분석 도구

- pmd : 자바 및 타 언어 소스 코드에 대한 버그, 데드코드 분석

- cppcheck : C/C++ 코드에 대한 메모리 누수, 오버플로우 등 문제 분석

- SonarQube : 소스 코드 품질 통합 플랫폼, 플러그인 확장 가능

- checkstyle : 자바 코드에 대한 코딩 표준 검사 도구

- ccm : 다양한 언어의 코드 복잡도 분석 도구, 리눅스, 맥 환경 CLI 형태 지원

- cobertura : jcoverage 기반의 테스트 커버리지 측정 도구

 

동적분석도구

어플리케이션을 실행하여 코드에 존재하는 메모리 누수 현황을 발견하고, 발생한 스레드의 결함 등을 분석하기 위한 도구

- Avalanche : Valgrind 프레임워크 및 STP 기반 소프트웨어 에러 및 취약점 동적 분석 도구

- Valgrind : 자동화된 메모리 및 스레드 결함 발견 분석 도구

 

리팩토링

유지보수 생산성 향상을 목적으로 기능을 변경하지 않고, 복잡한 소스 코드를 수정, 보완하여 가용성 및 가독성을 높이는 기법

소프트웨어의 모듈의 외부적 기능은 수정하지 않고 내부적으로 구조, 관계 등을 단순화하여 소프트웨어의 유지보수성을 향상시키는 기법

 

리팩토링의 목적

- 유지보수성 향상

- 유연한 시스템

- 생산성 향상

- 품질 향상