통합테스트 계획서 ppt - tonghabteseuteu gyehoegseo ppt

• 테스트 계획은 테스트 목적을 달성하기 위한 테스트 컨텍스트를 설정하고
  다양한 측면에서 적절한 테스트 전략을 수립하고 테스트 수행을 위한 계획을 수립

• 조직 테스트 정책 명세서 및 조직 테스트 전략 명세서를 참고하여 테스트 계획서를 작성
• 테스트 계획서는 동적 테스트 프로세스 수행에 대한 구체적인 계획을 포함함
  테스트 설계 및 구현은 계획서에 정의된 테스트 설계 기법, 환경 요건,데이터 요건 등을바탕으로 수행
• 테스트 계획서를 바탕으로 동적 테스트 프로세스가 수행되는지에 대한 모니터링 및 제어가 수행됨

• 테스트 컨텍스트 명세 : 테스트 대상, 범위 등 테스트 수행의 배경이 되는 다양한 요소를 식별하고 명세
• 위험 분석 : 테스트 프로젝트의 목적 달성에 방해가 될 수 있는 위험 요소를 식별하고 분석하여 조치 계획 수립
• 테스트 전략 수립 : 테스트 산출물, 설계 기법, 환경 요건 및 데이터 요건 등 효율적으로 수행하기 위한 전략 결정
• 테스트 수행 계획 수립 : 테스트 조직/인력과 역할, 테스트 활동 및 일정 등의 수행 계획 수립

테스트 컨텍스트 명세

• 테스트 계획 유형 : 테스트 계획서가 목표하는 테스트 계획의 유형을 명시
• 테스트 대상 : 테스트하고자 하는 대상을 식별하고 명확하게 기술
• 테스트 범위 : 기능 및 비기능 등 테스트하고자 하는 피처 나열
• 가정 및 제약 사항 : 표준, 정책, 전략, 일정, 비용, 인력 등 테스트를 수행할 때 반드시 고려/준수해야 할 사항 파악
• 이해관계자 : 개발팀, 마케팅팀 등 테스트 프로젝트 결과에 영향을 받는 이해관계자를 파악하고 의사소통 방법 결정

테스트 계획 유형

• 프로젝트 테스트 계획 : 테스트 대상에 대한 전체 개별 테스트를 포함하는 종합적인 계획
• 개별 테스트 계획 - 레벨 테스트 계획 :
  컴포넌트/통합/시스템/인수 등 레벨 테스트의 수행에 대한 계획
• 개별 테스트 계획 - 유형 테스트 계획 :
  기능 및 품질(성능, 신뢰성, 보안 등) 등 유형 테스트의 수행에 대한 계획

테스트 대상

• 컴포넌트 테스트 : 시스템을 구성하는 서브 시스템, 컴포넌트, 클래스, 함수 등의 개별적인 요소
• 통합 테스트 : 시스템을 구성하는 각 요소 간의 연결 (서브 시스템 간, 컴포넌트 간, 클래스 간, 함수 간의 연결 등)
• 시스템 테스트 : 시스템 전체
• 인수 테스트 : 시스템 전체

테스트 범위

• 컴포넌트 테스트 : 
  각 컴포넌트의 기능적 요구사항
  최고 수준의 위험도를 갖는 컴포넌트에 대해서는 성능과 신뢰성 등을 포함
• 통합 테스트 :
  컴포넌트 연결 간의 동작, 최고 수준의 위험도를 갖는 컴포넌트 간 성능과 신뢰성 등 포함
• 시스템 테스트 : 시스템에 대한 기능/ 비기능 요구사항 전체
• 인수 테스트 : 시스템에 대한 기능/ 기비능 요구사항 전체

가정 및 제약사항

테스트를 수행하면서 반드시 준수해야 하는 표준, 조직 테스트 정책 및 조직 테스트 전략, 테스트 프로젝트 고객과의 계약, 테스트 일정, 비용, 투입 인력, 자동화 도구, 테스트 환경 등이 있다면 기술

이해 관계자

• 테스트에 요구사항을 제시하거나 테스트 결과에 관심을 갖는 이해관계자 포함
• 각 이해관계자가 어떤 요구가 있는지 식별
• 각 이해관계자와의 의사소통 방법을 정의(테스트 계획서, 테스트 현황 보고서, 종료 보고서 등의 산출물)

위험 분석

• 위험 회피 : 식별된 위험 요소가 발생할 가능성, 발생 영향을 제거하여 위험 요소 발생 원천적 예방
• 위험 완화 : 너무 많거나 비용이 많이 들면 위험도를 감소시키는 방법 계획. 발생 가능성 낮추기, 영향도 약화
• 위험 수용 : 위험도가 매우 낮으면 모니터링만 함. 회피나 완화 시 비용이 많이들면 수용
• 위험 전가 : 조치를 수행하기에 비용, 역량이 적절하지 않으면 타 조직에 전가. 테스팅 아웃소싱, V&V 분석

프로젝트 위험

• 조직 관련 위험 :
  테스트 프로젝트의 목적과 범위 등 테스트 정책에 대한 명확한 합의가 있는지
  테스트 관리, 동적 테스트, 정적 테스트 등에 대한 명확한 프로세스가 정의되어 있는지
• 인력 관련 위험 : 
  충분한 인력이 확보되었는지, 필요한 역량을 보유하고 있는지
  기존에 유사한 도메인에서 테스트 프로젝트를 수행한 경험이 있는지
• 비용 관련 위험 :
  테스트 프로젝트를 완료할 수 있는 충분한 예산이 확보되었는지, 비용 추정은 정확한지
  인력에 대한 교육 및 훈련 비용도 고려되고 있는지

제품 위험

• 고객, 사용자 등 이해관계자의 기대를 충족하지 못할 가능성
• 위험이 식별되면 각 위험 분석 결과를 바탕으로 위험 조치를 도출하고 테스트 계획에 반영
• 높은 수준의 위험을 유발하는 기능 및 비기능 피처는 강도 높은 테스트가 수행되도록 테스트 전략 수립

테스트 전략 수립

개별 테스트

• 개별 테스트 계획이 아니라 프로젝트 테스트 계획의 하위 요소
• 테스트 컨텍스트에서 파악된 테스트 범위를 바탕으로 결정

• 개별 테스트 계획서에서 공통적인 내용은 프로젝트 테스트 계획서를 참조함
• 각 개별 테스트 계획에서 동일한 내용은 프로젝트 테스트 계획서에 기술하고 이를 참조하는 방식
• 각 개별 테스트의 고유한 내용은 개별 테스트 계획서에 기술

테스트 산출물

테스트 관리 프로세스 산출물

• 테스트 계획 : 테스트 계획서
• 테스트 모니터링 및 제어 : 테스트 현황 보고서
• 테스트 종료 : 테스트 종료 보고서

동적 테스트 프로세스 산출물

• 테스트 설계 및 구현 :
  테스트설계 명세서, 테스트케이스 명세서, 테스트절차 명세서, 테스트환경 요건 명세서, 테스트데이터 요건 명세서
• 테스트 환경 구축 및 관리 : 테스트 환경 준비 보고서, 테스트 데이터 준비 보고서
• 테스트 실행 : 테스트 실행 로그
• 결함 보고 : 결함 보고서, 결함 추적 보고서

테스트 설계 기법

• 테스트 계획 활동 중에는 테스트 설계 기법을 선정하고 핵심적인 전략을 결정
• 테스트 설계 기법은 테스트 설계 및 구현 활동에서 테스트 케이스 개발을 지원할 정도로 구체화됨

상태 의존적 동작 여부

• 테스트 대상의 동작이 현재의 입력과 더불어 과거의 입력에도 영향 받는 경우 상태 의존적
• 테스트 대상의 동작이 상태 의존적인 경우 시나리오 테스트 및 상태 전이 테스트가 적용
• 동등 분할, 경곗값 분석, 분류 트리 기법 등은 상태 의존적이지 않은 동작을 테스트할 때 적용

동작 방식

• 상태 의존적 동작은 동작 방식에 따라 시나리오 테스트 또는 상태 전이 테스트 방법 선택
• 흐름 중심 동작을 가지면 시나리오 테스트를 적용
• 이벤트 중심 동작을 가지면 상태 전이 테스트를 적용

테스트 변수 간의 제약사항 고려 여부

• 테스트할 동작이 독립적이면 동작에 영향을 주는 변수 간의 제약사항 고려 여부에 따라 테스트 설계 기법 결정
• 변수 간의 제약사항을 고려하지 않으면 동등 분할 및 경곗값 분석, 조합 테스팅 적용
• 제약사항을 고려하는 경우에는 분류 트리 기법, 인과 그래핑, 결정표 테스트 적용

테스트 환경 요건

• 테스트를 수행하기 위해 필요한 환경 식별
• 하드웨어, 운영체제 포함 시스템 소프트웨어, 외부 연동 시스템, 공존하는 응용 소프트웨어, 테스트 도구 등을 포함

• 개별 테스트에 따라 필요한 테스트 환경은 달라질 수 있음
• 테스트의 수준이 높아질수록 테스트 환경이 실제 동작 환경에 근접해짐

• 테스트 환경을 실제 운영 환경과 유사하게 구성하려면 비용, 구현 가능성 측면에서 어려움이 따름
• 실제 운영 환경과 유사한 하드웨어, 입출력 장치, 시스템 소프트웨어를 추가 구매해서 환경 구성
• 대상 시스템과 연동되는 외부 시스템이 있어도 해당 시스템과 연동하는 것은 위험성이 따름

테스트 데이터 요건

테스트 대상 입력 유형

• 테스트 케이스는 테스트 대상에 입력되는 데이터가 필요
• 입력 데이터의 규모가 크고 복잡한 구조를 갖는 경우 해당 데이터가 테스트 케이스와 별개로 파일이나 디비에 정의되고 참조됨

테스트 대상 상태 유형

• 테스트 대상에 입력 값을 전달하기 전에 테스트 대상이 특정 상태에 도달해야 할 경우가 있음
• 이런 상태는 각 테스트 케이스의 선행 조건에 명시됨
• 테스트 대상을 테스트 케이스의 선행 조건에 명시된 상태로 설정하기 위한 테스트 데이터 필요

테스트 환경 항목 유형

• 테스트 케이스 선행 조건에는 테스트 대상에 대한 상태뿐만 아니라 테스트 환경 항목에 대한 상태도 명시
• 각 테스트 환경 항목을 테스트 케이스의 선행 조건에서 요구하는 상태로 설정하기 위한 테스트 데이터 필요

재테스팅 및 리그레션 테스팅

재테스팅

• 재테스팅은 검출된 결함의 해결 여부가 검증될 때까지 반복적으로 수행
• 재테스팅은 기존 결함을 검출하였던 테스트 절차를 다시 수행하므로 테스트 절차를 자동적으로 수행하는 전략 적용
• 재테스팅은 컴포넌트/통합/시스템 테스트 등 여러 레벨에서, 성능/신뢰성 테스트 등 여러 유형에서 수행 가능
• 변경의 유형과 가용한 시간을 고려하여 재테스팅이 수행되는 개별 테스팅을 선정

리그레션 테스팅

• 소프트웨어 변경 발생 후 수행되는 테스트
• 소프트웨어의 변경이 의도하지 않은 결함을 만들지 않았으며 시스템이 기존 요구사항을 충족함을 검증하기 위함
• 특정 레벨에 한정되지 않 컴포넌트/통합/시스템 테스트의 여러 레벨에서 수행
• 변경이 발생한 컴포넌트를 대상으로 리그레션 테스팅을 수행
  +  이 컴포넌트와 연결된 다른 컴포넌트와의 통합 테스트를 수행하고 변경된 컴포넌트와 관련된 기능, 성능 등
• 주어진 시간과 비용에 따라 리그레션 테스팅을 전체 레벨에서 수행하지 않을 수도 있음
• 리그레션 테스팅 수행 시 테스트 레벨 결정은 소프트웨어에 가해진 변경, 유형, 영향에 대한 추정을 바탕으로 함
• 리그레션 테스팅 수행 시 각 개별 테스트에서 어떤 리그레션 테스팅 전략을 적용할지도 결정

테스팅 중단 및 재시작 조건

• 테스트 계획에 따라 수행 중인 테스트 활동의 수행 중단 또는 중단된 활동 재시작할 조건 기술
• 각 테스트 활동의 원활한 수행을 방해할 수 있는 상황을 중단 조건으로 설정 가능
• 테스트 중단 원인이 해결되어 재시작 시 수행해야 할 테스트도 명시

테스트 메트릭

• 테스트 진척도를 파악할 때 지표로 이용될 수 있음
• 테스트 완료 기준으로도 사용됨

테스트 계획 활동 메트릭

테스트 계획 활동은 테스트 목적에 따라 테스트 대상을 선정하고 각 테스트 대상별 테스트 범위(피처)를 식별

테스트 계획에서 식별된 테스트 대상 및 피처의 수를 통해 테스트 활동에 대한 진척도 파악 가능

테스트 설계 및 구현 활동 메트릭

• 피처 집합 수 : 각 테스트 대상 별 피처 집합 수
• 테스트 케이스 수 : 개발된 전체 테스트 케이스의 수
• 테스트 절차 수 : 개발된 전체 테스트 절차의 수
• 테스트 환경 항목 수 : 식별된 테스트 환경 항목 수
• 테스트 데이터 수 : 식별된 테스트 데이터의 수

• 요구사항 커버리지는 테스트 케이스 및 테스트 절차가 제시된 요구사항을 어느 정도 확인하고 있는지 의미

• 설계 커버리지는 구조 설계, 상세 설계 등의 설계 활동 결과물에 대해 테스트 케이스 및 테스트 절차가 얼마나 많이 확인할 수 있는지를 의미

설계 커버리지 유형 - 함수 대상

설계 커버리지 유형 - 클래스 대상

설계 커버리지 유형 - 컴포넌트 대상

• 코드 커버리지는 테스트 대상의 소스 코드 요소를 테스트 케이스 또는 테스트 절차가 얼마나 확인하는 가를 의미

테스트 환경 구축 및 관리 활동 메트릭

테스트 설계 및 구현 활동에서 결정된 테스트 환경 및 테스트 데이터 준비

계획된 테스트 환경과 테스트 데이터에 대한 준비 상황을 메트릭으로 정의 가능

테스트 실행 활동 메트릭

개발된 테스트 케이스 및 테스트 절차를 실행하고 예상 결과와 실제 결과를 비교하고 테스트 실행 결과를 기록

테스트 실행 활동에서는 테스트 케이스 및 테스트 절차 실행과 그 결과를 바탕으로 한 메트릭 정의

• 실행된 테스트 케이스(테스트 절차) 수 : 실행이 성공한 테스트 케이스(테스트 절차) 수
• 통과된 테스트 케이스(테스트 절차) 수 : 실행되어 통과된 테스트 케이스(테스트 절차) 수
• 실패 테스트 케이스(테스트 절차) 수 : 실행되어 실패한 테스트 케이스(테스트 절차) 수

결함 보고 활동 메트릭

보고 기간 내에 측정된 각 메트릭 값을 전체 기간으로 누적한 수치도 결함 보고 활동에서 메트릭으로 사용

누적 검출 결함 수는 전체 기간에 걸쳐 식별된 모든 결함 수를 의미

상태별 누적 결함 수는 전체 기간에 걸쳐서 식별된 모든 결함을 각 상태별로 구한 수치

• 검출 결함 수 : 실행된 테스트에서 검출된 결함의 개수

• 검출 결함 밀도 : 검출된 결함 개수 / 대상 코드 행수(KLOC)

• 상태별 결함 수 : 결함 생명 주기의 각 상태별 결함의 개수

• 결함 나이 : 결함이 보고되고 종결될 때까지 걸린 시간

테스트 완료 기준

• 테스트 완료 여부를 판단할 수 있는 객관적인 기준 의미
• 테스트 대상에 대해 충분한 테스트를 수행했다고 판단할 수 있는 기준 의미
• 동적 테스트 프로세스 활동은 설정된 테스트 완료 기준을 고려
• 테스트 종료 시 해당 테스트의 수행 결과가 설정된 테스트 완료 기준을 충족

기본 유형의 테스트 완료 기준

테스트 케이스(절차) 기반 방법

• 테스트 대상과 관련된 테스트 케이스 및 테스트 절차 중에 어느 정도가 통과되었는지 기준으로 삼음
• 컴포넌트 테스트에서는 테스트 대상 모듈의 중요도에 따라 테스트 케이스(절차) 통과 비율이 달라짐
• 통합 테스트에서 기능/비기능적 요소를 다루는 통합 시나리오는 높은 테스트 케이스 통과 비율로 완료 여부 판단

테스트 커버리지 기반 방법

• 시스템 테스트(요구사항 커버리지) : 요구사항 명세서에 명시된 각 요구사항의 테스트 여부
• 통합 테스트(설계 커버리지) : 설계 명세서 바탕으로 설계 단위에 대한 수행/설계 단위 간 호출에 대한 테스트 여부
• 컴포넌트 테스트(코드 커버리지) : 모듈의 소스 코드에 대한 테스트 여부

결함 기반 방법

• 테스트 케이스(절차) 기반 기준 : 90% 테스트 케이스(절차) 통과, TCS-10번과 TCS-20번 테스트 케이스 통과
• 테스트 커버리지 기반 기준 : 95% 문장 커버리지가 충족됨
• 결함 기반 기준 : 2개 이하의 결함만 허용, 심각한 결함이 존재하지 않아야 함

분석 유형의 테스트 완료 기준

신뢰도 예측 모델 기반 방법

• 테스트 완료 시점은 테스트 완료된 테스트 대상이 충분한 품질을 확보했는지 고려
• 테스트 대상 시스템에 대한 신뢰도는 실제 사용자들이 장시간 동안 시스템을 사용하는 과정에서 수집된 데이터로 확인
• 시스템을 테스트하는 과정에서 신뢰도에 대한 예측만 가능
• 테스트 대상에 대해 신뢰도를 예측, 목표로 삼은 수준 이상으로 신뢰도 달성이 예상되면 완료되었다고 판단하는 방법

결함 탐침 기반 방법

• 테스트를 시작하기 전에 미리 다양한 유형의 결함을 시스템에 인위적으로 삽입
• 테스트에서 발견된 결함 중에서 인위적으로 삽입된 결함 비율을 구함

복수 테스트팀 기반 방법

• 독립적인 두 개의 테스트팀이 동일한 시스템을 테스트하여 각 발견한 결함의 수를 바탕으로 전체 결함 수 예측

개별 테스트의 테스트 완료 기준

• 테스트 완료 기준은 수행되는 각 개별 테스트 별로 구체적으로 설정
• 시스템 테스트는 요구사항 커버리지 및 미해결 결함의 수가 테스트 완료 기준에 포함
• 인수 테스트는 신뢰성 예측 모형을 이용한 신뢰도도 포함

조직 테스트 전략과의 차이점

• 수립된 테스트 계획과 조직 테스트 전략의 차이점과 함께 다른 전략을 수립한 근거를 기술
• 테스트 전략 대부분의 항목은 조직 테스트 전략 명세서에 정의
• 조직 테스트 전략 명세와 차이 나는 사항을 테스트 계획서에 기술

테스트 수행 계획 수립

테스트 조직/인력 및 역할

• 테스트 프로세스를 구성하는 테스트 활동을 수행할 역할별 인력 정의
• 조직 테스트 정책 명세서의 테스트 조직 및 역할을 참고하여 테스트팀을 구성하는 각 역할을 수행할 담당자 명시
• 프로젝트 테스트 조직을 계획할 때 프로젝트 테스트를 구성하는 개별 테스트별로 전문화된 팀을 구성

테스트 활동 및 일정

• 테스트 수행 활동과 세부 작업 정의
• 각 작업별로 담당자를 명시하고 시작일 및 종료일도 포함
• 테스트 수행은 테스트 계획, 설계 및 구현, 환경 구축 및 관리, 실행, 결함 보고 그리고 종료까지 순차적으로 수행

의사소통

• 의사소통 목적 : 테스트팀과 개발팀을 포함한 다양한 이해관계자는 서로 다른 목적으로 테스트 현황 공유 필요
• 의사소통 방법 : 정기 회의, 자료 공유, 정적 테스트에서 설명한 관리 검토, 기술 검토, 인스펙션 등
• 의사소통 일정 : 이해관계자와 정기, 비정기로 실시하는 의사소통 일정 정의, 마일스톤

산출물 요약

테스트 계획서

• 테스트 컨텍스트 : 테스트 계획 유형, 테스트 대상, 테스트 범위, 가정 및 제약 사항, 이해관계자
• 위험 분석 : 프로젝트 위험, 제품 위험
• 테스트 전략 : 개별 테스트, 테스트 산출물, 설계 기법, 환경 요건, 데이터 요건, 재테스팅 및 리그레션 테스팅, 테스팅 중단 및 재시작 기준, 테스트 메트릭, 완료 기준, 조직 테스트 전략과의 차이점
• 테스트 수행 계획 : 테스트 조직/인력 및 역할, 테스트 활동 및 일정, 의사소통

'CSTS' Related Articles