비교대상있는경우

개념 : 특정SW 구현 기능과 품질이 사용자 요구사항을 만족하는지 객관적으로 측정하거나 다른 제품과 비교하기 위해 테스트하는 기법
필요성 : SW의 객관적 품질의 측정, SW출시 이전에 시장적합성 심사, 타 제품과의 객관적 비교/장단점 파악
절차 : 계획수립->BMT시나리오->환경구축->BMT업체선정->테스트->결과분석->BMT결과보고서작성->FeedBack, 객관적이고 공신력 있는 BMT업체선정 필요
내부테스트와 비교 : 대상(SW내부로직 vs 완성된 SW), 테스터(내부개발자/Tester vs 외부 공신력있는 기관), 목적(품질향상 vs 시장적응성/기능비교), 테스트기법(Whitebox vs Blackbox)
BMT시험전문기관 : NSTL(National SW Test Lab, 각종 인증, BMT), TPC(Transaction Processing Performance Council, 대형 트랜잭션기반 테스트 표준),
                            SPEC(System Performance Evaluation Corp), TTA/KIPA(국내기관)
국내SW BMT 현황 : 공신력 있는 테스트기관 부족, 테스트에 대한 중요성 인식증가, CMMi, SPICE 등의 프로세스 개선인증과 동반하여 BMT 수요증가
문제점 : 업체/사용자 인식부족, 형식적인 테스트
해결방안 : 홍보/활용성 인지, 테스트의 중요도 인지



새로운 제품일경우 -> PoC(Proof of Concept)



EDW용 데이터 베이스 BMT의 평가 항목
   1) 데이터 Load / Unload
   2) 대용량 Insert 처리성능
   3) 동시처리(정형질의) / 비정형질의
   4) 확장성 / 가용성 / 운영효율성 / 운영편리성
BMT의 평가 절차
   1) BMT 관련 HW/SW 요청,
   2) BMT 평가항목 도출(기능/성능)
   3) BMT 평가방법 선정(시나리오/도구/평가)
   4) BMT 시험환경 구성
   5) BMT 수행 및 결과 확인
BMT의 문제점 및 해결방안 
    공인 BMT 기관 설립,BMT 수행 법제화, 불필요한 BMT 자제, BMT 비용 지불, BMT 발주 분리, BMT 비용 요구
    
    
I. BMT와 POC의 개념적 비교
가. BMT( BenchMark Test)의개념 : 제품들간의 비교를 통한성능을 시험하고 평가하는 방법
나. POC(Proof of Concept)의 개념 : 비교대상이 없이 기능과 성능이 목적에 합당한가를 평가하는 방법



3.  POC 및BMT 진행관련고려사항
가. BMT의 경우 성능과 가격의 두가지판단 Fact에 대한 합리적인 의사결정이 중요
나. POC의 경우 비교대상이 없는 상황으로써 요청자의 기술및 분야에대한 전문적인 인력구성 필요
    명확한Pass 기준이 정량적으로 관리 될수 있어야 함
다. BMT 및POC가 공정하고 객관성을 유지하기 위하여 업체별 동일과제 및 동일조건의 유지가
    가능토록 계획 수립시 상세히 검토필요