9. 통계적인 분석

테스트 결과를 통계적으로 분석을 하는 근본적인 목적은 테스트 환경하의 각각의 시스템 성능의 평균을 정확하게 인식하고 제품성능차이에 대한 신뢰도를 높이는 것입니다. 신뢰도를 높이기 위하여 신뢰구간이나 오차범위를 명시하기도 합니다.

만일 테스트가 이 문서의 다른 섹션에서 말하고 있는 절차에 따라서 진행되었다면 평가의 단위는 단계적입니다. 예를 들면 평가의 각 단위는 정확하게 같은 크기로 이루어져 있습니다. 그리고 그런 단계적인 속성은 특별한 통계적인 방법을 금지하지도 규정하지도 않습니다.

만일 이러한 단계적인 파라미터를 사용하는 통계법이 논리적으로 설득력이 있으면 이런 방법은 가장 민감하면서도 강력하기 때문에 추천되지만 데이터의 속성이 오차범위로부터 심각하게 벗어나는 경우에는 단계적인 파라미터를 사용하지 않는 다른 분석방법이 고려되어야 합니다. 특별히 분석의 초기단계에서 ANOVA(assumptions underlying the analysis of variance) 방법을  적용하는 것이 추천됩니다. 그리고 이후에 ANOVA에 의하여 밝혀진 중요한 효과가 있다면 ANOVA에 의하여 제공이 되는 t-test, Neuman-Keuls, Scheffe와 같은 편차의 추정을 사용하는 다른 방법을 사용하여 그러한 효과를 더욱 자세하게 연구할 수 있습니다.

하나의 가설은 종종 여러 개의 다른 통계적인 방법들에 의하여 검증이 됩니다. 만일 특별한 가설이 다른 통계적인 방법을 사용하여서도 검증이 된다면 그 결정의 근거는 보강될 것입니다. 그러므로 Wilcoxon등과 같은 보충적인 데이터 분석을 적용하면 더 좋습니다.

몇몇 단계에서는 심리측정학의 측면을 고려하는 것도 중요합니다. 이것은 확실히 물리적이지 않은 스케일로부터 의미 있는 결론을 이끌어내는 것에 효과적입니다.

평가등급이 선형적으로 보여지지 않으면 다른 등급과의 비교는 상대적인 순위에만 기반하여 만들어질 수 있다는 것에 주목해야 합니다.