对于中试、工程现场、生产报上来的外部故障，可以通过测试部在CCB会议预审阶段该缺陷，并给出该缺陷的测试设计及测试执行情况判断。本文重点论述了利用下游故障分析改进测试有效性。

一、外部故障的测试有效性分析

具体的操作方式是：

测试部在收到开会通知时候，需要填写《XXX表格》，对该外部故障判断其是否为：

1、规程缺失

测试部应该有测试规程能够测出该故障，但由于测试设计不充分，没有覆盖该需求场景；

2、规程不充分

有覆盖该功能的测试规程，但测试规程所执行的case不组，导致未能测出该故障；

3、规程未执行

有充分的测试规程能印证该故障，但本次测试未被执行；

同时，进一步判断是否要开发部进一步评估该故障。

开发部对外部故障的分析参见“测试部故障的测试有效性分析”。

对于测试规程缺失和规程不充分的情况，作为项目例会的跟踪问题，跟踪补全相关测试规程。

对于测试规程未执行的，需要判断是历次测试执行计划未包含此测试内容还是执行计划已规划，但测试人员未执行此测试内容？前者对测试经理记小过一次，后者对具体测试任务承担者及测试经理各记小过一次。

二、测试部故障的测试有效性分析

对于测试部的测试故障，开发部需要在每个回归版本结束后一周内，完成指派到本部门处理的测试故障汇总分析。〔对于测试部建议开发部进一步分析的外部故障，需要在CCB决策指派/指派研究后提交下程时附加该分析结果。〕

具体的操作方式是：

从CQ库中Export出导出的本回归版本的测试部故障，按照《YYY表格》的格式；

1、对该故障进行分析，判断其适合的发现活动是：

a、需求/设计评审

b、代码评审

c、单元测试

d、集成测试

e、其他

2、如果是测试设计的原因，需要进一步判断是该类测试设计是否：

a、规程缺失

开发部应该有测试规程能够测出该故障，但由于测试设计不充分，没有覆盖该需求场景；

b、规程不充分

有覆盖该功能的测试规程，但测试规程所执行的case不足，导致未能测出该故障；

c、规程未执行

有充分的测试规程能印证该故障，但本次测试未被执行；

对于测试规程缺失和规程不充分的情况，作为项目例会的跟踪问题，跟踪补全相关测试规程。

对于测试规程未执行的，需要判断是历次测试执行计划未包含此测试内容还是执行计划已规划，但测试人员未执行此测试内容？前者对开发经理记小过一次，后者对具体测试任务承担者及开发经理各记小过一次。

对于代码评审及设计/需求评审应该发现的缺陷，需要逐步积累形成本开发组各类工作产品的评审检查单的检查项。