概述
审计目标:
1、确保过程符合标准要求,保证过程和标准得一致性
2、适当时,提供过程有效性信息
审计范围和审计周期:
1、不能间隔太长时间,应当保持一定密度
2、所有项目原则上均要进行审计;
3、适当时可以采用随机方式,这样的方式同样满足全面覆盖原则;只要随机采样的数量达到一定比例,从统计学上可以认为这是整体覆盖了
审计人员:
1、审计人员来自组织内部
2、所有审计人员均接受了相关培训
3、审计人员可以来自SEPG
4、主要由其他项目组的人员担任审计人员,这样的换位有利于形成纪律性,因为审计者总是会表现出对“法律”的尊重和认可;同时这样有利于作为同行向项目组提供建议,还作为实际过程的执行者可以提供一些过程有效性的信息
审计策略:
1、每月均要进行审计,保持了足够的评审频率,对每个项目至少进行一次审计
2、每月要设定一些过程区域,作为详细审计的内容,采用CMM的KPA作为区域的标示;这样可以集中审计注意力,并且可以实现对特定区域的关注。例如,配置管理是一个难题,就可以关注这个KPA;但是并不是说其他区域就不审计了,而是说这个月审计的主要内容是这些
3、随机选择样本项目,但选择的项目在审计前不知道将要审计;这样可以保证部分审计可以覆盖整体;但是有时根据一些信息,某个项目可能存在问题,就要将其纳入审计样本;审计样本一般在所有正在执行项目的10-20%之间
审计计划
一般制订半年或者一年的计划;适当时,年中根据实际情况进行一次修订。表格如下:
|
审计计划 | |||
|
月份 |
关注区域 |
项目选择原则 |
完成情况 |
| 1 | SPTO(里程碑、周报) |
已经完成了两个里程碑的项目 |
|
| 2 | SPP(估计) | 已经完成了计划的项目 |
|
| 3 | SCM | 已经到达晚期的项目 | |
| 4 | QPM(度量计划、度量分析) | 已经到达晚期的项目 | |
| 5 | TP | 已经到达晚期的项目 | |
| 6 | DP | 重要的合同 | |
我猜测《审计计划》由SEPG制订,并由高级管理者批准。
《审计计划》作为每个月审计计划的基础,每个月的《月审计计划》依据此计划制订
|
月度审计计划 | ||||
|
项目 |
审计小组 |
后备审计员 |
审计时间安排 |
完成情况 |
我猜测《月审计计划》由SEPG与评审小组、项目组协商确定制订,并由SEPG保证符合《审计计划》
审计小组成员很多来自于其他项目,所以之前要进行协商确定审计小组成员;每个项目要求至少两个审计人员,并且要有至少一个后备审计人员(一般由SEPG担任)。
审计
分成几个阶段,如下介绍,并附几个模版:
审计准备:
1、在审计具体项目前两天,审计小组要一起制定《检查表》,并初步协商活动安排
2、在审计具体项目前一天,《检查表》要交SEPG审查并认可
3、《检查表》被SEPG认可后,与项目组协商具体的审计安排
审计:
1、进行审计,并于项目组协商确定相关报告
2、适当时,向项目组提出建议
后继工作:
1、审计完成两天内,审计小组向SEPG报告审计情况,并提交《检查表》
2、对不符合问题,审计小组向SEPG提交《不一致报告》
3、适当时,向SEPG报告过程有效性情况
4、SEPG向项目发布与其相关的《不一致报告》,并跟踪解决,原则上要求60天内解决不一致问题
5、SEPG提醒项目组及时关闭《不一致报告》,对超过期限的提交项目的高层领导
|
审计检查表 | |||
|
审计内容 |
文档审计指南 |
其它审计指南 |
完成? |
|
项目计划是否按照标准要求格式 |
阅读项目所有版本的项目计划 |
无 |
√ |
|
项目计划经过评审 |
阅读计划评审的缺陷记录、评审结论 |
访谈项目经理,访谈外部评委 |
√ |
|
客户的需求变更是否记录 |
阅读变更申请表、相关配置报告、项目周报 |
阅读语客户交流的邮件,访谈客户接口人员,适当时可联系客户 |
√ |
|
等等 |
√ | ||
|
项目名称 |
审计时间 |
||
|
审计小组 |
|||
|
不一致报告 | |||
| 项目 |
日期 |
||
| 不一致相关标准 | 严重性 | (√)严重 ( )一般 | |
| 不一致描述: | |||
| 改进措施: 改进措施负责人: 措施执行 http://www.csai.cn | |||
| 预防措施: 预防措施负责人: 措施执行 http://www.csai.cn | |||
| 过程有效性说明(非必要内容): 如果审计小组有这方面的意见,可以填写《建议/意见表》,一旦接受可获得奖励 | |||
| 其他: | |||
| 审计小组 | (签名) | ||
| 被审计者 | (签名) | ||
一份单独的审计情况报告,价值并不很大,但是较多的审计报告可以提供有价值的信息。
这些信息可以用于说明组织在过程执行一致性上的情况,并可提供改进机会。
要求每半年SEPG提交的审计总结报告包括此分析内容。
几个分析工具介绍如下:
组织过程执行一致性状况:
1、每个月统计《不一致报告》数量,并按照“严重性”分类
2、针对多个月的统计绘制“直方图”。可以说明组织在过程执行一致性上的趋势
3、例如,发现整个趋势是《不一致报告》的数量逐渐减少,可以认为组织在过程一致性执行上在不断进步
4、例如,发现整个趋势是“严重”的《不一致报告》逐渐减少,但是“一般”的《不一致报告》逐渐增多,可能过程体系在细节上有不明确的地方,也可能是审计人员故意降低“不一致问题”的等级等等
不一致重点区域:
1、统计多个月的《不一致报告》
2、按照“不一致相关标准”分类绘制“饼图”,可以发现主要出现问题的过程区域和相关的过程文件,从而可以采取措施
2 其它的例子
某军工研究所的例子:
1、有一个单独的质量保证部门
2、按照产品类型分为几个小组,每个小组只是负责此类产品的审计
3、质量保证人员如果具备多个产品的相关知识,可以属于多个小组
4、每个质量保证人员在进入某个项目组前,要接受相关产品类型的培训,由部门内部组织,并可请求研究所的培训部门提供一些部门无法提供的培训
5、具有暂停项目的权力
6、所有项目组提交的所有正式产品、正式文档和报告,SQA均要签署意见
7、这意味着所有的项目的所有过程均在SQA审计之下
8、因为审计范围完全一致,SQA不需要针对项目制订SQA计划
9、质量保证部门定期进行审计经验交流,小组为单位进行介绍
10、质量保证部门定期进行审计分析工作
11、对每个项目,在里程碑和项目结束时,对项目在过程执行方面进行总体评价
某国内软件企业:
1、有独立的质量保证部门,但是此部门也是SEPG部门
2、按照部门分配SQA,一个部门中所有的项目由此SQA负责
3、跨越部门的项目由部门经理指定SQA负责
4、这样保证每个项目均有一个SQA,也只有一个
5、对每个项目SQA参与项目早期的策划工作,并制定针对项目的SQA计划
6、依据SQA计划对项目进行审计
7、每次审计要提交《审计报告》,记录审计结果和审计工作量
8、对每个不一致问题,要提交单独的《不符合报告》
9、每半年,部门提交SQA工作总结,进行SQA工作量统计、审计项目统计数量统计、不一致问题分析
10、不同SQA互相进行审计,确保SQA也按照《质量保证管理》执行工作
11、SQA还负责对OPD(组织过程定义)的审计工作
3 总结分析
案例分析
三个体系,有着明显的不同
军工研究所:
其中研究所的审计最为严格,而且面向产品专业化,而且SQA具有很大的权力,承担很大的职责,这主要由于其军工产品的质量要求决定的。
外企:
外企的审计,从CMM标准SQA的实践来看有些不符合,但是分析SQA的目标,可以说达到了要求,这体现了外企在标准把握上的能力很高,同时也体现了其管理为企业目标服务的精神。它充分利用了统计学上的样本规则,体系设计的非常精巧,我不得不佩服。
国内企业:
国内的那家企业,有很明显的照搬标准的痕迹。满足了CMM标准的要求,但是SQA的报告太多了,尤其是每次审计都要提交《审计报告》,就是没有发现问题也如此,造成了一定的成本浪费。而依据计划往往要对项目进行多次审计,对一个过程也要多次审计,有时一个星期就要审计一次,这样的必要性很值得怀疑。当然这样可以有效的 “强制”执行过程,就像保姆一样一直跟随下去,这样的方式在刚刚开始建立过程体系的时候还有一些价值,但是到了过程体系稳定之后,基本上产生不了任何相应的回报。总计上面可以发现,整个质量保证体系,由大量无效的工作,这个体系不是很好。
一个设想
中国的现状是没有良好的软件开发管理基础、认识、人才,建立过程体系和一致的实施是当前主要的工作。所以质量保证体系要具备一定的灵活性,对项目的审计要可以较容易的控制审计力度,由可以实现审计目标。
从满足CMM的角度出发,可以建立这样的体系,结合了上面的几个例子的经验:
设想的质量体系模型:
1、主要采用外企的体系,做一定的修改
2、对具体项目一个月只进行一次审计
3、在刚刚建立过程体系的时候,要求《月度审计计划》覆盖所有的项目
4、在过程体系刚刚建立的时候,参照《审计计划》的要求,并结合每个项目的特性制订有特色的《审计检查表》,《审计检查表》可以覆盖尽可能多的内容,实现一定的“强制性”
5、当过程体系已经稳定了,就可以完全参照外企的体系了
CMM和CMMI中在质量保证工作方面的区别
CMM的SQA中要求SQA参与项目的早期策划,并对每个项目制订SQA计划,强调SQA的独立性;但是CMMI种没有这样的要求,对独立性放宽了限制,例如在某些情况下QA审计可以由同行进行(明显参照了ISO的内审方法和要求)。
CMMI涉及的不光是软件项目,还包括一些事务性的流程,这些事务流程没有项目的特性。CMMI考虑了更加广大的适应性,所以减少了限制条件,因为有些限制条件在某些环境下是不适合的。另外CMMI考虑了软件行业新的发展,例如上面外企的例子,相应减少了独立性限制。
CMM主要是一个评估准则,它的经验来自于大型的政府项目,所以对QA有严格的要求;但是CMMI主要是一个改进指南,面向的范围更加广泛,所以减少了对QA的一些限制。
从满足标准的角度,CMMI提供了更大的灵活性,更容易“考试通过”,但是本质上增加了在定义和实施的难度。因为这个质量保证体系要求满足更大范围的审计工作,并且要求这些范围审计工作的一致性。在这个一致性(统一过程)下,保证一定的过程效率比较难,因为可能每类过程或者组织的审计要求并不一致,在统一过程下,比较难以保证每类过程和组织的审计效率。这个也是CMMI的一个难题,怎样在保证QA过程统一性的前提下,有保持审计的有效性和高效率。
有意思的现象:
参考CMMI的PPQA可以发现,外企的质量保证体系,完全满足了PPQA(三级)的要求,但是对照CMM的SQA却有一些距离。说明了一个问题,就是此外企业的思路确实非常正确,虽然他们的体系是针对CMM评估而设计的。
延伸阅读
文章来源于领测软件测试网 https://www.ltesting.net/










