《评价研究设计》PPT课件.ppt
评价研究设计,实验的分类,实验物理学研究化学动物实验实验的长处和不足类实验无法完全控制实验条件,研究的两个效度,内部效度针对于本研究的对象，研究结果的真实度外部效度 研究的结果在多大程度上能推论（广）到其他地方,实验、类实验与两个效度,实验内部效度高，外部效度低类实验内部效度要打折，而外部效度高,项目（干预）成功的两个基本条件,1、有效的项目设计即：如果项目干预方案得到完全的实施，那么，项目的目标就能实现，项目所要解决的问题就能解决2、项目实施即：项目的方案得以按质、按量地实施、完成二者缺一不可,项目失败,错误的项目设计,有效的项目设计,有效的项目设计,不好的项目实施,很好的项目实施,项目成功,项目失败,很好的项目实施,项目失败,项目理论失败,项目实施失败,项目理论,建立项目理论、进行有效干预 基于项目理论、进行项目评价,项目理论的例子,60年代美国卫生部关注婴儿死亡率和婴儿智力低下，拨经费开展干预项目前提假设婴儿死亡率及智力低下与低体重儿（早产）相关低体重儿与孕妇孕期未及时治疗疾病和营养不良相关这种情况可在某些人群中发现，如未成年怀孕，35的孕妇，多产孕妇，有早产史，或收入低下的家庭基于上述相关关系。建立项目理论如果找到高危母亲如果能让她们参加项目如果能将针对这些因素服务有效地提供给她们那么，就能降低早产出生率那么，就可以降低婴儿死亡率和智力低下,社会问题及干预,社会问题,贫穷疾病失业犯罪,项目干预设计,需求评估项目设计项目评估,项目实施,项目产出,项目效果,过程评价,项目评价的基本问题,是问题吗？问题有多严重、范围有多大、影响谁？需求评估项目设计有效吗？项目论证（对设计进行评估）项目执行了吗？实施评估（过程评估）项目有效果吗？项目效果评估项目干预值得吗？成本-效果分析,评价设计思路,评价设计思路,项目设计,项目实施,项目产出,问题,效果评价：项目解决了问题了吗,需求评估,方案论证,实施的评价,评价研究的目的,评价研究的目的是检验新的做法是否被实施如果被实施，效果如何？目标人群是否收益？项目的效果是否可持续？如何进一步改进、完善,评价的类型,过程评价效果评价,基本评价设计,1、前后比较1、O X O2、干预组与对照组比较2.1、X O O2.2、O X O O O3.时间序列分析3.1.O1 O2 O3 X O4 O5 O63.2.O1 O2 O3 X O4 O5 O6 3.3.O1 O2 O3 O4 O5 O6,效果评价的任务,如何估计完全是由于项目干预所带来的效果？,项目净效益,1,2,项目效益Y,=,项目后(yepre),项目前（yepost）,=,1,对照组的变化(yc),=,项目后(ycpre),_,项目前（ycpost）,=,2,项目组的变化(ye),=,项目后(yepre),_,项目前（yepost）,=,1,项目净效益,=,2,1,项目前,项目后,Y,利用回归模型控制混杂因素，估算项目效益,项目干预,项目干预组,对照组,变量的分类项目目标变量、干预变量、控制变量,因变量Y：早产儿出生率婴儿死亡率，智力低下干预变量X：针对各种因素的服务干预参加项目（是，否）控制变量年龄、教育、性别当地经济增长交通,利益相关者评价方法,确定利益相关者澄清利益相关者的关注点定义评价研究所要问答的问题（研究课题）如何回答评价研究所要回答的问题选择指标选择评价设计数据分析方案,利益相关者评价方法的评价步骤,1.确定利益相关者2.澄清利益相关者的关注点3.定义评价研究所要问答的问题（研究课题）4.如何回答评价研究所要回答的问题a.选择指标b.选择评价设计c.数据分析方案d.数据收集方案,5.过程评价澄清项目理论澄清项目干预关键流程按照干预流程，检查干预的实施评价目标人群是否得到干预服务6.项目效果评价7.撰写项目评价报告8.报告的散发,利益相关者及其关注点和评价课题,利益相关者,关注,评价命题,农民,能否看得起病？,能不能看好病,项目合作医疗是否会降低农民看病的费,用？,合作医疗对服务的质量是否有所改进？,卫生局、政府,农村卫生服务的改进,服务的利用,有哪些新服务开展？,服务的质量高吗？,谁利用卫生服务？,服务成本效益吗？,-,讨论题,中关村地区高血压患病率较高，当地卫生部门拟开展试点，寻求有效的、经济的可持续的高血压干预方法，以便在面上推广应用。1、你如何设计干预试点项目，请列出步骤及每一步骤期望的结果；2、你如何设计试点评价方案，请列出步骤及每一步骤期望的结果。,利益相关者评价方法,确定利益相关者澄清利益相关者的关注点定义评价研究所要问答的问题（研究课题）如何回答评价研究所要回答的问题选择指标选择评价设计数据分析方案,利益相关者及其关注点和评价课题,高血压试点效果评价,利益相关者,关注点,评价命题,结果指标,自变量指标,评价设,计,选择评价指标,明确概念初选评价指标评价评价指标,选择评价指标,明确概念明确各种不同的概念定义确定概念的定义明确概念的不同角度,选择评价指标,初选评价指标选择多少指标如何制定指标如何将指标转化成调查表,选择评价指标,评价评价指标必须明确测量真正要测量的，测量的结果是可靠得住的评估有效性、可靠性试调查,制定调查问卷,选择的区域结果指标的测量干预指标及研究指标的测量背景指标的测量问卷内容提问的用词、语序、语气简短、直接和非直接提问（敏感问题）、无诱导提问的种类开放式问题和封闭式问题场景式提问,抽样,抽样方法概率抽样简单概率抽样系统抽样分层抽样多步整体抽样非概率抽样目的性抽样限额（按比例）抽样样本大小,评价设计的有效性,有效性与评价设计相联系内部有效性所谓评价设计是内部有效的，那么，项目评价人员则能自信地说评价的结果是正确的。外部有效性指评价的结果能推广到其它地方的程度内部有效性对于评价来说是至关重要的，如果没有内部有效性，就不能说效果是项目带来的还是其它因素造成的。,利益相关者评价方法的评价步骤,1.确定利益相关者2.澄清利益相关者的关注点3.定义评价研究所要问答的问题（研究课题）4.如何回答评价研究所要回答的问题a.选择指标b.选择评价设计c.数据分析方案d.数据收集方案,5.过程评价澄清项目理论澄清项目干预关键流程按照干预流程，检查干预的实施评价目标人群是否得到干预服务6.项目效果评价7.撰写项目评价报告8.报告的散发,项目评价建议书,1、背景简介陈述项目要解决的问题2、评价命题3、描述项目干预4、项目的预期效果5、原因分析及项目理论6、项目目的7、项目目标8、项目目标人群9、论述项目干预前的需求评估，如果没有进行需求评估，则论述在需求评估时应关注的问题，以及相应的评估方法,10、批判性地评论项目是否有项目执行情况的监测，如果没有，提出并论述你的具体建议。11、描述评价设计（OXO）12、结果指标、干预指标及分析性指标13、如何测量结果指标，论述测量的可靠性、有效性14、如何测量控制性变量15、抽样方法16、分析方法17、详细讨论该评价设计的内部有效性、外部有效性的影响因素。18、评价的意义,评价报告,I.简介（背景）卫生问题干预项目评价命题II.方法评价设计干预的目标、活动样本结果指标信度(稳定度，可靠性)效度指标收集的质量保证分析方法,III.结果回答率人口及其它特征的描述效果分析成本效果分析IV.结论V.建议表格、图表1表2图1附件调查表问卷样本量计算调查员培训材料,项目评价建议书（设计）,1、背景简介陈述项目要解决的问题2、评价命题3、描述项目干预4、项目的预期效果5、原因分析及项目理论6、项目目的7、项目目标8、项目目标人群9、论述项目干预前的需求评估，如果没有进行需求评估，则论述在需求评估时应关注的问题，以及相应的评估方法,10、批判性地评论项目是否有项目执行情况的监测，如果没有，提出并论述你的具体建议。11、描述评价设计（OXO）12、结果指标、干预指标及分析性指标13、如何测量结果指标，论述测量的可靠性、有效性14、如何测量控制性变量15、抽样方法16、分析方法17、详细讨论该评价设计的内部有效性、外部有效性的影响因素。18、评价的意义,选择评价指标,初选评价指标选择多少指标如何制定指标如何将指标转化成调查表,评价报告,I.简介（背景）卫生问题干预项目评价命题II.方法评价设计干预的目标、活动样本结果指标信度(稳定度，可靠性reliability)效度(validity)指标收集的质量保证分析方法,III.结果回答率人口及其它特征的描述效果分析成本效果分析IV.结论V.建议表格、图表1表2图1附件调查表问卷样本量计算调查员培训材料,
