绩效评估医学科技论文

2021-05-25 26525 医学科技论文

1医学科技计划绩效评估框架的构建原则与主要模型

1.1医学科技计划绩效评估框架的构建原则

1.1.1系统性原则系统性原则要求绩效评估框架与评估对象的战略目标、绩效评估的目的一致。首先,与被评估对象的战略目标的一致性。绩效评估的目的就是引导、帮助被评估对象实现其战略目标以及检验其战略目标实现的程度。因此,构建评估框架应根据医学科技计划的战略目标来设定和选择绩效评估议题。其次,与绩效评估目的的一致性。目的不同,绩效评估的侧重点也应有所区别。

1.1.2可行性原则可行性原则对医学科技计划绩效评估框架的构建做出两个方面规定。一是评估框架要有针对性,一方面必须反映医学科技计划绩效的共同属性,另一方面又要突出政府关注的绩效重点。二是评估框架要合理。根据需要与可能设定议题或指标,使评估框架建立在切实可行的基础上,必须立足于主、客观条件,既要考虑到评估议题或指标本身的可评估性,又要考虑到评估过程中证据的可收集性。

1.1.3整体性原则首先,整体性原则要求评估框架的设计要体现全过程管理的思想,能够全面、系统地反映医学科技计划绩效的数量和质量要求。其次,绩效评估框架要有针对性,反映科技计划整个实施过程中的关键环节。再次,评估框架要体现管理要求,即体现关键环节做的很好或很差的标准。最后各个评估议题或指标要相互独立,不能重叠。

1.2科技计划评估的主要模型

目前在科技计划评估领域最常用的模型是“逻辑模型(Logicmodel)”,而在医学研究领域最常使用的成效评估模型是“回报模型(paybackmodel)”,因此,本文主要对这两个模型做简要的介绍。

1.2.1逻辑模型逻辑模型最早起源于私立部门的全面质量管理评价,之后被广泛应用于公共部门、政府部门和非营利组织,在绩效评估研究领域,常被国际组织作为一种计划/项目设计、执行和考核评估的工具来使用。逻辑模型勾勒出计划整个实施过程中各环节的因果关系,从中找出影响计划绩效的关键环节,既可以帮助评估科技计划绩效,也适用于对科技计划绩效进行分析并实施改进。作为一种概念化论证项目的方法,逻辑模型通过一张简单的框图来分析一个复杂的计划/项目的内涵和关系,注重把项目产生的短期结果、中期影响和长期战略之间的关系概念化,核心是事物层次间的因果逻辑关系。即“如果”提供了某种条件,“那么”就会产生某种结果,这些条件包括事物内在的因素和事物所需要的外部条件。典型的逻辑模型。通过可以看出,该逻辑模型通过描述系统从输入、输出、成果及影响等要素,给出了一个综合地、系统地研究和分析问题的思维框架。模型由以下六个维度构成:目标、投入、活动及对象、结果、假设、环境。逻辑模型总是在特定的情境下发生,对于一个科技计划来说,就是依据“情境”所制定的战略目标。投入包括所需的人力、物力、财力、时间和技术等资源;产出包括投入所带来的活动以及活动过程中所涉及的对象。结果是指计划/项目直接的效果和作用,是产出所带来的影响,包括短期、中期和长期影响;假设则是联系情境、投入、产出和结果彼此之间的因果关系,反映组织行为间的逻辑关系。通过逻辑模型,有利于了解特定行为的发展过程及各环节之间的因果关系;有利于找出关键问题,找到进行绩效评估的切入点,确定评估内容;还有利于组织和个人进行评估以及反馈,完善行为。其基本思路是从逻辑模型的分析框架出发,从系统的输入、输出、成效等逻辑环节构建绩效评估的维度。具体的方法是从计划/项目的长期战略出发,通过“长期目标-中短期目标-产出-投入”四个层次逐层分解战略愿景,找出绩效产生过程中的关键要素,并把各层面的关键要素转变为具体评估内容。

1.2.2回报模型回报模型,是MartinBuxton领导的英国BrunelUniversity(伦敦)健康经济学研究组提出的,是当前系统评估健康相关科研活动投入回报时使用最广泛的一套综合方法。在回报模型中,“影响”(impact)是一个宽泛的概念,它将直接产出、短期成效和长期影响等各个时间窗的效果都纳入到“影响”的范畴中,主要采用性质分类的方式来对不同类型的影响进行区分。将健康相关的研究所可能产生的影响分为知识产生、科研能力的建设、对相关政策和产品开发的支撑、健康及健康相关部门的收益、更广泛的经济和社会收益五大方面,并在每个方面提出若干指标。通过上面的回报模型逻辑图和回报模型指标划分可以看出,该模型主要集中在对结果端的评估,认为结果是否达到公共财政支出的要求、是否能够满足公众以及政府的需要,这对科技计划实施来说是最为重要的。模型不仅按照性质分类的方式将结果分成了五个方面,而且也考虑了各个利益相关方的需求,同时也能体现出不同时间窗下的效果,更重要的是符合健康领域相关科研活动的作用过程。

2医学科技计划绩效评估框架构建

2.1医学科技计划绩效评估框架构建的基本逻辑

本研究结合医学科技计划总结成效和管理经验、完善管理措施、提供决策参考的的绩效评估需求,选择“逻辑模型”和“回报模型”相结合的方式进行绩效评估的框架设计。采用了“逻辑模型”的逻辑主线,同时在成效部分结合了“回报模型”的成效分类方式,将逻辑模型和成效范畴结合,使评估逻辑模型更加适用于医学科技计划的绩效评估。改进后的逻辑模型通过描述系统从输入、输出、成果及影响等要素,给出了一种综合地、系统地研究和分析问题的思维框架。模型由以下四个维度构成:目标、投入、管理/活动、成效。其中目标,主要是根据上级政策规划、社会发展需求和科学发展需求等方面进行设计;投入包括所需的人力、物力、财力、时间和技术等资源;管理/活动主要包括两个层次的内容,第一个层次是指科技计划的主管方采取的组织方式和管理措施,第二个层次是指科技计划的执行方的实施活动;成效是指计划/项目直接的效果和作用,包括知识的积累、能力的建设、政策支撑与产品开发、健康及健康部门的收益、更广泛的经济和社会影响等方面。通过该逻辑模型,即可以对成效展开五个方面的评价,又可以把结果端和起始端串联起来,将目标-投入-管理/活动-结果逻辑线路上的所有要素囊括在内,有助于了解各环节之间的因果关系,明晰什么因素导致什么结果,找出绩效产生过程中的关键要素,并把各层面的关键要素转变为具体的评估内容。基于改进后的“逻辑模型”,结合一般医学科技计划投入与管理的特点,可得出如图4所示的医学科技计划绩效形成机理。从绩效形成机理图可以看出,医学科技工作面临着公众健康、卫生事业发展及医学科技发展的需求。根据政府医学科技工作战略目标制定医学科技计划的战略目标,并决定财政资源规模,同时制定科研组织、资源整合方式和科技计划学术牵头人。在给予一定的投入后,医学科技计划开始组织管理活动,包括确定优先资助的项目、及项目主持、承担单位、牵头人遴选、评审、实施过程监督管理,这些都是医学科技计划关键的管理环节。经过复杂的科技投入和管理活动,医学科技计划管理直接产出就是组织了一批项目进行研发、组建科技攻关体系、遴选一批牵头专家和搭建科技条件平台,同时形成一系列学术成果,这些成果通过推广、转化转移对知识增长、能力提升、政策支撑和产品开发、医疗服务和健康水平提升、社会经济发展产生了重要影响。

2.2医学科技计划绩效评估框架构建的评估准则

给出的逻辑模型中,展示了一般医学科技计划投入、管理和成效的前因后果。其中已经标识出了医学科技计划投入和管理中的几个关键环节,这些环节恰恰对应着投入与管理流程中可能的“断点”。如果医学科技计划在这些环节上做得很好或很差,那么直接关系到其绩效是否突出,而其做的好坏的标准也就对应着绩效评估的准则。基于一般科技评估框架,结合医学科技计划的管理要求,本研究认为评估准则包括以下内容。

2.3医学科技计划绩效评估框架

在明确医学科技计划的绩效形成机理和开展评估的准则之后,绩效评估的框架得以构建。医学科技计划的绩效评估框架和议题,其中过程评估包括三个大的维度:目标的制定、计划的投入、计划的执行;成效评估包括五个大的维度:知识产出、科研能力建设、政策支撑和产品开发、健康及健康部门的收益、更广泛的经济和社会收益。这些维度对应于医学科技计划绩效形成机理中的各个环节,前后之间具有一定的逻辑关系。在每个维度下,分别开展相应的评估议题。绩效评估框架的维度与关键。

2.3.1过程评估第一,对目标的制定的评估主要关注相关性准则。首先,政府医学科技计划的战略目标的设置应当满足国家或地方医学科技发展的总体规划以及社会发展的现实需求,即“定位准”。其次,还要有能够落实的机制和措施保证其战略目标的分解、实施,即“可操作”。第二,对计划投入的评估主要关注适当性准则。首先,政府医学科技计划的资源投入应该做到公正合理,将有限的资金分配给最需要的领域。其次,其投入的经费和人员的格局应该不偏离其预期结果,形成良性发展的资助体系。第三,对计划执行的评估主要关注效率性和效果性准则。首先,医学科技计划项目启动之初,应当确保有一套完善的实施方案和政策制度。其次,在政府医学科技计划从启动到结题的全过程中,应具有合适的管理方式和管理过程,保证管理的效率和效果。

2.3.2成效评估对政府医学科技计划成效的评估,主要关注效果性准则。首先政府医学科技计划的成效应当与其投入相匹配,符合预期定位。其次,政府医学科技计划的成效应该体现其战略目标,其事实结果应符合提升自主创新能力,产出创新成果和创新能力建设,以及促进社会发展和市民健康等方面的需求。前面在分析政府医学科技计划绩效形成机理时,已经对一般政府医学科技计划的战略目标进行了研究,主要体现在五个方面:第一,知识产生,主要包括期刊论文、学术会议报告、专著、研究报告等方面的评估;第二,科研能力建设,主要包括科研能力的提升、人才队伍建设、专业培训、团队、平台、数据信息等;第三,政策支撑和产品开发,主要评估研究成果是否为卫生政策的制定和实施起到坚实的支撑作用,以及开发新药物、新的诊疗技术。第四,健康及健康部门的收益,主要包括公众健康水平的提升、医院医疗服务成本的降低、医疗服务的质量提高、健康教育与健康促进等方面的效果。第五,更广泛的经济和社会收益:主要包括科研成果的商业化、劳动力增加带来的经济和社会效益等。

3结语

医学科技计划的产出和成效与公众健康状况和生活质量具有极强的关联性,要接受政府和公众对其问责。本文运用“逻辑模型”和“回报模型”相结合的方式设计绩效评估综合框架体系,突出评估关键环节和举证的评估策略,对于我国医学科技工作的评估工作有着深远的影响。值得说明的是,本文设计的医学科技计划框架是一个综合评估框架,涉及不同的医学科技计划研究类型、不同的疾病领域、而且还包括预防、诊断、治疗和康复等不同疾病治疗阶段。因此,如果采取指标评估方法,不同研究类型、不同疾病领域和不同研究阶段研究成效衡量指标不同,指标设计繁多而复杂,难于统一和量化。所以按照国内外科技计划评估的趋势,本研究采取了淡化评估指标,突出评估关键问题和举证的评估策略。而且,本文提出的政府医学科技计划绩效评估体系,是基于整个国家医学科技工作的战略提出的,因此,在针对具体地方或领域医学科技计划进行绩效评估时,应该根据具体的评估目的和具体计划的战略目标,有侧重的在本研究构建的绩效评估体系中选择重点评估议题。

作者:白波 王艳芳 单位:北京城市系统工程研究中心

期刊汇频道 树人论文网期刊汇频道
树人论文网是正规的发表支持服务网站.主要从事国内外期刊论文、国内外教著学术支持服务。
  • 27973 文章总数
  • 16855论文总数
  • 11121期刊总数