导读
Foreword
参与者反馈（participant feedback）有比我们认为的更大的作用与优势。本文通过就业机会中心和佩斯女子中心两个案例，为我们介绍这两家机构在日常运营实践中如何利用参与者反馈建立更为全面的项目证据、表达对参与者的尊重、快速获得具有可操作性的改进建议。
插图：iStock/Sensvector
与随机对照实验（RCTs）等定量方法相比，参与者反馈（participant feedback）通常被认为是非营利项目评估工作的“软性”部分。组织将用户针对社会产品与服务的反馈更多地视为“意见箱”，而不是衡量有效性的关键指标。与此同时，社会影响力评估领域长期以来一直认为，把参与者视为研究对象的第三方评估是开发可证明项目成果的证据的黄金标准。
然而，几项新的研究旨在向资助者和非营利组织表明，参与者反馈与实际结果之间有实证关联。一些组织通过向直接参与者与社区收集反馈，持续改进项目策略，相关项目的早期评估结果证实，调查问卷、访谈和焦点小组可以做的不仅是提供量化结果、原因和方法的解释，它们还可以突出导致已有结果的因果联系（causal links），更值得注意的是，它们能够提供用以评估未来结果的指标。
▍两个案例研究
作为一家刑事司法组织，就业机会中心（Center for Employment Opportunities, CEO）旨在帮助获得假释的男性和女性获得谋生机会，并提高其工作留任率、降低累犯率，其项目为我们提供了一个很好的例子。在最初的40年里，CEO（成立于20世纪70年代，前身为维拉司法研究所）因达到了成功的“硬性”标准而赢得了社会声誉；该组织的项目参与者数据显示，与未参加项目的前假释人员相比，该组织的项目干预显著减少了获释人员的累犯率。
2016年，与倡导“参与者意见”方法（编者注：英文constituent voice，是一种由Keystone Accountability开发的绩效管理和评估方法，旨在支持解决社会问题的组织能够通过持续改进与其参与者之间关系以增强项目效果。）的大卫·邦布赖特（David Bonbright）会面，并获得共享洞察基金（Fund For Shared Insight）针对“参与者反馈”的资助后，CEO的策略从只收集与参与者有关的数据转向了从参与者处收集数据。获得参与者提供的信息后，CEO与更多外部机构建立了伙伴关系，为项目参与者扩大培训机会，提供OSHA建筑认证和商业驾驶执照。CEO还针对一些项目细节稍作改变，如修订筑路工程队报名表，把“临时参与者”选项调整为“员工”，这样项目参与者会以争取更为长期的工作机会的态度参与面试。
在看到参与者反馈能够有效促进项目改进后，CEO开始在更高级别的决策中要求参与者加入。例如，在2019年邀请完成该项目的人进入全美各地的咨询委员会，在2020年邀请完成项目的人进入理事会。2021年，在共享洞察基金的支持下，CEO开始探索参与者针对项目质量的反馈与达成 “硬性”结果之间的关系，如获得固定工作机会。比如，CEO发现，在项目的前四周中对反馈问卷做出回应的参与者，更有可能在三至六个月后达成项目为其设定的求职和安置目标。给予反馈的行为本身就是结果的预测者。
另一个例子来自佩斯女子中心（Pace Center for Girls, PACE），这是一个成立于1985年的教育与社会服务非营利组织，旨在帮助那些可能受到犯罪行为和不良童年经历影响的年轻女性。该组织通过使用一套基于性别平等、创伤识别、项目参与者自有优势（strength-based）的预防和早期干预实践方案，以改善年轻女性的的自我效能感和沟通技能，以及她们与社区中的同龄人、家庭成员和成年人之间的关系。
在将参与者反馈纳入其评估系统之前，PACE使用了成绩和出勤率等标准数据来帮助年轻女性明确她们的需求，并跟踪她们的情况。但是，尽管这使该组织能够评估项目参与者的学业表现，但这并不能清楚地说明，如参与者与项目之间的关系和参与其中的经历如何支持参与者在某方面发生改变；教师离职会如何影响项目参与者的体验，或者这种影响会如何导致她们的成绩、出勤率和参与程度发生变化。2016年，PACE决定放弃遵照既有的评估方法，专注于建立更全面的项目证据。为了做到这一点，PACE开始收集参与者的反馈，与她们进行面对面访谈，并让她们了解自己提供的信息会引发什么样的变化。
通过问卷调查、焦点小组和参与性行动研究（participatory action research），PACE的参与者开始展现不同群体（按种族、年龄或参与项目的时间长短划分）在该项目中的体验差异。2016年，通过调研和使用Net Promoter评分系统（评估参与者向他人推荐PACE项目的可能性）得出的结果显示，不同种族背景的年轻女性对该项目的体验有差别，对服务的满意度也不同。PACE回应了项目参与者关于加强创伤咨询等服务的建议，并承诺持续倾听。五年后，来自不同种族背景的年轻女性给PACE的反馈几乎都是一样的，表示她们有很大可能会向其他人推荐PACE，并愿意让PACE了解其在项目中最不满意与最满意的体验。
▍混合评估
即使是以大规模样本、实验性或类实验性评估著称的评估机构，也开始采取更为全面的方法，并把反馈法纳入其评估设计。例如，RTI International教育研究、评估与公平中心项目主任詹妮弗·莱尔德（Jennifer Laird）在其负责的评估项目中，通过将参与者反馈与实证研究相结合，以表达对参与者的尊重并快速获得具有可操作性的改进建议。她的工作为寻求获得更公平的项目证据的资助者和非营利组织提供了一个有价值的模式参考。
莱尔德近期使用这种方法对加州的一家社会企业开展了影响力评估。这家社会企业雇佣曾有监禁经历的人在其商店进行培训和工作，然后再协助他们进入竞争激烈的就业市场。希望通过这个项目的评估探索参与者反馈数据是否可以代替随机对照实验中测量项目成果的早期指标，作为无力负担随机对照实验的组织的一种低成本的选择。
莱尔德在更广泛的实证研究中以简单问卷调查的形式引入了反馈数据，然后测试了相关性，看看项目进行到三分之一时，参与者提供的数据是否能够预测其在项目开始18个月后是否能获得工作机会。开展因子分析（factor analysis）后，她发现参与者在项目早期提供的反馈与其完成项目后是否能够获得优质工作机会或继续完成学业之间存在关联。其中两个因素居于榜首。其一，参与者的信心，如果惧怕离开富有支持性的工作环境，他们的表现会更差。其二，参与者与工作人员之间的强联系，有助于其顺利找到工作。(事实上，RTI International的研究结果最终显示，对长期效果最有力的反馈预测因素是参与者感觉到员工对他们的尊重。)
多亏了参与者的早期反馈，这家社会企业不必等到18个月的项目结束，就能做出改进。为了解决信心问题，它邀请过往项目参与者分享自身经历和曾经的恐惧，并解释培训可以如何帮助参与者为未来做好准备。为了加强项目参与者与员工之间的联系，它寻找了提升员工留存率的方法，并支持工作教练与员工之间的密切互动。莱尔德说：“同时进行随机对照实验和收集参与者反馈是完全有价值的。我现在并不认为随机对照实验是黄金标准，因为有些东西是你无法从中了解的。参与式评估真的很重要，你可以将这两者结合起来。”
▍为有效使用反馈提供支持
像CEO和PACE这样的非营利组织，以及像RTI International这样的评估机构都发现，参与者反馈可以为改进服务带来快速的成功，并构建更公平的证据。最为关键的是，它可以帮助组织直观地了解参与者的经历，以及塑造这些经历的项目流程是如何影响结果的；如果完全专注于遵从既有设计和进程监控，他们可能会错失这些洞察。以下是一些可以帮助组织有效利用参与者反馈的实践，以PACE的经验举例说明。
- 将定性和定量反馈相结合，加强证据基础，做出更好的决策。PACE继续收集有关成绩和出勤率的量化数据，但现在它也对年轻女性、家庭和团队成员进行问卷调查和焦点小组访谈，以更为全面地解析数据含义。PACE使用问卷调查数据确定“是什么”，即对参与者产生影响的具体问题；通过焦点小组调研与访谈，加深对“为什么”的理解。例如，调查问卷结果表明，员工投入程度与参与者的正向项目体验之间存在联系，随后的焦点小组研究和访谈结果帮助PACE确定了其工作人员可以采取的具体行动和思维模式，以支持参与者获得积极的项目体验，并调整该组织影响年轻女性行为的方法。最终结果在成绩和出勤率等硬性指标上有所体现。
- 采用系统性的方法理解组织绩效和文化。在整个组织中采用混合评估方法能够看到参与者的项目体验与组织流程和职能之间的模式和关系，如培训或指导。它还可以帮助确定如何加强积极的文化，如开放和透明。PACE把由项目负责团队收集的参与者反馈与员工满意度调研数据相关联，这使其在影响组织文化的决策中能够考虑不同视角。例如，参与者反馈强调了积极和持久的教师关系的重要性，这为项目评估和人力资源薪酬评估提供了参考，进而提高了教师的待遇水平。
- 建立运营策略，包括听取参与者反馈依据反馈采取行动，以便所有决策，包括招聘和技术投入，都能从参与者的意见中受益，并赋能参与者。例如，PACE在其每个办公室都设有青年女性领导委员会，由希望提高领导力和倡导能力的青年女性组成。该委员会提供了一个安全的空间，让她们可以讨论其关心的问题，就PACE项目的干预方法提供反馈，并针对促进青年女性持续参与项目活动的方法提出建议。
▍重视定性反馈
把参与者反馈与项目成果相联系，是社会部门新兴趋势的一部分。在过去的几年里，像共同投资共享洞察基金的10家基金会这样的资助方，已经资助了包括CEO和PACE在内的几家非营利组织开展这方面的研究。此外，关注参与者反馈与公平性的评估机构也如雨后春笋般涌现。例如，We All Count致力于把公平性引入数据科学，Equitable Evaluation Initiative提供了一个调整实践方法的框架，而Project Evident正在帮助非营利组织从其参与者和社会部门领导人提出的问题中获得洞察。
可以肯定的是，任何非营利领域的领导者都必须了解使其组织的干预方案发挥作用的条件。在社区调研、评估方案设计和项目实施的每一步都寻求参与者的意见或建议，是公平地建立证据并采取及时的手段，以预测、帮助和解释项目成果的最佳方式。
莱马里·贝尼特斯（Lymari Benitez）是PACE的项目数据与影响力高级主任，她利用数据支持佛罗里达州和佐治亚州的22个社区里在青少年司法系统中处于高风险的青年女性，以帮助她们改变其人生轨迹。
耶西卡·康赛尔（Yessica Cancel）是PACE的首席运营官，她把PACE的项目转变为可复制的模式，将机构的影响力扩大到整个佛罗里达州、乔治亚州和南卡罗来纳州。规模化战略的关键在于，首先在所有利益相关者之间建立包容性文化，并利用参与者反馈指导PACE从人力资源到服务交付的所有职能。
玛丽·马克思（Mary Marx）是PACE的主席和首席执行官，自该组织1985年成立以来，她带领PACE度过了漫长的成长时期，对4万多名青年女性的生活产生了积极的影响。在过去十年里，PACE还影响了公共系统和政策，使佛罗里达州移交至青少年司法系统的青年女性数量减少了60%以上。
凯蒂·史密斯·密尔韦（Katie Smith Milway）是MilwayPLUS社会影响力顾问公司的创始人和主任，拥有新闻、非营利组织管理、战略咨询和治理相关工作经历。她经常在与自己研究主题有关的会议上发表演讲，担任 Bridgespan Group的高级顾问，并在印第安纳大学礼来家庭慈善学院担任讲师。
本文借鉴了2022年3月反馈实验室峰会（Feedback Labs Summit）上的演讲分享和近期发布的报告《建立社会影响的公平证据》（Building Equitable Evidence of Social Impact）。
来源：《斯坦福社会创新评论》英文网站2022年7月20日
原标题：The Hard Virtues of "Soft" Program Measurement
上一篇：成人最大的自律#高情商沟通
下一篇：反内卷解压神剧，“成人专供”