Ⅱ3-5 アウトカム評価とフィデリティ評価・効果的援助要素の関連性の検証、評価結果の活用

概要

効果的プログラムモデル形成・発展させるためには、プログラム評価の2つの要素、すなわりプログラムゴール・プログラムアウトカムと、効果的プログラム要素・プログラムプロセスの双方に焦点を当て、それぞれの相互関連の中から、エビデンスにもとづく有効な効果的プログラムモデルを構築するための知識を生成する必要がある。

CD-TEP法では、福祉実践プログラムの効果を適切に把握するためのアウトカム評価尺度・指標を用意するとともに、実践現場の創意・工夫、実践的努力の反映するチェックボックス形式を用いた効果的援助要素リストと、それを尺度化したフィデリティ尺度を用いて、プログラムゴール・アウトカムと効果的プログラム要素・プログラムプロセスの関連を実証的に明らかにし、科学的根拠を構築することをめざしている。
両者の関係を明らかにするために、「多施設共同・効果モデル試行評価調査」と「効果的援助要素の全国事業所実施状況調査」、「アウトカムモニタリング評価調査」を用いることを推奨している。
これらの実証的検討に基づいて、より効果的な「Ⅱ2-2. 効果的援助要素リスト」が形成され、それに基づいて、より有効な「Ⅱ2-2. 効果的プログラムモデルの実施マニュアル」が構築されることが期待される。同時に、より有効性の高い「プロセス理論(サービス利用計画)」「プロセス理論(組織計画)」に反映され、より効果的なプログラムモデルに発展させるために役立てられる。
これらの関連は、図Ⅱ3-5-1の「アウトカム評価とフィデリティ評価・効果的援助要素の関連性の検証、評価結果の活用」の課題処理フローチャートを示した。
また、アウトカム評価とフィデリティ評価・効果的援助要素の関連性の検証、評価結果の活用の実施手順は、図Ⅱ3-5-2に示した。


【図Ⅱ3-5-1、および図Ⅱ3-5-2】

1)インプット

①多施設共同・効果モデル試行評価調査の実施

1. 多施設共同・効果モデル試行評価調査の目的と意義

  • 第2次プログラム理論[or 暫定最終版]や、それに基づく第2次[or 暫定最終版]効果的援助要素リスト、実施マニュアル、フィデリティ尺度を構築するために、第1次プログラム理論、効果的援助要素リスト、実施マニュアル、フィデリティ尺度に準拠して行われる量的評価調査。
  • この評価調査の分析結果・エビデンスに基づいて、第2次[or 暫定最終版]プログラム理論などが構築されることが期待される。
  • 効果的な効果的プログラムモデル形成のための重要な評価調査である。

2. 参加事業所と評価調査で使用する評価デザイン

  • 基本的には研究枠組みで実施し、効果的プログラムモデルを構築することに意欲を持つプログラム実施事業の参加を全国的に募って実施。
  • 15施設~30施設程度を対象に実施。
  • 各プログラム実施事業所における効果的援助要素の実施状況をフィデリティ尺度で測定し、フィデリティ項目の高い実施状況が、プログラムゴールに関わるアウトカム指標の改善に貢献していることを検証する。
  • 「Ⅱ3-2. アウトカム評価調査の実施とその評価結果の活用(23-2-01)」の「効果的プログラムモデル試行評価調査(23-2-11)」と並行して実施できるが、そこで使用する評価デザインであるRCTや準実験法、その他と独立して分析する。多施設共同実施が前提にはなる。

②効果的援助要素の全国事業所実施状況調査の実施

1. 効果的援助要素の全国事業所実施状況調査の目的と意義

これまで検討して来た効果的プログラムモデル、およびその効果的援助要素の全国での(あるいは広域での)実施状況を明らかにする。それとともに、効果的プログラムモデルおよび効果的援助要素の実施に関わる社会的背景にどのような要因が関わっているのか、プログラムモデルの実施状況とアウトカムにはどのような関連があるのかについての検討する。プログラムモデルや効果的援助要素の改善を検討し、効果的プログラムモデルの将来的な実施・普及のための資料として活用することが期待できる。

2. 対象事業所の選定、対象事業所リストの入手

全国、あるいは地域ブロック(関東、東北、近畿など)、都道府県など広域地域において、対象となる実践プログラムに取り組む事業所を対象に評価調査を実施する。対象事業所数が多い場合は無作為サンプルを抽出しても良いが、可能な限り全数調査を実施する。
すでに制度化されて取り組まれているプログラムについては、全国の事業担当主管課等、都道府県に加えて、実施状況に応じて事業実施自治体の担当部署から管轄する事業所情報をリスト等の形で入手して対象事業所とする。これらのリスト入手が困難な場合は、ウェブ上で公開されているリストを使用したり、プログラム関係団体が発行する事業所名簿を参照する。

3. 使用する調査票、評価尺度、アウトカム指標

効果的援助要素を把握するフィデリティ評価尺度としては、「全国調査用簡便版フィデリティ評価尺度」(23-3-22)を使用する。これは、事業所の担当者によって評価できる簡便なフィデリティ評価尺度である。
この他、効果的援助要素の実施に関わる社会的背景に関するな要因、成果(アウトカム)に関する指標、効果的プログラムモデルの理念や事業所内での位置づけに関わる項目などを把握する施設票を用いる。施設票には、プログラム実施年度、プログラム対象者数、プログラム試行後の実績(数)などの事業所実績、数値目標や関係機関との連携、「効果的援助要素」のうち優先しておこなわれている項目や実践に取り入れることが困難と感じる項目などの事業所の実情を把握する項目が含まれる。施設票はできるだけ簡便に、可能であれば2頁程度に留めるように配慮する。
【評価尺度サンプル提示、(S23-008)】

4. 回収率向上のための配慮、工夫

未回収数が多い場合には、ハガキ等を用い、次の段階では同領域、先行した報告書などを同封するなどし、評価調査がどのような改善につながるのかを理解いただく。督促の最終段階では電話連絡を取るなどし、必要に応じては聞き取りの形で実施する。
また、調査票に自由記述欄を設けることにより、フィデリティ尺度得点が低い事業所であったとしても実践の工夫や配慮についての記載ができることで回答が得られやすくなる。

5. 分析結果のフィードバック

調査で得られた結果については、報告書等を用いて回答のあった事業所へフィードバックし(23-5-31、23-5-32)、事業所の概要、効果的援助要素の実施状況と事業所属性等、また、事業所属性ごとのフィデリティ尺度得点とアウトカムの関連が相関分析結果によって示され、プログラムモデルを実践に導入する際の課題や可能性についても提示する。

③モニタリング評価調査の実施

1. モニタリング評価調査の目的と意義

これまで検討して来た効果的プログラムモデル、およびその効果的援助要素が、実践現場のレベルで取り組み可能なものであるか、そして効果的援助要素を取り入れた実践が、成果(アウトカム)に結び付くものであるのか、効果的プログラムモデルの構築に関心をもつ事業所の参加を得て、時系列的に実施状況を確認しながら明らかにする。その結果、プログラムモデルや効果的援助要素の改善を検討したり、プログラムモデルの将来的な普及のための資料として活用することが期待できる。

2. 対象事業所の選定

効果的プログラムモデルの構築に関わるはプログラム評価研究の一環として、当該の実践プログラムを、事業所の事業内容に取り入れることに賛同する事業所を公募の形で集めて実施する。プログラム評価研究によって構築されたプログラムモデルに関心をもち、研修会に参加した上で1年間の試行的介入実践と数回の評価調査に協力の意向を表明した15~30事業所を対象として選定する。

3. 使用するフィデリティ尺度、アウトカムモニタリング評価用具、他の評価用具

使用するフィデリティ尺度は、「効果的プログラムモデル・フィデリティ尺度および改訂版の作成とその活用計画」(23-3-31)に示した、第三者評価用フィデリティ尺度と自己評価フィデリティ尺度である。
一方、使用するアウトカムモニタリング評価用具は、「アウトカムモニタリング評価調査で使用するアウトカム尺度・指標とその活用計画」(23-1-32)に示した。
アウトカムモニタリング評価調査の用具は、「プログラム実施事業所用」と「プログラム利用者用」に分けられ、事業所への訪問、担当者や関係スタッフへの聞き取り、記録の閲覧などによって実施する。

4. 実施上の配慮点

それぞれのプログラムゴールに関わる5~10の簡便なアウトカム指標を設定し、各指標について毎月(もしくは数か月)測定をおこない。測定期間は1年以上とする。プログラム実施事業所の効果的援助要素の実施状況をフィデリティ尺度で測定し、フィデリティ尺度得点が高いこと、すなわちプログラム評価研究によって構築されたプログラムモデルに近いことがプログラムゴールに関わるアウトカム指標の高い評価結果に関連することを検証する。
訪問時の聞き取りや調査票の自由記述欄において事業所で行われている実践の工夫や配慮についての情報を得られるように留意する。

5. 実施結果のフィードバック

評価調査で得られた結果については報告書をまとめ、参加事業所へのフィードバックする(23-5-31、23-5-32)。各事業所から報告のある、モニタリング評価調査時の事業所からの報告には、事業所の創意・工夫により成果に結びついた取り組み、効果的援助要素の取り組みを十分に実施したにも関わらず成果に結びつかない事例などは取りまとめて報告書に反映する。このような実践現場からのフィードバックに基づいて、より効果に結びつくプログラムモデルや、効果的援助要素が抽出されることが期待される。

④アウトカム評価調査で使用する尺度・指標

本課題プロセス、1) インプット「①多施設共同・効果モデル試行評価調査の実施(23-5-11)」のアウトカム評価で使用する尺度・指標の選定は、「Ⅱ3-1. アウトカム評価尺度・指標の設定と活用計画」の「①アウトカム評価調査で使用するアウトカム尺度・指標とその活用計画(23-1-31)」にその基本的な設定方法を示した。

⑤アウトカムモニタリングで使用するアウトカム尺度・指標

本課題プロセス、1) インプット「③アウトカムモニタリング評価調査の実施(23-5-13)」のアウトカム評価で使用する尺度・指標の選定は、「②アウトカムモニタリング評価調査で使用するアウトカム尺度・指標とその活用計画(23-1-32)」にその基本的な設定方法を示した。

⑥効果的プログラムモデルのフィデリティ評価調査

効果的プログラムモデルのフィデリティ尺度については、「Ⅱ3-3. 効果的プログラムモデルのフィデリティ尺度作成と活用計画(23-1-01)」の「効果的プログラムモデル・フィデリティ尺度および改訂版の作成とその活用計画(23-3-31)」に示した。また、フィデリティ評価調査の実施方法については、「Ⅱ3-4. フィデリティ評価調査の実施と評価結果の活用(23-4-01)」の「効果的プログラムモデルのフィデリティ評価調査(23-4-11)」に示した。

⑦自己評価によるフィデリティモニタリング評価調査

自己評価によるフィデリティ尺度については、「Ⅱ3-3. 効果的プログラムモデルのフィデリティ尺度作成と活用計画(23-1-01)」の「効果的プログラムモデル・フィデリティ尺度および改訂版の作成とその活用計画(23-3-31)」に示した。また、フィデリティ評価調査の実施方法については、「Ⅱ3-4. フィデリティ評価調査の実施と評価結果の活用(23-4-01)」の「自己評価によるフィデリティモニタリング評価調査(23-4-13)」に示した。

⑧効果的プログラムモデルの実施マニュアル、スタッフ研修会の実施

本課題プロセス・1) インプット「①多施設共同・効果モデル試行評価調査(23-5-11)」におけるプログラム評価調査を適切に行うためには、想定したプログラム理論に基づき、効果的援助要素を盛り込んだ適切なプログラム運営を行った上で、アウトカム評価とプロセス評価を行う必要がある。効果的プログラムモデルの実施マニュアルについては、「Ⅱ2-2. 効果的プログラムモデルの実施マニュアルの作成(22-2-01)」に示した。実施マニュアルの必要性は、アウトカム評価調査を、多施設共同研究で行う場合に特に高まる。
実施マニュアルを適切に理解し、実施マニュアルに沿ってプログラムを実施するために、実施マニュアルをテキストにスタッフ研修会を行う。スタッフ研修会は、通常1日、半日、あるいは1泊2日で行う。
スタッフ研修会の中では、プログラムに参加するプログラム関係実践家との意見交換グループが、実践現場との貴重な情報交流の機会になる。スタッフ研修会を含めたフォーカスグループ、意見交換会の実施は、本課題プロセス「2) 検討方法、①プログラム関係実践家・利用者とのフォーカスグループ、意見交換会(23-2-21)」に示した。

2)検討方法

①多施設共同・効果モデル試行評価調査の分析

1. 分析の方針

多施設共同で効果モデルを試行した場合,単一施設で実施した場合(23-2-22)と同様に,分析の焦点は「効果モデルに沿ったプログラムではより良い効果が得られる」ことの検証に当てられる。多施設共同による効果モデルの試行は,モデルの外的妥当性を検討することが目的に加わるため,単一施設の場合に加えて,複数の施設で狙いとした効果が得られること,得られない場合の背景要因を明らかにし,モデルの汎用可能性および普及可能性を検討することが,分析の焦点となる。
ここでは,施設間で効果の現れ方に違いが生じた場合,その違いがどのように生じたのかを,施設間の試行開始前のアウトカム指標の違い,施設特性の違い,取り組み状況の違いの3点に主に焦点を当てて分析する。これらを,効果モデルを試行していない「対照群」が設定されている場合と,全ての対象施設で効果モデルを試行した場合に区別して,分析の進め方について概説する。

a. ケース研究:対象となるすべての施設で効果モデルを試行した場合

○アウトカム指標に影響する特性を明らかにする。

  • アウトカム指標のなかには,施設やスタッフ,利用者の特性による影響を受けるものが含まれている可能性がある。そして,その特性は効果モデルを試行した施設の間で異なるかもしれない(例:あるアウトカム指標は利用者の年齢の影響を受け,効果モデルを試行した施設間で利用者の平均年齢に差が認められる)。
  • そこで,試行開始前のアウトカム指標得点と施設,スタッフ,利用者の属性との関連の有無を明らかにし,関連のある特性の施設間の差の有無を明らかにする分析を行う。

<検討する特性の例>

  • 施設特性:運営母体,設立年,他の運営事業,スタッフ数など
  • スタッフ特性:年齢,職種,勤務形態(常勤・非常勤)など
  • 利用者特性:年齢,障害種別,発症年齢など

<分析の方法>
★t検定,分散分析,相関分析,カイ二乗検定

○施設の取り組み状況を明らかにする

  • 効果モデルを試行するよう各施設に求めても,施設によって効果モデルの実施状況は異なる可能性がある。
  • そこで,試行期間中の各施設の効果モデルの実施状況をフィデリティ尺度によって測定し,フィデリティ尺度得点のバラつきを明らかにする分析を行う。

<分析の方法>
★全体のフィデリティ得点の記述統計
:平均値,標準偏差,中央値,パーセンタイル順位など
★フィデリティ得点にバラつきが認められる場合の群分け
:平均値や中央値,基準となる得点(4点以上/未満等)で2~3群(高[中]低群など)に分け,各群のフィデリティ得点の記述統計を算出する。

○上記2つで明らかにした,効果モデルの実施状況とアウトカムに関連する特性を考慮し,効果モデル試行によるアウトカム指標の変化,差を検討する。

<分析の方法>
★共分散分析

  • 従属変数:効果モデル試行後のアウトカム指標
  • 独立変数:フィデリティ得点群
  • 共変量:効果モデル試行前のアウトカム指標,アウトカムと関連する特性

※フィデリティ尺度得点で群分けができるほど十分な施設数が確保できなかった場合は,試行前後のアウトカム指標得点の差とフィデリティ尺度得点との間の相関分析によって,検討する。
※アウトカムに関連する効果的援助要素を同定するために,領域や効果的援助要素ごとのフィデリティ得点と試行前後のアウトカム指標得点の差との間の相関分析を行うこともできる。さらに,十分な施設数が確保できる場合,重回帰分析やロジスティック分析によってアウトカムに影響する効果的援助要素を絞り込むこともできるが,多重共線性の問題が生じる可能性が高いので,留意が必要である。

b. 比較対照試験:効果モデルを試行しない施設(対照群)を設定し,対照群の施設でもアウトカムを測定している場合。

1) 効果モデルの実施(介入群)と対照群との間で試行後のアウトカム指標得点を比較する

<分析の方法>
★共分散分析

  • 従属変数:効果モデル試行後のアウトカム指標
  • 独立変数:介入群/対照群
  • 共変量:効果モデル試行前のアウトカム指標

※十分な数の施設を対象に効果モデル実施施設(介入群)と対照群に無作為に割り付けた場合(無作為化比較試験[RCT]),理論上は,施設・スタッフ・利用者特性は介入群と対照群の間で均質化され,両群間の諸特性の平均は同じである(有意な差は認められない)ことが仮定される。しかし,福祉実践の場合には十分な数の施設数(200施設程度)を無作為に割り付けることが現実的に困難なことが多く,また,多くの施設を確保できた場合でも,諸特性が均質化されない可能性がある。そこで,RCTデザインを用いた場合でも,コホート研究で記載したように,アウトカム指標と関連する諸特性および介入群と対照群との間で諸特性の均質性を検討し,該当する諸特性が存在する場合は,それらを共変量に組み込んだ共分散分析を行うことが推奨される。

○介入群のみに対して,「a. ケース研究」で記載した方法によってフィデリティ尺度得点で分割した各群の間で,試行後のアウトカム指標得点を比較する。

<分析の方法>
★共分散分析

  • 従属変数:効果モデル試行後のアウトカム指標
  • 独立変数:フィデリティ得点群
  • 共変量:効果モデル試行前のアウトカム指標,アウトカムと関連する特性

○介入群を「a. ケース研究」で記載した方法によってフィデリティ尺度得点で分割した各群と対照群との間で,試行後のアウトカム指標得点を比較する。
(例えば,介入群の高実施群/介入群の低実施群/対照群の3群の間で比較)
→ 比較的多くの施設数が確保されていること(各群10施設以上を目安)が望ましいが,効果モデル実施・非実施だけではなく,効果モデルの実施の程度も加味したアウトカム達成の違いを検証することができる。

a. 共分散分析

  • 従属変数:効果モデル試行後のアウトカム指標
  • 独立変数:介入群/対照群
  • 共変量:効果モデル試行前のアウトカム指標

※十分な数の施設を対象に効果モデル実施施設(介入群)と対照群に無作為に割り付けた場合(無作為化比較試験[RCT])、理論上は、施設・スタッフ・利用者特性は介入群と対照群の間で均質化され、両群間の諸特性の平均は同じである(有意な差は認められない)ことが仮定される。しかし、福祉実践の場合には十分な数の施設数(200施設程度)を無作為に割り付けることが現実的に困難なことが多く、また、多くの施設を確保できた場合でも、諸特性が均質化されない可能性がある。そこで、RCTデザインを用いた場合でも、コホート研究で記載したように、アウトカム指標と関連する諸特性および介入群と対照群との間で諸特性の均質性を検討し、該当する諸特性が存在する場合は、それらを共変量に組み込んだ共分散分析を行うことが推奨される。

2) 介入群のみに対して、「a. ケース研究」で記載した方法によってフィデリティ尺度得点で分割した各群の間で、試行後のアウトカム指標得点を比較する。

<分析の方法>
a. 共分散分析

  • 従属変数:効果モデル試行後のアウトカム指標
  • 独立変数:フィデリティ得点群
  • 共変量:効果モデル試行前のアウトカム指標、アウトカムと関連する特性

2. 介入群を「a. ケース研究」で記載した方法によってフィデリティ尺度得点で分割した各群と対照群との間で、試行後のアウトカム指標得点を比較する。

(例えば、介入群の高実施群/介入群の低実施群/対照群の3群の間で比較)
→ 比較的多くの施設数が確保されていること(各群10施設以上を目安)が望ましいが、効果モデル実施・非実施だけではなく、効果モデルの実施の程度も加味したアウトカム達成の違いを検証することができる。

<分析の方法>
a. 共分散分析

  • 従属変数:効果モデル試行後のアウトカム指標
  • 独立変数:介入群のフィデリティ得点別の各群/対照群
  • 共変量:効果モデル試行前のアウトカム指標

3. 事例表を用いた事例分析

多施設共同の効果モデルの効果モデル試行評価調査に参加した15~30事業所の事例表を作成し、効果的援助要素の実施状況とアウトカム指標の状況を対比させながら分析する。
事業所属性によって、効果的援助要素とアウトカム指標の相関・関連が直線的でない場合のグループ別分析や、新たな効果的援助要素の抽出などという探索的な関係性の発見に有効である。

②効果的援助要素の全国事業所実施状況調査の分析

1. 分析の方針

全国事業所を対象とした効果的援助要素の実施状況の調査結果は、作成した効果的援助要素の全国的な実施状況を整理すること、効果的援助要素の促進・阻害要因を検討すること、成果と効果的援助要素との関連を検討することを主な焦点として分析を行う。

2. 全国的な実施状況の整理

  • 効果的援助要素の実施状況を、自記式フィデリティ尺度(S23-0006?)の尺度全体、領域、および項目ごとに、平均値・標準偏差、得点分布を算出する。
  • 領域、項目ごとの平均値は、それぞれレーダーチャートグラフ等の形で、視覚的に実施状況が把握しやすいように示す。
  • 平均得点が高い領域・項目、低い領域・項目を記述する。

※平均得点の高低の基準は任意だが、4段階評価の場合は3点以上(高い)/2点以下(低い)、5段階評価の場合は4点以上(高い)/2点以下(低い)の基準はひとつの目安となる。
※全国事業所調査で用いる自記式フィデリティ尺度(S23-0006?)は、効果モデル試行施設のフィデリティ尺度(23-3-31)とは得点が表す取り組み状況は必ずしも一致しないので、両者の絶対値の比較は慎重に行う必要がある。ただし、領域間あるいは項目間の得点の高低といった相対的な状況は、両者を比較することで、有用な情報が得られる可能性がある。

【例示】
ア)効果モデル試行全施設の平均得点 :A領域=4点、B領域=2点
イ)全国事業所実施状況調査の平均得点:A領域=3点、B領域=1点

→ ア)とイ)で用いたフィデリティ尺度が異なるので、効果モデル試行施設が全国事業所よりも実施度が高いと解釈するのは慎重になる必要がある。
他方、ア)もイ)でも、B領域よりもA領域の方が平均得点が2点高いことから、B領域の効果的援助要素はA領域よりも実施度が低く、この傾向は、効果モデル試行施設だけではなく、全国の事業所でも共通した特徴として解釈することができるかもしれない。

3. 効果的援助要素の促進・阻害要因の検討

主に施設特性と自記式フィデリティ尺度(S23-0006?)の得点との関連を検討する。
自記式フィデリティ尺度の尺度全体得点、領域得点、および項目得点の順にそれぞれ関連を検討することで、効果的援助要素の実施を促進・阻害する施設特性が検討できる。

※施設特性の例として、運営母体、スタッフ数、勤務形態別スタッフ数、職種別スタッフ数、当該プログラム以外の実施事業の種類・数、事業実施目標の種類などがあげられる。
※分析は、施設特性の変数属性によって、フィデリティ尺度の得点との相関分析、またはカテゴリー間での差の検定(t検定、分散分析など)を用いる。
※予備的な検討となるが、フィデリティ尺度の得点が高い(低い)施設が有する特性は、実施の促進(阻害)要因である可能性が示唆される。
※検定が多く用いられることによって第1種の過誤率(タイプⅠエラー)が大きくなるため、ボンフェローニ(Bonferroni)の修正を行う等の工夫や、結果の解釈には留意が必要となることが多い。

4. 成果(アウトカム)と効果的援助要素との関連の検討

主には客観的アウトカムに位置付けている指標の過去の実績(成果)を聴取している場合、過去の実績とフィデリティ尺度の得点との関連を検討する。これによって、大規模なサンプルからアウトカムに影響する可能性を有する効果的援助要素を“予備的に”示すことができる。

③モニタリング評価調査における差異分析、バリアンス分析

④研究者間のフォーカスグループ、検討会

本課題プロセス・1) インプットに示した、①~⑧を総合的に検討し、かつ2) 検討方法の①~③を踏まえて、プロジェクト研究班事務局が中心となって、それぞれの評価調査結果を分析して、その結果を報告書案にまとめる。フィードバックする方法を検討する。評価結果のフィードバックを行う際には、フィデリティモニタリング評価調査に何を望んでいるのかを明らかにするとともに、2) 検討方法の「⑤組織的キャパシティ分析」の結果も踏まえて、現実的で改善可能な問題提起と提案(案)を作成する。

⑤プログラム関係実践家・利用者とのフォーカスグループ、意見交換会

研究者間のフォーカスグループ、検討会でまとめられた評価調査の分析結果と、その分析結果を踏まえたプログラム理論、効果的援助要素リスト、実施マニュアル、フィデリティ尺度の改訂に対する提言案を、プログラム関係実践家、利用者、家族、行政関係者などの利害関係者に集まって頂き、グループ討論を行って内容を検討する。
報告書の事務局たたき台案において、課題となる点が明確な場合は研究者間でフォーカスグループを開催する。課題があいまいな場合はブレーンストーミング的なグループ発想技法を用いても良い。

3)アウトプット

①多施設共同・効果モデル試行評価調査報告書

1. 報告書作成の目的

多施設共同・効果モデル試行評価調査の結果は、できるだけ早期に報告書にまとめる。この報告書は、効果モデルの効果的援助要素の実施が、狙いとしたアウトカムの達成に十分機能しているかを説明するために作成され、効果的プログラムモデルの実践現場への移転、実施・普及モデルの作成(31-1-01)において活用される。

2. 想定される読者対象

ここで作成する報告書の想定される読者対象は、効果的プログラムモデルの実践現場への移転、実施・普及モデルの作成に関わる人たちであり、主に研究者、実践家となる。また、当該試行評価調査が資金助成・補助を受けて行われた場合、その助成元が対象となる。
とくに前者の場合は、試行した効果モデルが狙いとしたアウトカムを達成するために十分機能しているか、アウトカム達成を促進・阻害する諸特性を踏まえた効果モデルの追加・修正、あるいは、効果モデルを実施・普及する際の配慮・工夫点などを検討する際の資料として活用されることが期待される。

3. 報告書の構成と記載上の留意点

ここで作成する報告書には、以下の項目を含むことが推奨される。

a. 試行評価調査の意義・目的

  • 扱うプログラムが対象とする社会問題のニーズの状況、標的集団など、現状の概要((11-1-31)(11-1-32)を活用)。
  • 効果モデル作成の過程の概要((21-1-31)(21-2-31)(21-3-31)(22-1-31)を活用)
  • 効果モデルのプロセス(フィデリティ)とアウトカムの関連を検証する目的であること
  • 検証結果によって、効果モデルがアウトカム達成に果たす役割、アウトカム達成のために必要な効果モデルの修正点を明らかにすることができる意義を有すること。

b. 試行評価調査の方法

  • デザイン:ケース研究、ケース・コントロール研究の別
  • 対象:効果モデル試行の主体およびアウトカム評価の対象の特徴
  • 尺度:使用したアウトカム指標(23-1-31)、フィデリティ尺度(23-3-31)の概要(尺度内容と評価方法、心理測定学的特性[信頼性・妥当性]など)
  • 試行(介入)期間:効果モデルを試行した期間および評価時点
  • 分析方法:用いた分析手法(従属変数、独立変数、共変量)

c. 試行評価調査の結果

  • 記述統計:対象の属性等、尺度の対象全体および群別の平均値・標準偏差など
  • 推測統計:統計解析の結果(共分散分析、相関分析)

d. 考察

  • 共分散分析の結果の概要:効果モデルの実施程度が狙いとしたアウトカム達成にどの程度関連していたか。
  • 相関分析の結果の概要:狙いとしたアウトカム達成に関連した効果モデルの下位要素(領域、効果的援助要素項目)
  • フィデリティとアウトカムとの間に十分な関連が認められた場合、その妥当性の解釈。
  • フィデリティとアウトカムとの間に十分な関連が認められなかった場合、その原因や解決の可能性に関する考察。

4. 効果的プログラムモデル構築への示唆

この評価調査によって明らかになった、狙いとするアウトカムの達成に良い影響をもたらす効果的援助要素の分析から、効果的プログラムモデルの構築・再構築について得られた知見を提示する。

②効果的援助要素の全国事業所実施状況調査報告書

1. 報告書作成の目的

全国事業所実施状況調査の結果は、できるだけ早期に報告書にまとめる。この報告書は、効果モデルの効果的援助要素が、現時点で全国的にどのような実施状況にあるのか、効果モデル試行施設が全国の状況と比べてどのような位置づけにあるのかを明確にすることに加え、全国で実施する際に課題となる点を明確にしたり、アウトカムと関連する効果的援助要素を大規模なサンプルから予備的に明らかにすることが目的となる。
作成された報告書は、効果モデルの再検討(21-2-01)(21-3-01)や、効果的プログラムモデルの実施・普及、制度化の段階(31-1-01)で活用される。

2. 想定される読者対象

ここで作成する報告書の想定される読者対象は、効果的プログラムモデルの実践現場への移転、実施・普及モデルの作成に関わる人たちであり、主に研究者、実践家となる。また、当該試行評価調査が資金助成・補助を受けて行われた場合、その助成元が対象となる。
さらに、制度化のための取り組みに関与する行政関係者も想定される読者となり得るため、全国の状況について、到達度・普及状況と課題を明確に記述することが求められる。

3. 報告書の構成と記載上の留意点

ここで作成する報告書には、以下の項目を含むことが推奨される。

a. 全国事業所実施状況調査の意義・目的

・扱うプログラムが対象とする社会問題のニーズの状況、標的集団など、現状の概要((11-1-31)(11-1-32)を活用)。
・効果モデル作成の過程の概要((21-1-31)(21-2-31)(21-3-31)(22-1-31)を活用)
・効果モデルの全国での実施・普及状況および実施に関連する施設特性等を明らかにする目的であること。
・実施状況把握によって、効果モデルの普及の必要性および普及の促進・障壁要因を明らかにすることができ、普及の課題克服のための有用な資料となる意義を有すること。

b. 全国事業所実施状況調査の方法

・対象:効果モデル試行の主体およびアウトカム評価の対象の特徴
・調査票:使用したフィデリティ尺度および施設票(23-5-12)の概要
・調査時期:実施状況調査を実施した時期および取り組みの評価対象時期
・分析方法:用いた分析手法

c. 全国事業所実施状況調査の結果

・記述統計:対象事業所の特性、フィデリティ尺度の合計・領域・項目ごとの平均値・標準偏差など
・推測統計:フィデリティ尺度得点と施設得点との関連分析の結果、実績とフィデリティ尺度得点との関連分析の結果

d. 考察

・記述統計結果:
全国における効果モデルの実施度の高い/低い領域および項目に関する考察
・施設特性との関連分析結果:
フィデリティ尺度得点と関連する施設特性に関する考察。
– フィデリティ得点を高めるために、変容可能な施設特性であるか。
– 当該特性を有する施設がフィデリティ得点を高めるために必要な配慮・工夫点。
– 当該特性を有する施設でも実施可能な効果モデルへの改訂の可能性・提言。
・成果と効果的援助要素実施状況の関連分析結果:
フィデリティと成果との間に十分な関連が認められた場合、その妥当性の解釈。

4. 効果的プログラムモデル構築への示唆

この評価調査によって明らかになった、狙いとするアウトカムの達成に良い影響をもたらす効果的援助要素の分析から、効果的プログラムモデルの構築・再構築について得られた知見を提示する。

③モニタリング評価調査分析報告書

1. モニタリング評価調査分析報告書の目的

効果的プログラムモデル、効果的援助要素の実施が、プログラムゴールの実現に貢献し、適切なアウトカム(成果)をあげているのかを、実践レベルで検証することがこの報告書の目的である。プログラムゴールとなるアウトカム指標と効果的援助要素の関連性の日常的な実践的検証の結果、効果的プログラムモデル構築・再構築に貢献することを目ざしている。

2. 報告書に盛り込むべき内容、構成

報告書には、プログラム実施事業所が1~3ヶ月おきに定期的に実施して来た自己評価フィデリティ評価モニタリング(23-4-33)、およびアウトカムモニタリング(23-2-13)の結果をまとめるとともに、年間数回にわたり評価者が評価訪問をして実施した、第三者によるフィデリティ評価結果も同時に整理する。自己評価と第三者評価で把握された効果的援助要素の実施状況を、プログラムゴールとなるアウトカム指標との関連から日常的に検証した結果が、プログラム評価研究参加事業所ごとにまとめられる。
各事業所ごとに検証された、アウトカム(成果)に結びついた実践現場の創意・工夫、実践的配慮や努力、実践的な気付きなどが報告される。また、差異分析、バリアンス分析の結果からアウトカム(成果)に結びつきにくい効果的援助要素やその他の取り組みについても整理して示される。最後に、効果的プログラムモデル構築・再構築への示唆がまとめられる。
報告書は、プログラム評価研究参加事業所ごとにまとめられる場合と、評価研究参加事業全体をまとめて報告する場合がある。

報告書に盛り込む具体的な内容としては、以下の項目を含める。
a) モニタリング評価調査の趣旨と目的
b) (事業所ごとの)自己評価フィデリティ評価モニタリング結果、第三者モニタリング結果の推移
c) (事業所ごとの)アウトカムモニタリング結果の推移
d) 成果に結びつく実践現場の創意・工夫、実践的配慮や努力、実践的な気付きのまとめ
e) 差異分析、バリアンス分析の結果
f) 今後の課題と改善への示唆

3. 報告書作成時の留意点

成果に結びつく実践現場の創意・工夫、実践的配慮や努力、実践的な気付きのまとめ、および差異分析、バリアンス分析の結果は、プログラム評価研究参加事業所ごとの取り組みの成果をまとめる。日常的なアウトカム指標と効果的援助要素の関連性の検討・検証結果は、メーリングリストやウェブ上などで、プログラム評価研究参加事業所間で共有化され、その意味について日常的に意見交換されることが望ましい。また、これらの結果をまとめる際には、関係した事業所関係者に集まって頂き、意見交換の場を経て報告書にまとめることが望ましい。

4. 効果的プログラムモデル構築への示唆

モニタリング評価調査分析によって明らかになった、狙いとするアウトカムの達成に良い影響をもたらす効果的援助要素の分析から、効果的プログラムモデルの構築・再構築について得られた知見を提示する。