Ⅱ3-2 アウトカム評価調査の実施とその評価結果の活用

概要

近年、対人サービスプログラム領域で関心が高まっている科学的根拠（エビデンス）にもとづく実践(EBP)は、エビデンスレベルの高いランダム化比較試験（Randomized Clinical Trial; RCT）やその他の比較による有効性研究（CER）など、アウトカム評価・インパクト（プログラム効果）評価に関わるプログラム評価研究でプログラムの有効性・有用性を明らかにして、実践プログラムの社会的評価を確保することに貢献して来た。福祉実践プログラムにおいても、今後ますます、アウトカムやインパクトに関する評価結果のエビデンスを蓄積し、それを社会に明確に提示することで、福祉実践プログラムの有効性、有用性を社会的に訴えて行くことが求められて来るであろう。

CD-TEP法は、「効果のあがる実践プログラムモデル」の形成・発展をめざしたアプローチである。このため、必ずしもランダム化比較試験など、エビデンスレベルが高く、効果性に関して厳密なアウトカム評価を第一義的に追求するものではない。しかし、効果的なプログラムモデル形成に有効で、かつ可能な限り厳密で、一定レベルのアウトカム評価を実施することが求められている（評価のグッドイナッフ法則）。

この課題プロセスでは、福祉実践プログラムが効果的なものであるかどうかを明らかにするためのアウトカム評価の実施方法、および効果的プログラムモデルを形成する上で重要なアウトカムモニタリング評価調査の実施方法を示すとともに、アウトカム評価の結果の分析、そして評価結果の活用方法について明らかにする。

図Ⅱ3-2-1には、「アウトカム評価調査の実施とその評価結果の活用」の課題処理フローチャートを示した。
「アウトカム評価調査の実施」は、基本的には、「Ⅱ１-1. プログラム理論：インパクト理論」に示すプログラムアウトカムを、アウトカム評価調査によって示すことをめざしている。そのために、「Ⅱ１-1. プログラム理論：インパクト理論」を十分に吟味・検討することが求められる。同時に、評価実施組織において適切にそのアウトカム評価調査が実施できるかどうか、「Ⅱ2-2. 効果的プログラムモデルの実施マニュアル」の検討も不可避である。また、プログラム評価のエビデンスを得るための評価活動には、一定の時間的・人材的・経済的コストが伴うために、評価実施組織の評価実施能力・容量（組織キャパシティ）が問われてくる。これらの条件を総合的に勘案して、適切なアウトカム評価やアウトカムモニタリングを実施するための評価デザインを構築する必要がある。
アウトカム評価調査の実施とその評価結果の活用の実施手順は、図Ⅱ3-2-2に示した。


【図Ⅱ3-2-1、および図Ⅱ3-2-2】

１) インプット

①効果的プログラムモデル試行評価調査の実施

実践プログラムの効果的プログラムモデルが構築されたら、その取り組みが確かに期待する効果（アウトカム）を生み出すものであるかどうかを、科学的なプログラム評価の方法を用いて検証することが必要である。

科学的なアウトカム評価の方法には、エビデンスレベルの高い厳格なランダム化比較試験（RCT）から、RCTや準実験デザインを含む比較による有効性研究（CER)、その他の準実験デザイン、その他の質的・量的記述的アウトカム評価などがある。また、RCT、準実験デザインを含めて多施設共同研究を行い、評価結果の外的妥当性を高め、より現実の実践場面で活用可能な科学的根拠を形成するアプローチ法もある。

エビデンスレベルということでは、多施設共同研究によるRCT、単施設でのRCT、多施設・単施設での準実験デザイン、その他のアプローチ［単純前後比較×施設属性・フィデリティ、アウトカムモニタリング］の順に高い科学的根拠があると考えられている。しかしながら、そのプログラムの発展段階に応じて、あるいは制度化の程度に応じて、取り組むことができる、あるいは取り組まなければいけない評価デザインは異なってくる。また評価調査活動を行うには、大きな時間的・人材的・経済的コストが伴うために、特に実践プログラムの評価の場合は、プログラム実施事業所における実施可能性を考慮に入れて評価デザインを設定せざるを得ないこともある。しかし、プログラム評価が実践現場で受け入れと実施が可能であり、効果的なプログラムモデル形成に有効で、かつ可能な限り厳密で、科学的根拠にもとづく一定レベルのアウトカム評価を実施することは、常に求められている（評価のグッドイナッフ法則）。

科学的根拠にもとづく実践(EBP)プログラムの意義は下記の通りです。

  1. サービスの信頼性が確保される
  2. 保健福祉関係者、サービス利用者、行政関係者の間で実施について合意形成が容易になる
  3. 財源確保の可能性が高まる
  4. 組織的なサポートが得られる可能性が高まる
  5. サービスの安定的提供が可能
  6. 保健福祉サービス提供組織の中で、持続可能性が生まれる

②アウトカム評価調査で使用する尺度･指標

福祉実践プログラムのゴールや目標との関連から、福祉アウトカム尺度・指標の領域は９程度の比較的限られたものに整理される。プログラムゴールに対応させた領域ごとに使用できる客観的、主観的福祉アウトカム尺度・指標の分類を、「Ⅱ3-1. アウトカム評価尺度・指標の設定と活用計画､１) インプット､②福祉実践プログラムが解決を目指すゴール領域の類型（23-1-12）」に示した。また、このゴール領域類型に基づくアウトカム尺度･指標とその活用計画については、「Ⅱ3-1. アウトカム評価尺度・指標の設定と活用計画、３) アウトプット､①アウトカム評価調査で使用するアウトカム尺度･指標とその活用計画（23-1-31）」に提示した。

③アウトカムモニタリング評価調査の実施

アウトカム評価調査の中に、アウトカムモニタリング評価調査を含めてその結果を活用することがある。アウトカムモニタリング実施計画書については、「Ⅱ3-1. アウトカム評価尺度・指標の設定と活用計画、３) アウトプット､②アウトカムモニタリングで使用するアウトカム尺度･指標とその活用計画(23-1-32)」に示した。「効果的プログラムモデル試行評価調査」とは異なり、日常の実践活動として業務の質を高めるために行われるアウトカムモニタリング評価調査は、この実施計画に基づいて、プログラム実施事業所の合意形成の下で実施する。

④効果的プログラムモデルの実施マニュアル、スタッフ研修会の実施

福祉実践プログラムのアウトカム評価を行うためには、想定したプログラム理論に基づき、効果的援助要素を盛り込んだ適切なプログラム運営が行った上で、アウトカムの評価を行う必要がある。効果的プログラムモデルの実施マニュアルについては、「Ⅱ2-2. 効果的プログラムモデルの実施マニュアルの作成(22-2-01)」に示した。実施マニュアルの必要性は、アウトカム評価調査を、多施設共同研究で行う場合に特に高まる。
実施マニュアルを適切に理解し、実施マニュアルに沿ってプログラムを実施するために、実施マニュアルをテキストにスタッフ研修会を行う。スタッフ研修会は、通常１日、半日、あるいは１泊２日で行う。
スタッフ研修会の中では、プログラムに参加するプログラム関係実践家との意見交換グループが、実践現場との貴重な情報交流の機会になる。スタッフ研修会を含めたフォーカスグループ、意見交換会の実施は、本課題プロセス「２) 検討方法､①プログラム関係実践家･利用者とのフォーカスグループ､意見交換会(23-2-21)」に示した。

⑤効果的プログラムモデルのフィデリティ評価調査

前項同様に、アウトカム評価調査の対象となるプログラム実施事業所が、適切なプログラム運営を行うために、プロセスモニタリングの一つであるフィデリティ評価調査を実施する。その具体的な内容は、「Ⅱ3-4. フィデリティ評価調査の実施と評価結果の活用(23-4-01)」に示す。フィデリティ評価調査では、評価担当者が訪問して、プログラム関係実践家と意見交換しながら評価を行う。これは、前項同様に実践現場との情報交流を行う貴重な機会になる。

２) 検討方法

①プログラム関係実践家･利用者とのフォーカスグループ､意見交換会

(1)これまで構築して来た「効果的プログラムモデル」を実践現場に適合させ、(2)アウトカム評価調査を、実践現場の状況に合わせた形で行い、さらに、(3)アウトカム評価調査の結果に適切な意味づけを与えるために、プログラム関係実践家･利用者とのフォーカスグループ､意見交換会は重要な交流の場になる。前々項のスタッフ研修会(23-1-14)や、前項フィデリティ評価調査訪問時の意見交換(23-1-15)は、このような場と位置づけることができる。
「プログラム関係実践家･利用者とのフォーカスグループ､意見交換会」の全般的な運営方法は、「Ⅱ2-1. 効果的援助要素リストの作成、１) インプット、③プログラム関係実践家･利用者とのフォーカスグループ､意見交換会(22-1-13)」などを参照のこと。

②効果的プログラムモデル試行評価調査の分析

③研究者間のフォーカスグループ、検討会

本課題プロセス・１) インプットに示した、①～⑤を総合的に検討し、かつ２) 検討方法の①②を踏まえて、プロジェクト研究班事務局が中心となって、(1)アウトカム評価調査の実施方法と、(2)アウトカム評価調査の結果を分析して、報告書案にまとめる。
(1)アウトカム評価調査の実施方法と、(2)アウトカム評価調査の結果の事務局たたき台案において、課題となる点が明確な場合は研究者間でフォーカスグループを開催する。課題があいまいな場合はブレーンストーミング的なグループ発想技法を用いても良い。

３) アウトプット

①効果的プログラムモデル試行評価調査の報告書