2. CD-TEPプログラム評価・開発アプローチ法の基本的な視点と枠組み

1) TEP:プログラム理論(T)、科学的根拠(エビデンス)(E)、実践からのインプット(P)

既に述べたように、CD-TEP評価アプローチ法を構成する中核は、プログラム理論(T)と科学的根拠(エビデンス)(E)の活用、実践現場の創意・工夫のインプット(P)の、「円環的対話」による効果的プログラムモデル形成への継続的反映である。以下に、CD-TEP評価アプローチ法で活用する、プログラム理論(T)と科学的根拠(エビデンス)(E)、実践現場からのインプット(P)について整理しておきたい。

a. プログラム理論(T)の活用

プログラム理論とは、社会プログラムがどのように効果をもたらすのか、どのような要素が効果に影響するのかに対して明確な見通しを与える因果関連やプログラム要素に関する一連の仮説群をいう。プログラム効果に関する因果関連を示すインパクト理論(impact theory)とプログラム要素に関わるプロセス理論(process theory)から構成される。
プロセス理論は、さらに対象集団にサービスを提供する方法やプロセスを示したサービス利用計画と、そのようなサービス提供を進めるためのプログラム資源、スタッフ、運営、組織を示すプログラム組織計画に分かれる。CD-TEP評価アプローチ法では、検討するプログラムモデルのプログラム理論の3つの要素(インパクト理論、サービス利用計画、組織計画)のそれぞれについて、構築・再構築する方法を示す。
個別プログラムに対してプログラム理論をよく吟味することにより、より良いアウトカムを生み出す優れた実践プログラムの構築が期待される(Rossiら、2004)。また、効果的なプログラムモデルを追求する動きは、プログラム理論の発展を促し、プログラム理論の発展により、より効果的プログラムモデルの発展が期待できる。
CD-TEP法では、実践現場の創意工夫と科学的根拠を構築して、現場の実践家やサービス利用者・家族、政策立案者などの利害関係者が、ともに同じ地平で、根拠に根ざした合意形成を行う。プログラム理論についても、社会的実践プログラムに対する効果的プログラムモデルの「設計図」としてそれを可視化し、実践現場と政策立案者・利用者など利害関係者、研究者がこの「設計図」を共有化する。より効果的で優れた、合意に基づくプログラムモデルを発展させるための共通基盤として、プログラム理論は不可欠な位置を占めている。

b. 科学的根拠(エビデンス)(E)の活用

前述のとおり、対人サービスの実践プログラム領域では、近年、根拠にもとづく実践(EBP)への関心が高まる中で、福祉実践プログラムについても、実践現場の創意工夫と実践的な努力・配慮を反映させて科学的根拠を蓄積し、より大きなプログラム援助効果を生み出す効果的なプログラムモデルを構築することが求められている。
効果的なプログラムモデル形成のためには、プログラム援助効果を生み出すことに関わる効果的なプログラム要素、プログラム実施方法(効果的援助要素)を実証的にも、実践的にも、プログラム理論的にも検証することが求められている。
プログラムゴールに関わるアウトカム評価を科学的な方法で行うことがまず重要である。ランダム化比較試験(RCT)や比較による有効性研究(CER)など、エビデンスレベルが高いとされる評価方法を活用する必要がある。それとともに、対人サービスの実践プログラムの評価では効果的なプログラム要素に関わるプロセス評価が重要な位置を占めている。
これら効果的プログラムモデル形成に関わる2つの評価要素、すなわりプログラムゴール・プログラムアウトカム、および、効果的プログラム要素・プログラムプロセスの双方に焦点を当て、それぞれの相互関連から、研究的にも日常実践的にも、科学的根拠(エビデンス)に基づく効果的なプログラムモデルを構築するための知識を生成し、構築する。

c. 実践現場の創意・工夫のインプット(P)

CD-TEP評価アプローチ法では、実践現場からのさまざまなレベルのインプットは、この評価アプローチ法の根本に関わる基本事項である。効果的プログラムモデル発展の各段階において、実践現場からの創意・工夫、実践上の努力や配慮とアイデアが反映される。
特に、効果的援助要素の作成や、効果的プログラムモデルの実施マニュアル作成においては、実践現場の創意・工夫のインプットが中心的な役割を果たす。また、プログラム理論の構築と再構築、アウトカム評価とプロセス評価の相互関係の検証に対する実践的な取り組みと評価結果の解釈などにおいて、実践現場からのインプットが重視される。さらには、効果的プログラムモデルのさらなる更新のために、実践現場からの「声」は最大限に反映し活用する必要がある。CD-TEP評価アプローチ法実施ガイド(パートC)では、繰り返し実践現場からのインプットの方法が示されている。

2) 円環的対話(CD)による効果的プログラムモデル(M)の形成・構築

a. 効果的プログラムモデル(M)の形成・構築

効果的プログラムモデルの形成・構築は、主にプログラム理論(インパクト理論、サービス利用計画、組織計画)の形成・発展のプロセスとともに進める。効果的プログラムモデルの設計図であるプログラム理論は、CD-TEP評価アプローチ法の概念図(図A-1)に示したように、らせん階段状に常により良い効果的なプログラムモデルに発展・進化することが期待されている。より良い効果的なプログラムに発展・進化させる上で、プログラム理論の評価・検討(T)と、科学的根拠に基づく知識による振り返り(E)、そして実践現場の創意・工夫、改善点の反映(P)が相互作用的に機能することが期待されている。プログラム理論も評価・検討され、より良いプログラム理論に発展する。
CD-TEP評価アプローチ法では、効果的プログラムモデルを構成する要素として、プログラム理論の他に、効果的援助要素リストと実施マニュアル、フィデリティ尺度を位置づけている。

b. 円環的対話(CD)が必要とされる時期

CD-TEP評価アプローチ法で重視する、プログラム理論・エビデンス・実践間の円環的対話(CD)は、終了時点のない継続的なプロセスである。より良い実践プログラムの効果的プログラムモデルを実現し、より効果的なプログラムを発展・構築するためには、常に必要とされている。このプロセスは、特にある社会的問題の解決のために、有効と考えられる社会的実践プログラムが導入され、それが効果的なプログラムモデル(EBPプログラムやベストプラクティスプログラム)として、普及・定着するまでの時期や段階(「Ⅰ. 効果的プログラムモデル開発評価・評価基盤形成ステージ」および「Ⅱ. 効果的プログラムモデルへの発展評価ステージ」)がとりわけ重要である。
しかし、科学的根拠(エビデンス)が確立したと考えられるEBPプログラムなど効果的プログラムモデルが確立した段階(「Ⅲ. 効果的プログラムモデルの実施・普及・更新評価ステージ」)と言えども、プログラム理論・エビデンス・実践間の円環的対話(CD)は重要である。プログラムモデルが硬直化してニーズから乖離し、効果が上がらない状況にならないよう、常に社会の新しいニーズに対して鋭敏になり、実践現場からのインプット、科学的根拠の蓄積、プログラム理論の検証を怠らないように配慮する必要がある。

3) CD-TEPの発展ステージ

a. 3つのCD-TEPステージ

CD-TEP評価アプローチ法において、特に求められる評価アプローチは次の3評価課題ステージに整理することができる。すなわち、①効果的プログラムモデル開発評価・評価基盤形成ステージ(新規の体系的プログラムを開発し、既存・試行プログラムについては評価可能性・再編可能性アセスメントを行い、プログラムを再編成して効果的プログラムを形成する)、②効果的プログラムモデルへの発展評価ステージ(効果的なプログラムモデルに発展させるための形成評価・改善評価アプローチ)、③効果的プログラムモデルの実施・普及・更新評価ステージ(効果的(EBP)実践プログラムの実施・普及アプローチ)、である。
これらの評価ステージは、実践プログラムの発展段階との関連が密接である(表A-1参照)。実践プログラムの発展段階には、(1)新規開発プログラム、(2)導入期の既存制度プログラム、試行的事業のプログラム、(3)定着期・見直し期の既存制度プログラム、(4)ベストプラクティス・EBPプログラム、などがある。①プログラム開発評価・評価基盤形成ステージには、(1)新規開発プログラム、(2)導入期の既存制度プログラムが主に適用され、②効果的プログラムへの発展評価ステージには、(2)導入期の既存制度プログラム、試行的事業のプログラム、(3)定着期・見直し期の既存制度プログラムが対象となる。また、③効果的プログラムモデル実施・普及評価ステージには、(4)ベストプラクティス・EBPプログラム、などが適用される。

b. プログラム開発評価・評価基盤形成ステージ

社会的に解決を求められる社会的諸問題(ニート・ひきこもりの人の就労支援、老人病院や精神科病院への長期入院からの脱施設化、高齢者の介護予防など)に対して、有効な方策として社会的実践プログラムを開発し、効果的なプログラムモデルに発展させるための基盤を形成する評価ステージである。CD-TEP評価アプローチ法の観点からみると、効果的なプログラムモデルを発展させるためのプログラム評価を実施する共通基盤を形成する段階と位置づけることもできる。
この評価ステージでは、新たに社会的実践プログラムを開発することもあれば、既に社会的に導入されている既存制度プログラムや試行的事業のプログラムが対象になることもある。後者については、その社会プログラムが評価に必要な前提条件を満たしているかどうかを確認し、前提条件が満たされていれば、評価をどのようにデザインすればよいかを改めて調査・確認する評価可能性アセスメント(evaluability assessment)を行うことが必要となる。

c. 効果的プログラムモデルへの発展評価ステージ

ある社会的問題の解決のために、有効と考えられる社会プログラムが導入され、それが効果的なプログラムモデル(EBPプログラムやベストプラクティスプログラム等)として、形成・発展・定着するまでの時期や段階である。プログラム理論・エビデンス・実践間の円環的対話(CD)が最も必要と考えられる評価ステージである。

d. 効果的モデルの実施・普及・更新評価ステージ

EBPプログラムやベストプラクティスプログラムなど、効果的プログラムモデルが確立した後に、その効果的プログラムモデルが全国に実施・普及されて、ニーズのある人たちに対して適切に提供されるようになることを志向する評価ステージである。同時に、社会制度や地域文化の差異に応じて、効果的なプログラムモデルを多くの地域や実践現場で使用可能な標準的な実施・普及モデルを構築することを課題とする。
さらには、変わりゆく社会のニーズと標的集団の変化に対応して、より効果的で社会のニーズに合致した効果的プログラムに発展・更新するために、必要に応じてプログラムモデルの変更・更新を行う段階としても位置づける。

4) 5つのプログラム評価階層との関連

プログラム評価は、社会プログラムのさまざまなレベルの機能や活動、成果(ニーズ、プロセス、プログラム設計、アウトカム、効率)を、科学的かつ体系的に把握・査定・検討し、社会的介入プログラムを社会システムの中に適切に位置づけるために行われる活動である。これに対応して、プログラム評価の種類は、(Ⅰ)プログラムの必要性の評価・ニーズ評価、(Ⅱ)プログラムのデザインと理論の評価、(Ⅲ)プログラムのプロセスと実施の評価、(Ⅳ)プログラムアウトカム・インパクトの評価、(Ⅴ)プログラムの費用と効率性の評価という5種類から構成され、それぞれに連携しながら体系的にプログラム評価が行われる。
これら5つの評価は、プログラム評価階層を構成することが知られている(図A-1)。すなわち、(Ⅰ)ニーズ評価が基盤となり、(Ⅱ)理論評価、(Ⅲ)プロセス評価、(Ⅳ)アウトカム・インパクト評価、(Ⅴ)効率性評価と積み上がっていく構造を持っている。
5つの階層化した評価のうち、「プログラム開発評価・評価基盤形成ステージ」で主に用いるのはニーズ評価である。またプログラム理論評価の一部が、評価可能性アセスメントとして実施される。
「効果的モデルへの発展評価ステージ」においては、プログラム理論評価、プロセス評価、アウトカム・インパクト評価が主に用いられる。さらに、「効果的モデルの実施・普及・更新評価ステージ」では、プログラム理論評価、プロセス評価、アウトカム・インパクト評価に加えて、効率性評価も用いる。

5) 実践家参加・協働型プログラム評価との関連

CD-TEP評価アプローチ法は、実践家の参加・協働によって効果的なプログラムモデルを発展させようとする試みであり、参加・協働型評価の一つと言える。実践家のエンパワーメント評価に繋がる取り組みでもある。
CD-TEPの実施主体は、実践現場に近いところで活動する実践研究者と、実践現場で活動する実践家評価担当者、効果的プログラムモデルの発展に関心を持つ実践現場の管理者・リーダー、政策立案者・管理者である。

6) EBPプログラム、ベストプラクティス(BP)プログラムとの関連

効果的プログラムモデルは、EBPプログラム、ベストプラクティス(BP)プログラムとして発展させるとともに、実施・普及が可能な実践モデルとしても構築することが求められている。