概要
「効果的プログラム再編成・プログラム評価可能性アセスメント」の課題プロセスでは、既存制度プログラムや試行プログラムが十分に期待される成果を上げていない場合、そして、それらのプログラムを大幅に見直すことが社会的に求められる場合に、効果的プログラムを形成・構築・発展・改善する分岐点となる評価活動として実施する。
「プログラムゴールと標的集団の明確化」フェーズで行われたニーズアセスメントの状況と、プログラムゴールと標的集団の設定を踏まえて、さらには「既存･試行プログラムの現状把握」課題プロセスで明らかになったプログラムの現状を十分に分析した上で、この課題に取り組む。
評価可能性アセスメントは、プログラムが評価に必要な前提条件を満たしているかどうかを確認し、前提条件が満たされていれば、評価をどのようにデザインすればよいかを調査し、確認する評価活動である。まず、①プログラムが解決を目指すべき問題を明確化しプログラムのゴールと目標を利害関係者間で共有化し、合意形成を図ることが必要になる【プログラムゴールの明確化】。その上で、②プログラムが達成すべきゴールと目標を最大化するのに有効なプログラムモデル、プログラムの構成要素、プログラムの輪郭などを明確に記述すること【プログラムモデルの明確化】、そして、③そのプログラムの実施によって期待される成果とプログラム実施の社会的費用を、利害関係者間で合意しておくことが求められる【評価実施の社会的合意形成】が求められる。
科学的根拠に基づく効果的な福祉実践プログラムを形成する出発点においても、同様に､①プログラムが解決を目指すべき問題を明確化しプログラムのゴールと目標を利害関係者間で共有化し、合意形成を図ることが必要になる。その上で、②プログラムが達成すべきゴールと目標を最大化するのに有効なプログラムモデル、プログラムの構成要素、プログラムの輪郭などを明確に記述すること、さらには、③そのプログラムの実施によって期待される成果と社会的費用を、利害関係者間で合意しておくことが求められる。「プログラム評価可能性・再編可能性アセスメント」は、科学的根拠にもとづく効果的プログラムモデルを形成・構築・発展・改変する上での分岐点となる評価活動と位置づけられる。
図Ⅰ2-2-1には、「プログラム評価可能性・再編可能性アセスメントの実施」の課題処理フローチャートを示した。「プログラム評価可能性・再編可能性アセスメント」は、まず、「プログラム関係者、利害関係者からの聞き取り調査」を行い、そのプログラムが置かれた全体状況を把握する。同時に、国レベル、あるいは都道府県・市町村レベルのプログラム実施要綱を収集・分析して、制度的な位置づけからも現状を把握する。さらに、可能な限り広範囲の既存制度モデル･試行的事業モデルの実情把握調査を行い、客観的な取り組み状況の把握に努める。その結果をまとめた「Ⅰ2-1. 既存･試行プログラムの現状把握」の成果物である「プログラム実施状況報告書、モデル浸透度、体系的実施状況報告書」や「グッドプラクティス(GP)事例報告書」は十分に活用する。
「プログラム評価可能性・再編可能性アセスメント」は、同時に「Ⅰ1-1. ニーズ把握とプログラムゴール・標的集団の設定」で行ったニーズアセスメントの状況と、プログラムゴールと標的集団の設定を踏まえて行う。その成果は、「Ⅱ1-1. プログラム理論の構築・再構築：インパクト理論」「Ⅱ1-2. プログラム理論の構築・再構築：プロセス理論（サービス利用計画）」「Ⅱ1-3. プログラム理論の構築・再構築：プロセス理論（組織計画）」など、効果的プログラムモデルのプログラム理論の形成と評価のために活用される。 プログラム評価可能性・再編可能性アセスメントの実施の手順は、図Ⅰ2-2-2に示した。
【図Ⅰ2-2-1、および図Ⅰ2-2-2】
１) インプット
①プログラム関係者、利害関係者からの聞き取り調査
プログラム関係実践家、利用者、家族、行政関係者などの利害関係者から聞き取り調査を行い、そのプログラムが置かれた全体状況とプログラムの評価可能性・再編可能性を把握する。聞き取り調査の進め方は、「Ⅰ1-1. ニーズ把握とプログラムゴール・標的集団の設定」の「プログラム関係者、利害関係者からの聞き取り調査(11-1-11)」に示した。「Ⅰ1-1. ニーズ把握とプログラムゴール・標的集団の設定」に比較して、プログラムゴールが関係者間で共有されているか否か、プログラム実施内容、実施要綱が利害関係者の間で共有されており、その実施方法に共通認識があり、合意形成がされているか、プログラムの改善をめざす志向性が関係者間で共有されているのか否かに焦点を当てて聞き取りを行う。
②プログラム実施要綱（都道府県調査、中央官庁調査）
中央省庁や都道府県のプログラム実施要綱が、必ずしも同じプログラムモデルを設定している訳ではない。同じ実践プログラムの名称であっても、異なるプログラムゴールを有し、プログラム実施方法が異なっている場合がしばしばある。プログラム実施要綱のプログラムゴール、実施要綱上のサービス内容、サービス提供組織を比較検討して、プログラム評価可能性･再編可能性アセスメントの基礎資料とする方法は、「Ⅰ2-1. 既存･試行プログラムの現状把握」の「プログラム実施要綱の収集・分析調査（12-1-12）」に示した。
③ニーズアセスメントの結果報告書
検討するニーズアセスメントの結果報告書は、「Ⅰ1-1. ニーズ把握とプログラムゴール・標的集団の設定(11-1-01)」の「ニーズアセスメントの結果報告書(11-1-31)」に提示してある。
④プログラムゴールと標的集団設定に関する報告書
検討するプログラムゴールと標的集団設定に関する報告書は、「Ⅰ1-1. ニーズ把握とプログラムゴール・標的集団の設定(11-1-01)」の「プログラムゴールと標的集団設定に関する報告書(11-1-32)」に提示してある。
⑤プログラム実施状況報告書
検討するプログラム実施状況報告書は、「Ⅰ2-1. 既存･試行プログラムの現状把握」の「効果的モデル構築のためのプログラム実施状況報告書（12-1-31）」に提示してある。
２) 検討方法
①プログラムゴールの設定､共有化､達成度の把握と分析
既存制度プログラムや試行プログラムのプログラムゴール設定とゴールの達成度、ゴールの共有化・凝集度の程度について分析する方法は、「Ⅰ2-1. 既存･試行プログラムの現状把握」の「プログラムゴールの設定､共有化､達成度の把握と分析（12-1-21）に示した。
その分析結果は、「Ⅰ2-1. 既存･試行プログラムの現状把握」の「効果的モデル構築のためのプログラム実施状況報告書（12-1-31）」の中にまとめられている。
②組織的な実施と効果的モデル追求状況の把握と分析
既存制度プログラムや試行プログラムが、事業所をあげて組織的な取り組みを行い、効果的なモデルが追求されているかどうかについて、各レベルのプログラム実践現場の状況を踏まえて把握、分析する方法は、「Ⅰ2-1. 既存･試行プログラムの現状把握」の「組織的な実施と効果的モデル追求状況の把握と分析（12-1-22）に示した。
その分析結果は、「Ⅰ2-1. 既存･試行プログラムの現状把握」の「効果的モデル構築のためのプログラム実施状況報告書（12-1-31）」の中にまとめられている。
③既存制度のプログラム理論比較・分析
１. 分析･検討の目的と方針
既存制度モデル･試行プログラムのプログラム理論をどのように整理することができるか、CD-TEPのプログラム理論作成方法(21-1-31)(21-2-31)(21-2-32)(21-3-31)に準拠して図解する。インパクト理論、プロセス理論（サービス利用計画、組織計画）ともに、図解に際して不明確になっている箇所がどの程度あるのかを明らかにし、その箇所を明示する。
この検討作業によって明らかとなるプログラム理論作成に当たっての不明確さを明確にする。同時に、作成したプログラム理論が、類似の科学的根拠に基づく実践プログラム（EBP）、効果モデルのプログラム理論との不整合の程度をも明確にする。
国レベルの実施要綱だけでなく、都道府県等レベルでそれぞれに実施要綱が設けられている場合がある。その場合、各実施要綱のプログラム理論が異なることが少なからずある。各実施要綱のプログラム理論を、CD-TEPのプログラム理論作成方法(21-1-31)(21-2-31)(21-2-32)(21-3-31)に準拠して図解し、比較検討する。これらのプログラム理論を類型化した上で比較分析すると良いであろう。この検討によって明らかになる、プログラム理論の類型の多様さの程度や、多様なプログラム理論間の差異が、プログラム評価可能性・再編可能性アセスメントの対象となる。
２. 分析･検討の方法
既存制度モデル･試行プログラムのプログラム実施要綱や実施マニュアルを分析して、プログラム理論のインパクト理論、プロセス理論（サービス利用計画、組織計画）を作成する。プログラム理論の作成方法は、CD-TEPのプログラム理論作成方法(21-1-31)(21-2-31)(21-2-32)(21-3-31)に準拠して、プログラム理論を図解して示す【サンプル図】。
インパクト理論の作成に当たっては、前々項の「プログラムゴールの設定､共有化､達成度の把握と分析(12-2-21)」の結果、プロセス理論については、「組織的な実施と効果的モデル追求状況の把握と分析(12-2-22)」を参考にする。
図解に際して不明確になっている箇所は、破線やその他の特徴ある記号を付けて明示する。複数の解釈ができる場合には、複数の図式を作成しても良い。
プログラム理論は、プログラム・インパクト理論、プロセス理論・サービス利用計画、プロセス理論・組織計画のそれぞれについて作成する。
類似の科学的根拠に基づく実践プログラム（EBP）、効果モデルのプログラム理論と不整合の箇所があれば、その箇所を明示する。
都道府県等レベルの実施要綱が複数設けられている場合には、各実施要綱のプログラム理論を作成して比較検討する。プログラム理論の作成方法は、CD-TEPのプログラム理論作成方法(21-1-31)(21-2-31)(21-2-32)(21-3-31)に準拠する。多様なプログラム理論が作成される場合は、プログラム理論を類型化して整理する。
プログラム理論の類型の多様さや、多様なプログラム理論間の差異が明確になるように、分析の結果提示されるプログラム理論チャートを提示する。
３. 作成したプログラム理論の妥当性検証
作成したプログラム理論は、そのプログラムに関わるプログラム関係実践家･利用者、および関係プログラムエキスパート、および研究者によって妥当性の検証を受ける。
同時に、プログラム実施要綱、実施マニュアルを作成した関係者にも確認を受ける。
④プログラム評価可能性･再編可能性分析表
１. 分析･検討の目的と方針
既存制度モデル･試行プログラムに関わる利害関係者をリストアップし、それぞれの利害関係者が、プログラムゴールおよびインパクト理論の設定、プログラム実施内容およびプロセス理論の設定に、どのくらい関与し、共通理解を得て、合意し、プログラム実施に協力しているのかを明らかにし、利害関係者ごとに認識するプログラム評価可能性･再編可能性の状況を分析する。利害関係者のリストアップに当たっては、「Ⅰ1-1. ニーズ把握とプログラムゴール・標的集団の設定」の「④利害関係者分析表(11-1-24)」を参考にする。
プログラムの主要な利害関係者（政策立案者、プログラムスポンサー、プログラム利用者・家族、プログラム運営者、プログラムスタッフ等）が、プログラムゴールおよびインパクト理論の設定、プログラム実施内容およびプロセス理論の設定に十分関与し、共通理解を得て、合意していることが望まれる。しかし、プログラム評価可能性アセスメントでは、不十分な関与や共通理解や合意の欠如の程度が把握される。また、再編可能性アセスメントでは、プログラムゴールおよびインパクト理論の設定、プログラム実施内容およびプロセス理論の設定に対する主要利害関係者の関与や共通理解、合意形成への志向性の強さが把握される。
２. 分析･検討の方法
まず、既存制度モデル･試行プログラムに関わる利害関係者をリストアップする。主要な利害関係者として、政策立案者、プログラムスポンサー、プログラム利用者・家族、プログラム運営者、プログラムスタッフは原則として含むように配慮する。
リストアップされた利害関係者ごとに、以下の項目の分析情報をマトリックス形式の利害関係者分析表にまとめて整理する（表Ⅰ2-2-1??参照）。利害関係者の中に、同じ類型（プログラム利用者・家族、プログラムスタッフ等）であっても、立場の違う関係者がいれば別の行を設定して整理する。
各利害関係者からの情報は、本課題プロセス、１) インプットの「プログラム関係者、利害関係者からの聞き取り調査(12-2-11)」から得るほか、１) インプットの他項目（②～④）を総合的に検討し、かつ２) 検討方法の①～③の検討内容を踏まえる。
利害関係者分析表で検討する項目はマトリックス形式の利害関係者分析表の表頭に示す。
その内容は以下のとおりである。
- プログラムゴールの設定
- 標的集団の設定
- インパクト理論の設定への関与、関与の志向性
- インパクト理論への理解や合意形成の状況
- インパクト理論改善への志向性
- プログラム実施内容（サービス内容）への意見
- プログラム実施内容（組織内容）への意見
- プロセス理論への理解や合意形成の状況
- プロセス理論改善への志向性
- プログラム改善のため本格的な評価活動実施への志向性
以上の各項目について、主要な利害関係者間の不均等な関与と、不十分な共通理解や合意の程度、そして各利害関係者が、これらのことに関与し、改善を志向する程度を明らかにする。
３. 作成したプログラム評価可能性･再編可能性分析表の妥当性検証
作成したプログラム評価可能性･再編可能性分析表は、関係した利害関係者の確認を求め、妥当性の検証を行う。
⑤研究者間のフォーカスグループ、検討会
本課題プロセス・１) インプットに示した①～④を総合的に検討し、かつ２) 検討方法の①～④の検討内容を踏まえて、対象とする福祉実践プログラムが、評価可能性と再編可能性を持っているのかについて、主に次の３点から研究グループで検討する。すなわち、a)プログラムのゴールと目標を利害関係者間で共有化し合意形成を図る可能性があること、b) プログラムが達成すべきゴールと目標を最大化するのに有効なプログラムモデル、プログラムの構成要素、プログラムの輪郭などを明確にし得ること、c) プログラムの実施によって期待される成果と社会的費用を、利害関係者間で合意できること、についてである。その上で、プロジェクト研究班事務局が、本課題プロセス・３) アウトプット「①評価可能性アセスメント、再編可能性アセスメント報告書」を取りまとめる。
⑥プログラム関係実践家･利用者とのフォーカスグループ､意見交換会
研究者間のフォーカスグループ、検討会でまとめられた「プログラム評価可能性･再編可能性アセスメント」の検討結果案を、プログラム関係実践家、利用者、家族、行政関係者などの利害関係者に集まって頂き、グループ討論で内容を検討する。以上の検討結果を踏まえて、評価可能性アセスメント、再編可能性アセスメント報告書を作成する。
３) アウトプット
①評価可能性アセスメント、再編可能性アセスメント報告書
１. 評価可能性・再編可能性アセスメント報告書の目的
評価可能性・再編可能性アセスメント報告書は、既存制度モデル･試行プログラムが十分に期待される成果を上げていない場合に、プログラム評価を行って大幅にプログラムを見直し、効果的プログラムを形成・構築・発展・改善することが可能かどうかを明らかにする目的で作成される。プログラム改善のための本格的なプログラム評価を行う可能性を検討するとともに、ここで得られたプログラム理論の検討、利害関係者ごとの評価可能性アセスメントは、その後により良いプログラム評価を遂行する上で貴重な情報を提供する。
２. 評価可能性・再編可能性アセスメント報告書の作成手順
評価可能性・再編可能性アセスメント報告書では、①プログラムが解決を目指すべき問題を明確化しプログラムのゴールと目標を利害関係者間で共有化し、合意形成を図ることが可能か【プログラムゴールの明確化】。その上で、②プログラムが達成すべきゴールと目標を最大化するのに有効なプログラムモデル、プログラムの構成要素、プログラムの輪郭などを明確にすることができるか【プログラムモデルの明確化】、そして、③そのプログラムの実施によって期待される成果を見込むことができるのか、それは妥当な社会的費用で実施できるのかを、利害関係者間で合意できるか【評価実施の社会的合意形成】が分析される。
①プログラムゴールの明確化は、本課題プロセス２) 検討方法の「①プログラムゴールの設定､共有化､達成度の把握と分析(12-2-21)」で、②プログラムモデルの明確化は、２) 検討方法の「②組織的な実施と効果的モデル追求状況の把握と分析(12-2-22)」で明らかにされた内容を踏まえる。
同時に２) 検討方法の「③既存制度のプログラム理論比較・分析(12-2-23)」で作成された既存制度のプログラム理論は、その後の分析・検討においてたいへん重要な意味を持っており、評価可能性・再編可能性アセスメントの中核をなすものである。
また、③評価実施の社会的合意形成については、２) 検討方法の「④プログラム評価可能性･再編可能性分析表(12-2-24)」の分析結果を主に用いる。この分析表も、対象となる福祉実践プログラムを評価し発展させていく上でたいへん重要な意味を持っており、評価可能性・再編可能性アセスメントのもう一つの中核をなすものである。
これらの内容は、１) インプットの①～⑤を改めて踏まえて、「⑤研究者間のフォーカスグループ、検討会(12-2-25)」において原案として示される。その上で、「⑥プログラム関係実践家･利用者とのフォーカスグループ､意見交換会(12-2-26)」によって、必要な追加、修正、加筆が行われ、報告書にまとめられる。
３. 報告書に盛り込むべき内容、構成
まず、評価可能性・再編可能性アセスメントを行う背景と意義、報告書の目的を明示する。また、報告書で検討した情報の入手方法について詳細に記すとともに（キーインフォーマント、その他利害関係者からの聞き取り調査、実施要綱の収集・分析調査、プログラムの実情把握調査など）、プログラム理論の比較検討、利害関係者分析などの分析方法についても明確に示す。
本報告書で分析・検討する主要な内容は、上述したとおり、①プログラムゴールの明確化、②プログラムモデルの明確化、③評価実施の社会的合意形成に関することである。これらを踏まえて、結論として、①プログラム改善のための本格的なプログラム評価を行う可能性、②本格的なプログラム評価を行って得られることが期待される成果として、望まれるプログラム理論の方向性、③評価活動に関わる必要のある利害関係者、評価の実施方法と利害関係者の評価活動への関与の仕方に関する示唆である。
報告書に盛り込まれるべき具体的な分析内容は、以下のとおりである。
- プログラムゴールの明確化とプログラムインパクト理論
プログラムゴールの設定と共有化が、利害関係者間でどのようになっているのか、またプログラム実施要領ごとにどのようになっているのか、プログラム実施の実態としてどうか、などの分析結果が示される（「①プログラムゴールの設定､共有化､達成度の把握と分析(12-2-21)」）。同時に、プログラム標的集団の設定についても、利害関係者間の差異が検討される(④プログラム評価可能性･再編可能性分析表(12-2-24)）。
これらの検討結果を踏まえて、「③既存制度のプログラム理論比較・分析(12-2-23)」が行われて既存制度のプログラム理論（インパクト理論）が作成される。
このインパクト理論は、利害関係者間、プログラム実施要綱、実施マニュアル間で異なり実態としても実施されている程度はさまざまであろう。その分散化の状況も分析される。 - プログラムモデルの明確化とプログラムプロセス理論
効果的プログラムモデル（サービス内容と組織）の設定と共有化が、利害関係者間でどのようになっているのか、またプログラム実施要領ごとにどのようになっているのか、プログラム実施の実態としてどうか、などの分析結果が示される（「②組織的な実施と効果的モデル追求状況の把握と分析(12-2-22)」）。
これらの検討結果を踏まえて、「③既存制度のプログラム理論比較・分析(12-2-23)」が行われて既存制度のプログラム理論（プロセス理論：サービス利用計画と組織計画）が作成される。
このプロセス理論は、利害関係者間、プログラム実施要綱、実施マニュアル間で異なり、実態としても実施されている程度はさまざまであろう。その分散化の状況も分析される。 - 評価実施の社会的合意形成の可能性
利害関係者間に、プログラム改善のための本格的なプログラム評価を行うことが必要と考えられているのか、その前提として、効果的なプログラムモデルのプログラム理論が形成される可能性があり、それが利害関係者間で合意形成される可能性があるのかどうかが、検討される。主に、本課題プロセスの２) 検討方法「④プログラム評価可能性･再編可能性分析表(12-2-24)」の分析結果が用いられる。その中でも、利害関係者間に、「インパクト理論への理解や合意形成の状況」「インパクト理論改善への志向性」「プロセス理論への理解や合意形成の状況」「プロセス理論改善への志向性」「プログラム改善のため本格的な評価活動実施への志向性」について、共通の指向性があるかどうかが検討される。
報告書に盛り込まれるべき結論の内容は、以下のとおりである。
- プログラム改善のための本格的なプログラム評価を行う可能性
- 望まれる効果的プログラムモデル・プログラム理論の方向性
本格的なプログラム評価を行って得られることが期待される成果として、 - プログラム改善のためのプログラム評価実施に向けての示唆
評価の実施方法と利害関係者の評価活動への関与の仕方に関する示唆である。
評価活動に関わる必要のある利害関係者、
現可能な効果的プログラムモデル形成・構築のための示唆
①効果的プログラムモデル・インパクト理論への示唆
②効果的プログラムモデル・プロセス理論への示唆
③効果的プログラムモデル・効果的援助要素リストへの示唆
４. 報告書作成時の留意点
報告書に盛り込む内容は、既存･試行プログラムの現状がわかるできるだけ包括的なも
その結果、評価に必要な最低限の前提条件が満たされているかどうかを質的にアセスメントすることこそ、たいていの評価活動より前にまず行われるべきであるという見解に達した。Wholeyとその同僚らは、このプロセスを評価可能性アセスメントと名づけた（例5-A）。
評価可能性アセスメントには主に3つの活動がある。（1）細心の注意を払って
プログラムモデルを記述し、プログラムのゴールと目標を定義すること、（2）そのモデルがどのくらい十分に定義されており、評価可能であるかをアセスメントすること、（3）利害関係者の評価に対する関心、および評価所見の活用可能性を確認することである。
評価可能性アセスメントを行う評価者は民族誌学者のように行動する。つまり、プログラムスタッフや他の重要な利害関係者がとらえている”「社会的現実」”が明らかになるよう、インタビューや観察を通してプログラムを記述し理解しようとする。評価者はまず、公文書や公的な情報に示されているプログラム概念から開始するが、その後、プログラムに可能な限り近づいてそれを理解しようとする。このような評価を行う目的は、プログラムを現在あるがままに記述すること、そして関係者にとって本当に重要なプログラム問題を理解することである。このプロセスは、プログラム評価者側の判断と裁量とをかなり必要とする。しかし、評価可能性アセスメントを他の評価者も再現できるように手続きを体系化する試みが、さまざまな実践家によって行われている（Rutman, 1980; Smith, 1989; Wholey, 1994参照）。