CD-TEP評価アプローチ法は、プログラム実践現場との密接な相互交流の中から、実践現場(P)の創意・工夫、実践上の努力・配慮を共有化し、評価アプローチ法の共通知識として「CD-TEP評価アプローチ法実践ガイド」に位置づけられる。
CD-TEP評価アプローチ法では、これらの進め方に共通の方法を設定しており、「CD-TEP評価アプローチ法実践ガイド」の中では繰り返し提示される。以下では、その内容を整理して提示する。
1) プログラム関係者・利害関係者からの聞き取り調査
プログラム関係者、利害関係者からの聞き取り調査は、実践プログラムの実施状況が明確になっていない段階で、実践現場やその周辺の関係者から、現状の全体像の概要を把握するために実施する。
■CD-TEP評価アプローチ法実践ガイドでは、
- 「Ⅰ1-1. ニーズ把握とプログラムゴール・標的集団の設定」インプット
- 「Ⅰ2-1. 既存・試行プログラムの現状把握」インプット
において、この聞き取り調査が行われる。
聞き取り調査の対象としては、その問題やプログラムの状況を良く知るキーインフォーマント(key informants)(鍵となる情報提供者)が、まず有力な対象者となる。キーインフォーマントは、その問題や対象となるプログラムの性質や特徴、広がり、標的集団の特徴や必要とされるサービスについて良く通じている人材である。キーインフォーマントの紹介で、次なるキーインフォーマントにアプローチするスノーボールサンプリングの手法も利用できる。キーインフォーマントの中には、サービス利用者、あるいはその可能性のある方も含まれており、ニーズの状況については詳しい情報が提供される。
社会問題を抱える対象の人たちに、問題解決には直接有効性を持たない類似のサービス・プログラムに関わる関係者についても、ニーズに合致しないサービスの状況を聞き取ることができる。
インタビューガイドの作成、その内容については、この聞き取り調査は、対象とする社会問題や社会状況、実践プログラムの概況を理解・把握する目的があるため、問題発見的な自由面接法、あるいはゆるやかな半構造化面接法によって進める。
インタビューガイドに盛り込む内容は、「ニーズ把握とプログラムゴール・標的集団」の概況、「既存・試行プログラム」の概況が、基盤になる。
■T012) プログラム関係者、利害関係者からの聞き取り調査票(インタビューガイド、半構造化調査票)の作成ガイドライン
2) プログラム関係実践家・利用者とのフォーカスグループ面接、意見交換会(含、研修会)
CD-TEP評価アプローチ法では、大部分の「課題プロセス」(次項で説明)の2) 検討方法において、「プログラム関係実践家・利用者とのフォーカスグループ面接、意見交換会」が用いられる。「課題プロセス」の1) インプット情報を総合的に検討し、かつ多くの場合、プロジェクト研究班事務局が、課題の取りまとめ案を作成したものに対して、プログラム関係実践家・利用者の方からご意見、フィードバックを頂く。「課題プロセス」の成果物(アウトプット)は、基本的にはプログラム関係実践家・利用者との意見を反映してまとめる方針に基づいている。
このグループによるフォーカスグループ面接、意見交換会は、実践プログラムのモデル実施に際して、プログラム実施マニュアルを用いた研修会を行う際に、研修会を兼ねて意見交換会の形をとって実施することがある(23-2-21)(23-4-24)。
以下の項目は、「課題プロセス」の1) インプットおいても用いられる。
- 「Ⅱ1-1. プログラム理論の構築・再構築:インパクト理論」
- 「Ⅱ1-2. プログラム理論の構築・再構築:プロセス理論(サービス利用計画)」
- 「Ⅱ1-3. プログラム理論の構築・再構築:プロセス理論(組織計画)」
- 「Ⅱ2-1. 効果的援助要素リストの作成」
- 「Ⅱ2-2. 効果的プログラムモデルの実施マニュアルの作成」
グループ検討の方法として、検討課題が明確な場合は、その焦点となる課題を中心にフォーカスグループ面接を実施する。プロジェクト研究班事務局がファシリテーターとなりグループで、検討課題を中心に議論できるよう配慮する。
検討課題が十分にまとまっていない場合、検討課題があいまいな状況の場合は、ブレーンストーミング的なグループ発想技法を、ワークショップ形式で開催しても良い。開発援助で良く使用されるPCM(Project Cycle Management)のワークショップ手法を活用し、「問題分析」「目的分析」「プロジェクトの選択」を行っても良い。
プログラム関係実践家・利用者とのフォーカスグループ面接、意見交換会の持ち方については、「Ⅱ2-1. 効果的援助要素リストの作成」の「プログラム関係実践家・利用者とのフォーカスグループ面接、意見交換会(22-1-25)」に詳しく述べた。
3) プログラム実施現場への踏査調査(GP活動など)
「Ⅱ. 効果的プログラムモデルへの発展評価ステージ」および「Ⅲ. 効果的モデルの実施・普及・更新評価ステージ」において、 効果のあがる取り組み、特徴的で模範的と考えられる取り組みを行っているグッドプラクティス・プログラム事例(GP事例)を選定して、現場踏査調査を行う。
現場踏査調査の中では、良い成果がどのように生み出されているのか、その現状と経緯を明らかにするとともに、良い成果を生み出すために努力していること、実践現場の創意・工夫、良い成果に結び付く取り組みの要素が何であるのかを把握する。
■CD-TEP評価アプローチ法実践ガイドで、現場踏査調査を実施するのは以下の「課題プロセス」である。
- 「Ⅱ1-1. プログラム理論の構築・再構築:インパクト理論」
- 「Ⅱ1-2. プログラム理論の構築・再構築:プロセス理論(サービス利用計画)」
- 「Ⅱ1-3. プログラム理論の構築・再構築:プロセス理論(組織計画)」
- 「Ⅱ2-1. 効果的援助要素リストの作成」
- 「Ⅲ1-2 効果的プログラムモデルの実施・普及モデル、実施ツールキットの作成」
- 「Ⅲ2-1 実践現場の創意・工夫と基盤にした効果的プログラムモデルの改訂・更新」
GP事例の選定は、「プログラム関係者、利害関係者からの聞き取り調査(12-1-11)」や、「既存制度モデル・試行的事業モデルの実情把握調査(12-1-13)」に基づく、「グッドプラクティス(GP)事例報告書(12-1-32)」などによって、10事例~20事例程度を選ぶ。
現場踏査調査の設定方法は、「GP事例の現場踏査調査進め方ガイドライン(T21-001)」に記載してある。
■T001) GP事例の現場踏査調査進め方ガイドライン
現場踏査調査の面接票、インタビューガイドの作成方法は、「Ⅱ. 効果的プログラムモデルへの発展評価ステージ」および「Ⅲ. 効果的モデルの実施・普及・更新評価ステージ」で若干異なる。
「Ⅱ. 効果的プログラムモデルへの発展評価ステージ」の面接票、インタビューガイドの全般的な作成方法は、「GP事例の現場踏査調査半構造化面接調査票、インタビューガイドの作成方法ガイドライン(T21-002)」に記載してある。面接票・インタビューガイドの実例は(S21-001)などを参照のこと。
現場踏査調査事例報告書の内容と全般的作成方法については、「GP事例の現場踏査調査事例報告書の作成方法ガイドライン(T21-003)」に記載してある。
■T003) GP事例の現場踏査調査事例報告書の作成方法ガイドライン
■S002) GP事例の現場踏査調査事例報告書[様式][実例1]
4) フィデリティ評価モニタリング調査の実施と意見交換
フィデリティ評価モニタリング調査の第三者評価(評価担当者訪問)では、評価担当者が訪問して、プログラム関係実践家と意見交換しながら評価を行う。これは実践現場とプログラムを実施している場で、実践プログラムの実施マニュアルや効果的援助要素、効果的プログラムモデルについて、フィデリティ評価項目に沿う形で意見交換・情報交流ができる掛け替えのない貴重な機会となる。評価調査を行いながらフィードバックを得るとともに、評価結果をフィードバックしてその反応を把握することもできる。
■CD-TEP評価アプローチ法実践ガイドで、現場踏査調査を実施するのは以下の「課題プロセス」である。
- 「Ⅱ2-1. 効果的援助要素リストの作成」
- 「Ⅱ2-2. 効果的プログラムモデルの実施マニュアルの作成」
- 「Ⅱ3-2. アウトカム評価調査の実施とその評価結果の活用」
- 「Ⅱ3-4. フィデリティ評価調査の実施と評価結果の活用」
- 「Ⅲ1-2 効果的プログラムモデルの実施・普及モデル、実施ツールキットの作成」
- 「Ⅲ2-1 実践現場の創意・工夫と基盤にした効果的プログラムモデルの改訂・更新」
フィデリティ評価モニタリング調査の全般的な実施方法については、「Ⅱ3-4. フィデリティ評価調査の実施と評価結果の活用」1) インプットの「効果的プログラムモデルのフィデリティ評価調査(23-4-11)」に提示するほか、より詳細には、「フィデリティ評価モニタリング調査の進め方ガイドライン(T23-004)」に示した。
■T23-004) フィデリティ評価モニタリング調査の進め方ガイドライン
■フィデリティモニタリング調査結果のフィードバックの方法ガイドライン
■フィデリティモニタリング調査結果のフィードバック報告書[様式][実例]
5) 効果評価調査の実施
実践プログラムの効果的プログラムモデルが構築されたら、その取り組みが確かに期待する効果(アウトカム)を生み出すものであるかどうかを、科学的なプログラム評価の方法を用いて検証するために各種の効果評価調査を実施する。効果評価調査の設定は、実践現場との綿密な打ち合わせのもとに行わなければ十分な成果を納めることができない。
実践現場との評価調査をめぐる意見交換、スタッフ研修会の中での意見交換、そして評価調査に現れた結果から、実践現場からのフィードバックを得ることができる。
効果評価調査の実施方法については、「Ⅱ3-2. アウトカム評価調査実施とその評価結果活用」1) インプットの「効果的プログラムモデル試行評価調査の実施(23-2-11)」に提示した。
■T007)多施設合同・効果モデル試行評価調査の実施方法ガイドライン
■効果評価調査のデザイン[様式][実例]
6) 全国実情把握調査
「Ⅰ. プログラム開発評価・評価基盤形成ステージ」においては、既存制度モデル・試行的事業モデルの概要を把握するために、「Ⅱ. 効果的プログラムモデルへの発展評価ステージ」および「Ⅲ. 効果的モデルの実施・普及・更新評価ステージ」においては、効果的プログラムモデルの全国的な実施状況、効果的援助要素の実施状況を把握するために事業所の全国実情把握調査を実施する。全国調査を郵送調査で実施するため、コンパクトな調査票を作成して実施する。全国実情把握調査の実施に当たっては、実践現場を知る関係者から十分に意見を聞きながら行う必要がある。
全国実情把握調査を実施するのが、コスト的に困難であれば、広域地域(例えば関東地方など)に限定して調査を実施しても良い。
調査票の自由記入項目への回答、調査への問い合わせ、調査結果の状況から、実践現場からのフィードバックを得ることができる。
■CD-TEP評価アプローチ法実践ガイドで、現場踏査調査を実施するのは以下の「課題プロセス」である。
- 「Ⅰ2-1. 既存・試行プログラムの現状把握」
- 「Ⅱ3-5. アウトカム評価とフィデリティ評価・効果的援助要素の関連性の検証、評価結果の活用」
- 「Ⅲ1-2 効果的プログラムモデルの実施・普及モデル、実施ツールキットの作成」
- 「Ⅲ1-3 効果的プログラムモデルの制度化、制度モデルの作成」
■T013) 実情把握調査・調査票の作成マニュアル、
○全国実情把握調査の進め方ガイドライン
○効果的援助要素実施状況調査票の作成方法
○全国実情把握調査票の様式
○効果的援助要素実施状況調査票の様式
7) 全国都道府県・市町村の既存制度モデル・試行的事業モデルの実施要綱調査
中央省庁や都道府県のプログラム実施要綱が、必ずしも同じプログラムモデルを設定しているわけではない。同じ実践プログラムの名称であっても、異なるプログラムゴールを有し、プログラム実施方法が異なっている場合がしばしばある。
プログラム実施要綱を収集し、各都道府県、市町村の取り組み状況を把握する調査の実施方法は、「Ⅰ2-1. 既存・試行プログラムの現状把握」の「プログラム実施要綱の収集・分析調査(12-1-12)」に提示した。