概要
福祉実践プログラムが、常に効果的なプログラムとして機能し、より効果的なプログラムモデルに発展することをめざすためには、実践現場においてプログラム効果を生み出す効果的援助要素が適切に実施されているかどうかを、日常的にモニタリングすることが求められる。
CD-TEP法では、２種類のフィデリティ評価尺度、すなわち第三者が訪問面接によって評価するための尺度と、自己評価に基づく尺度を用意している。これらフィデリティ評価尺度の評価結果は、実践現場との対話によって、より効果的なプログラムモデル構築のために役立てる必要がある。
この課題プロセスでは、２種類のフィデリティ評価尺度を用いて、プロセスモニタリング評価を行って、その結果をプログラム関係実践家と協議し、より効果的なプログラムモデルに発展させるためのアプローチ法を提示する。
図Ⅱ3-4-1には、「フィデリティ評価調査の実施と評価結果の活用」の課題処理フローチャートを示した。
「フィデリティ評価調査の実施と評価結果の活用」は、基本的には、「Ⅱ2-1. 効果的援助要素リスト」がどのように実施されているのかを、確認することを通して行われる。
その基盤には、「Ⅱ1-2. プログラム理論：プロセス理論（サービス利用計画）」と「Ⅱ1-3. プログラム理論：プロセス理論（組織計画）」があることは言うまでもない。同時に、評価実施組織において適切にそのフィデリティ評価調査が実施できるかどうか、「Ⅱ2-2. 効果的プログラムモデルの実施マニュアル」の検討も不可避である。またプログラム評価のエビデンスを得るための評価活動には、一定の時間的・人材的・経済的コストが伴うために、評価実施組織の評価実施能力・容量（組織キャパシティ）が問われてくる。これらの条件を総合的に勘案して、適切なフィデリティ評価調査を行う評価デザインを構築する必要がある。
「フィデリティ評価調査の評価結果」は、「Ⅱ2-2. 効果的プログラムモデルの実施マニュアル」の改善に役立てられるとともに、「プロセス理論（サービス利用計画）」「プロセス理論（組織計画）」に反映され、より効果的なプログラムモデルに発展させるために役立てられる。
フィデリティ評価調査の実施と評価結果の活用の実施手順は、図Ⅱ3-4-2に示した。
【図Ⅱ3-4-1、および図Ⅱ3-4-2】
１) インプット
①効果的プログラムモデルのフィデリティ評価調査
1. 目的と意義
フィデリティ評価調査は、福祉実践プログラムが、効果的なプログラムとして機能し、より効果的なプログラムモデルに発展することをめざして、実践現場においてプログラム効果を生み出す効果的援助要素が適切に実施されているかどうかを、日常的にモニタリングするために行われる。プログラム実施現場で自己評価で、サービスの質を維持・向上するための取り組みとともに、第三者によるモニタリング評価によって行う。この「効果的プログラムモデルのフィデリティ評価調査」は、主に第三者による評価調査によって行われる。
２. フィデリティ評価調査の対象事業所の設定
フィデリティ評価調査は、評価担当者がプログラム実施事業所を訪問し、実践現場との意見交換によって評価をおこなう。
フィデリティ評価調査の実施は、実施されているプログラムの状況や提供されているサービスについてモニタリングを希望する事業所である場合もあれば、効果的プログラムモデル構築のためのプログラム評価研究の一環として行われる場合もある。
効果モデル構築のためのプログラム評価研究として実施する場合は、①関係団体などの紹介により評価調査に協力の得られる事業所を対象にすること、②公募によって、効果の上がるプログラムモデル形成に関心を示し、参加を希望する事業所を募ることがある。
参加事業所数は、評価研究のデザインによってさまざまである。一般的に、アウトカム指標との関係で効果的援助要素を検討する研究では、量的分析とともに質的検討を行うために20事業所程度を対象にすることが多い。
３. フィデリティ評価調査のプロセス概要
評価調査の具体的な進め方は、「フィデリティ評価モニタリング調査の進め方ガイドライン（T23-004）」に示した。以下に、フィデリティ評価調査プロセスの概要を示す。
評価調査に先立ち、評価者側は、可能な限り事前に事業所に関する情報を収集・検討しておく。業務の妨げにならない最大の配慮をおこない、関係作り、関係性を大切にし、実践現場との意見交換を通した評価を心がける。
対象事業所の地域特性や事業所背景について、周辺状況や他関係機関との関係性、地域での対象事業所の位置づけなどについて情報を得るようにする。
面接調査では、効果的援助要素の項目、要素ごとにプログラムゴールを達成するために行っている対象事業所での配慮点、工夫、実践的配慮・努力を聞き取りながらチェックシートのうち、該当する項目としない項目を共有する。
可能なかぎり、施設周辺の支援環境についても、見学や活動場面参加、会議に参加させて頂く。関係機関とも意見交換できることが望ましい。また、自己評価チェックリスト以外の調査票の確認と必要に応じた説明をおこなう。
聞き取った内容に不明な点がある場合や、他の対象事業所評価調査との整合性が取れない事情が生じた場合には、電話などによる追加調査をおこない、評価調査終了後すみやかに評価結果を返すようにする。調査内容や評価結果に間違いがないかを確認し、調査報告書への記載の了解と確認の依頼をおこなう。
後日、フィデリティ評価調査の結果は、評価対象事業所にフィードバックする。
４. 訪問調査時の面接調査における質問事項の留意点
概要説明と異なる部分や、対象事業所の自己評価と評価者のおこなう評価が一致しない項目については、色ペンなどで区別し、担当者に丁寧に確認する。
チェックシートをその場で確認し、チェックがつく項目やつかない項目を共有する。項目ごとにその事業所での配慮点、工夫点を具体的に確認する。
チェックシートにチェックがない項目については以下の点を項目ごとに確認する。
a) その項目に積極的に取り組む必要性を感じているか。
b) なぜ達成できていないと考えるか。
c) その障壁となるもの何だと考えているか。
d) その障壁を取り除くためには何が必要だと考えているのか。
５. 訪問調査時の即時フィードバック
対象事業所の取り組み状況を確認したうえで、事業所のストレングスと思われる点を担当者に伝える。達成が困難な項目については、その理由として考えられるものを一緒に検討し、他事業所の取り組みの工夫を情報提供することで、サービスに取り入れることができるかを検討する。対象事業所では改善できない要因も考えられるため、他の項目で補完することについての可能性や方法をともに考える。さらに、プログラム実施の経過とともに達成可能な項目に変化があるか、その理由についても検討をおこなう。
６. 訪問調査時の意見交換
フィデリティ評価調査訪問時には、面接票・インタビューガイドに設定された質問だけでなく、訪問した事業所の実例に即して意見交換を行う。また、プログラム関係実践家がフィデリティモニタリング評価調査に何を望んでいるのかについても可能な方法で考えを伺う。特に、自らフィデリティ評価調査を希望した事業所に対しては、評価調査を必要とした理由なども確認できると良い。それにより、適切な調査結果のフィードバックと必要なコンサルテーションが可能になる。
７. フィデリティ評価調査・訪問調査の事例報告書の作成
評価調査から戻ったら、できるだけ速やかに事例報告書をまとめる。
②フィデリティ評価モニタリング調査・訪問時における意見交換
フィデリティ評価モニタリングでは、評価担当者が訪問して、プログラム関係実践家と意見交換しながら評価を行う。これは実践現場と、効果的援助要素について、フィデリティ評価項目に沿う形で意見交換・情報交流ができる掛け替えのない貴重な機会となる。
③自己評価によるフィデリティモニタリング評価調査
1. 意義と目的
自己評価によるフィデリティモニタリング評価調査は，実践家が自らの取り組みが効果的なプログラムモデルのプロセス理論（サービス利用計画［21-2-31, 21-2-32］，組織計画［21-3-31］）をどの程度踏まえて実施できているかを，実践家（または実施機関の管理部門）が定期的に確認し，日々の実践に活かすことを目的として行う。
フィデリティ評価を自己評価で定期的に行うことによって，自分たちの取り組みを細やかに確認することができ，継続的な質の実践の向上に役立てることができる。また，継続的なアウトカムモニタリングとの関連で検討することにより，効果を上げているとき，および効果を上げられていない時の効果的援助要素の実施度の違いを，自分たちで確認し，実践の見直しに役立てることができる。さらに，第三者が評価するフィデリティ評価調査（23-4-11）のための資料として用いることもできる。
2. フィデリティモニタリング評価調査の方法
フィデリティモニタリング評価調査は，効果的プログラムモデルの効果的援助要素リスト（22-1-13）およびフィデリティ尺度（22-1-33）を用いて行う。
まず，自機関の過去の取り組みについて，効果的援助要素リストのチェックボックスに示される下位要素がどの程度満たしているかをチェックする。次に，フィデリティ尺度の各アンカーポイントを参照しながら，尺度の各項目の得点を決定する。調査の詳細な進め方は「自己評価によるフィデリティ評価モニタリング調査の進め方ガイドライン」（T23-005）を参照。
自己評価によるフィデリティモニタリング評価は，第三者を交えずに行うことができるという点で，実施が容易である。そのため，可能であれば3ヵ月に1回程度の頻度で自己評価を行うことが望ましい。
3. フィデリティモニタリング評価調査のまとめ
フィデリティ評価調査の結果は，第三者が行う場合と同様の方法でまとめておく（23-4-11）。すなわち，効果的援助要素の各項目および各下位領域の得点を，レーダーチャート等の全体像が分かりやすい方法でまとめる。そのうえで，実施度の高い要素・領域，実施度の低い要素，領域をまとめる。
継続的に実施した場合，ひとつのシートでフィデリティ得点を時点ごとにまとめておくと，継時的な実施度の変化が把握しやすい。
④効果的プログラムﾓﾃﾞﾙの実施マニュアル
効果的プログラムモデルの実施マニュアルは、「Ⅱ2-2. 効果的プログラムモデルの実施マニュアルの作成(22-2-01)」に提示されている。
２) 検討方法
①フィデリティモニタリング評価調査結果の分析
１. フィデリティモニタリング評価調査結果の分析の方針
フィデリティモニタリング評価調査の結果は、評価対象となった実践プログラムをより良いものにするために、実践家参画型で分析・検討される。達成が困難な項目については、困難の原因を探ることで課題を抽出する。またどのような条件が整い、どのようにすれば達成が可能になるかの工夫や配慮について、実践現場との対話を通して検討する。実施可能なもの、実現可能性の高い改善案をまとめる。
フィデリティ尺度の各項目は、「Ⅱ3-3. 効果的プログラムモデルのフィデリティ尺度作成と活用計画」の２) 検討方法①「効果的援助要素リスト･チェックボックスを用いたフィデリティ尺度作成の手引き」(23-3-21)に示したように、通常、５件法（１点～５点）に整理する。また、フィデリティ総合尺度や下位尺度は、リッカート法で尺度構成するが、それぞれの尺度は尺度項目数で除して、１点から５点の項目平均得点を求めておく。フィデリティ尺度のアンカーポイント（全般評価）は、「3点：効果的な支援内容が中程度に行われている」「4点：効果的な支援内容が一定レベルで適切に行われている」「5点：日本の現状から見て、現時点で望まれる効果的な支援内容」(23-3-21)であり、項目平均４点を基準に、評価結果を分析する。同時に、取り組み施設全体の平均値や全国平均値があれば参考にする。
２. レーダーチャートによる比較分析
評価対象となった事業所のフィデリティ評価得点は、個別尺度得点、下位（領域）尺度得点（項目平均値）、全体スコア・総合尺度得点（項目平均値）別に整理して、１点から５点のレンジのレーダーチャートとして表示する。レーダーチャートには、評価対象となった事業所の平均得点、全国平均値があればその値を表示して、比較分析を行う。前項で触れたように、項目平均値４点を基準に、さらには取り組み施設の平均値や全国平均値を基準に、評価対象事業所のフィデリティ評価点を検討する。
レーダーチャートを用いることにより、効果的プログラムモデルの効果的援助要素の実施状況、到達状況が視覚的に容易に比較可能になる。達成が困難な項目については、事例分析等を用いてその原因を探り、課題の抽出を行う。
３. 事業所属性分析
評価対象となる実践プログラムにおいて、効果的援助要素とされるサービスやプログラム要素の実施を困難にする条件や要因は、実施事業所の属性別に共通することがある。事業開始年や事業所規模、利用対象者数、運営主体、設置される地域類型などである。これら事業所属性別に、フィデリティ評価尺度の個別尺度得点、下位（領域）尺度得点、全体スコア・総合尺度得点の平均値（標準偏差）を算出して企画検討する。
この分析によって、事業所属性別に共通する、実施困難要因や障壁条件、取り組み課題が明らかになる。
②フィデリティ評価モニタリング調査・訪問時における意見交換
フィデリティ評価モニタリングでは、評価担当者が訪問して、プログラム関係実践家と意見交換しながら評価を行う。これは実践現場と、効果的援助要素について、フィデリティ評価項目に沿う形で意見交換・情報交流ができる掛け替えのない機会となるだけでなく、評価結果を分析し、結果の理解を深めるための貴重な情報・知識を入手する場となる。また、プログラム関係実践家がフィデリティモニタリング評価調査に何を望んでいるのかを知る機会にもなり、そこでの情報に基づいて、適切な調査結果のフィードバックと必要なコンサルテーションが可能になる。
③研究者間のフォーカスグループ、検討会
本課題プロセス・１) インプットに示した、①～④を総合的に検討し、かつ２) 検討方法の①②を踏まえて、プロジェクト研究班事務局が中心となって、評価調査結果を分析して、その結果をフィードバックする方法を検討する。評価結果のフィードバックを行う際には、フィデリティモニタリング評価調査に何を望んでいるのかを明らかにするとともに、２) 検討方法の「⑤組織的キャパシティ分析」の結果も踏まえて、現実的で改善可能な問題提起と提案（案）を作成する。
④プログラム関係実践家･利用者とのフォーカスグループ､意見交換会
研究者間のフォーカスグループ、検討会でまとめられた評価調査の分析結果と、分析結果を踏まえた改善可能な問題提起と提案（案）を、プログラム関係実践家、利用者、家族、行政関係者などの利害関係者に集まって頂き、グループ討論を行って内容を検討する。
⑤組織的キャパシティ分析
３) アウトプット
①フィデリティ評価モニタリング調査のフィードバック報告書
１. フィードバック報告書の目的
フィデリティ評価調査の評価結果を報告書としてまとめ、評価を受けた事業所にフィードバックすることは、事業所サイドでは、プログラム実施状況を確認するとともに、外部評価者による評価結果をプログラムの改善のために活かす材料にして頂くことを目的としている。
一方、フィデリティ評価調査を実施する、プログラム開発者側では、評価結果をフィードバックし、実践現場からその結果に対する反応を受けて、討議することによって、効果的援助要素やフィデリティ尺度、さらには、プログラム理論の再構築の必要性まで検討することができる。CD-TEP評価アプローチ法の円環的対話の主要な場とすることができる。
２. フィードバック報告書に盛り込むべき内容、構成
フィデリティ評価モニタリング調査のフィードバック報告書は、評価対象となった事業所ごとに作成される。この報告書に盛り込むべき内容は、まず、フィデリティ評価尺度で把握された効果的プログラムモデルの「効果的援助要素」の実施状況、到達状況の現状である。その状況を、取り組み施設全体の平均値や全国平均値との比較から、視覚的にレーダーチャートで明らかにする。
同時に、実践家参画型で事業所におけるプログラムの実施内容を改善し、より良い効果的プログラムモデルを構築するために、事業所のストレングスに焦点を当てたフィードバックと、改善点の主体的取り組みを促すコメントを報告書の内容に加える。
具体的な内容としては、以下のとおりである。
ａ) フィードバック報告書の目的と趣旨
ｂ) 効果的援助要素各項目、領域得点、全スコア得点
ｃ) 効果的援助要素各項目、領域得点、全スコア得点の取り組み施設全体の平均値や全国平均値との比較
ｄ) 各領域（あるいは各項目）についての聞き取り内容の概要と評価者のコメント（ストレングスに焦点を当てたフィードバックと対象事業所が置かれた様々な事情に関する理解、および改善点の指摘）
ｅ) 総括的コメント
【ツール報告書作成の手引き：道明氏・自己評価フィデリティ評価モニタリング報告書】
【報告書サンプル提示】
３. フィードバック報告書作成時の留意点
評価内容を文章で示すとともに、グラフなどを用いて視覚的に分かりやすく提供する。取り組み施設全体の平均値や全国平均値を示すことで、取り組み事業所全体の中での相対的な位置づけが明確になり、効果的援助要素の達成度を項目ごとに一目で把握することができる。一方で、他の評価対象事業所よりも明らかに評価が低い事業所に対しては、事業所の状況に応じた理解と、その中での改善方策が、事業所の主体的な取り組みによって志向されるように配慮あるコメントが必要である。
４. 実践プログラム全体への示唆、個別報告書と全体報告書の関連
フィードバック報告書は、原則的には評価対象となった個別事業所ごとに作成される。一方で、フィデリティ評価モニタリング調査全体の報告書も、特に研究目的でフィデリティ評価調査が行われる場合にはまとめる必要がある。
個別のフィードバック報告書を取りまとめる過程、さらにはフィードバック報告書を対象事業所にフィードバックし、その事業所から評価結果に対する反応を受けて、討議する過程の中で、効果的援助要素やフィデリティ尺度、プログラム理論の再構築の必要性まで検討することができる。全体報告書の中では、フィデリティ評価調査の実施状況、評価結果の提示とともに、これら効果的プログラムモデル構築に関わる検討結果についても提示する必要がある。
②フィデリティ評価モニタリング調査のフィードバック､意見交換の方法
プログラム実施事業所に訪問してフィデリティモニタリング調査が終了したら、その場で、対面的な即時フィードバックを行う。このために、フィデリティモニタリング調査では、可能な限り即時フィードバックの時間（30～60分程度）を確保できるよう、訪問前に調整をしておくこと必要がある。
即時フィードバックは、フィデリティ尺度の得点、フィデリティ評価モニタリング調査・訪問時における意見交換（23-4-22）を踏まえて、以下のa～dの順に行う。
a. プログラムの取り組みで優れた点、ストレングスを10項目程度フィードバックする。
・フィデリティ尺度の項目や領域得点で、4点以上のものを指摘する。その項目や領域が4点以上であることの利点を合わせて伝える。
※フィデリティ尺度の項目や領域得点で、4点以上のものがない、あるいは10項目に満たない場合、項目や領域のなかで相対的に得点が高い項目や領域を指摘する。その項目や領域が高いことの利点を合わせて伝える。
・調査訪問の間のジョブシャドウや聴き取り、意見交換時に確認された、フィデリティ得点やアウトカムを高めるために工夫されている取り組みを指摘する。フィデリティ尺度の得点のみで10項目以上確認された場合でも、この工夫点はフィードバックに含めることが推奨される。
b. 取り組みにおける課題点、次のステップになる点を2～4項目フィードバックする。
・フィデリティ尺度の項目や領域得点で4点未満のものを指摘する。その項目や領域が4点以上であることの利点を合わせて伝える。
※フィデリティ尺度の項目や領域得点で4点未満のものが多い場合、項目や領域のなかで相対的に得点が低い項目や領域、あるいは短期的に改善が可能と思われる点を指摘する。その項目や領域が高いことの利点を合わせて伝える。
・調査訪問の間のジョブシャドウや聴き取り、意見交換時に確認された課題点を指摘する。ここでは、できるだけ短期的に変化可能な点に焦点を当てる。また、それを踏まえて長期的に変化・達成が求められる点を合わせて伝える。
c. 課題、次なるステップとなる点の改善・克服方法を検討する
・bで指摘した課題点を、aで指摘したストレングスを活かしてどのように改善・克服できるかについて、施設担当者・スタッフの考えを求める。施設担当者、スタッフの改善・克服に向けた考えは、肯定的に支持する。
・フィデリティモニタリング調査実施者が考える改善・克服の提示し、それに対する施設担当者、スタッフの考えを求める。
・上記を踏まえて、具体的な次の実施計画に関する意見交換を行う。可能であれば、その場でいくつかの案を作成することを支援する。
d. 即時フィードバックの終了と報告書送付の後日送付を伝える
・ここで行った即時フィードバックは暫定的なものであり、後日、改めてフィデリティモニタリング調査結果を検討して、フィードバック報告書（23-4-31）を送付することを伝え、即時フィードバックを終了する。
③自己評価フィデリティ評価モニタリングのまとめ、報告書
１. 自己評価フィデリティ評価モニタリング報告書の目的
自己評価モニタリング報告書は、プログラム実施事業所が、１～３ヶ月おきに定期的に実施して来たフィデリティ評価モニタリングの結果を、年度ごとに事業所の取り組みを振り返る目的でまとめられる。
報告書は事業実施年報のような形でまとめられる。プログラム実施事業所の関係スタッフ間で共有するとともに、事業所のプログラム実施に関わる利用者、家族、関係機関、プログラムの運営資金を出資する主体などの関係者と共有するとともに、同じ実践プログラムに取り組む関係者やプログラムに関心をもつ関係者に配布する。
報告書には、アウトカムモニタリングの結果(23-2-13)と併せてまとめることが望ましい。それによって、事業所の取り組み経過が確認されるとともに、成果（アウトカム）との関連で効果的援助要素がどのように反映しているのかを、事業所レベルで把握し、次なる改善への示唆を得ることができる。
２. 報告書に盛り込むべき内容、構成
報告書は、前項で述べたとおり、プログラム実施事業所のプログラム実施に関わる多くの関係者に実施の成果を共有するために作成されるため、多様な関係者にプログラムの背景と取り組みの歴史、現状と課題が分かりやすくまとめられる必要がある。
実施事業所の中でそのプログラムに取り組むようになった背景と経緯、プログラム導入の目的を示すとともに、現状の取り組みを年度単位の経緯とともに記述する。アウトカムモニタリングの結果(23-2-13)と併せて掲載することが望ましい。さらに今後の課題と改善点を、プログラムの成果（アウトカム）との関連から、プログラム取り組み状況を検討する中で提示する。
具体的な内容としては、以下の項目を含める。
- ａ) プログラム導入の背景、経緯、目的
- ｂ) (年度における)自己評価フィデリティ評価モニタリング結果の推移
- ｃ) (年度における)アウトカムモニタリング結果の推移
- ｄ) 成果（アウトカム）に結び付くプログラム取り組み状況に関する考察
- ｅ) 今後の課題と改善への示唆
３. 報告書作成時の留意点
報告書は、プログラム実施に関わる多くの関係者がプログラムの背景と取り組みの歴史、現状と課題を共有できるよう、分かりやすく、グラフなど視覚的に理解できるようまとめる必要がある。また、今後の課題や改善の課題を、関係者全体で共有できるよう説得力ある形で論点を絞って提示することが求められる。