概要
社会プログラムの「効果的援助要素リスト」は、効果的なプログラム実施に関わる主要な実施方法を示したものである。社会プログラムがゴールとするアウトカム指標を改善するという科学的根拠に根ざすとともに、効果的なプログラムモデルのプログラム理論にも準拠することが期待されている。それとともに、効果的なプログラム実施についての創意・工夫、実践上の改善点を反映して設定される。
CD-TEPプログラム評価アプローチ法では、実践現場の創意・工夫、実践上の改善点を、チェックボックス形式で整理することを提唱している((S008)参照)。このチェックボックス形式の「効果的援助要素」は、「Ⅱ2-2. 効果的プログラムモデルの実施マニュアル」(22-2-01)に適用されるとともに、「Ⅱ3-3. 効果的プログラムモデルのフィデリティ尺度」(23-3-01)にも活用される。
図Ⅱ2-1-1には、「Ⅱ2-1. 効果的援助要素リストの作成」の課題処理フローチャートを示した。「効果的援助要素リスト」は、「Ⅱ1-2 プログラム理論・プロセス理論:サービス利用計画」(21-2-01)、「Ⅱ1-3 プログラム理論・プロセス理論:組織計画」(21-3-01)に基づいて作成されるとともに、実践現場の創意・工夫、実践上の改善点を反映するために、「GPプログラム事例の現場踏査調査」(22-1-14)、「プログラム関係者とのフォーカスグループ」(22-1-12)に基づいて構築される。
作成された「効果的援助要素リスト」は、先ほど触れたように、「Ⅱ2-2. 効果的プログラムモデルの実施マニュアル」(22-2-01)に適用されるとともに、「Ⅱ3-3. 効果的プログラムモデルのフィデリティ尺度」(23-3-01)にも活用される。
効果的援助要素リストの作成手順は、図Ⅱ2-1-2に示した。
1) インプット
①プログラムインパクト理論、プロセス理論
検討する福祉実践プログラムのインパクト理論、プロセス理論は、インパクト理論(21-1-31)、プロセス理論サービス利用計画Ⅰ・Ⅱ(21-2-31)(21-2-32)、プロセス理論組織計画(21-3-31)に分かれて、「Ⅱ1. プログラム理論の評価と構築・再構築フェーズ(21-0-01)」にある。
②関連するEBPプログラム、ベストプラクティスプログラムとの比較分析
取り上げる福祉実践プログラムと同様のプログラムゴールを持つ、EBPプログラム、ベストプラクティスプログラムの文献や関連資料を収集、分析する。可能な限り国際的な文献データベースでの体系的な文献収集が望ましい(Web of Science, Medlineなど)。
それらプログラムのアウトカムに良い影響を及ぼすプログラム要素、効果的援助要素、フィデリティ尺度項目などの記載があれば参考にする。
③プログラム関係実践家・利用者とのフォーカスグループ、意見交換会
1. フォーカスグループ、意見交換会の設定
既存・試行プログラムが実施されている場合は、その社会プログラムに関わっているプログラム関係実践家に集まって頂き、フォーカスグループ面接や意見交換会を実施する。さらに、プログラムの利用者、家族、行政関係者などの利害関係者に集まって頂き同様に実施する。
プログラム関係実践家については、社会的発信力のあるグッドプラクティス(GP)事例(GP事例)の関係者、全国調査等で把握されたGP事例の関係者(12-1-32)のほか、関連領域の実践、研究などで社会的影響力のあるエキスパートにも依頼する。
フォーカスグループや意見交換会を単独で実施するほか、効果モデル試行評価調査の実施(23-2-11)などのため、実施マニュアル(22-2-31)を用いたモデル試行実施説明会、モデル試行研修会を兼ねて行うこともできる(23-2-23)。
参加者数は、7人~12人程度を目安とする。プロジェクト研究班事務局がファシリテーターとなりグループを進行する。開催時間は概ね90分~120分を目処とする。モデル試行実施説明会、モデル試行研修会を兼ねて行う場合は、1日あるいは2日をかけて実施しても良い。
2. フォーカスグループ、意見交換会の内容
プロジェクト研究班事務局の「効果的援助要素リスト案」(22-1-31)が既に存在したり、既存の「効果的援助要素リスト」の改訂を行う場合は、現行の「効果的援助要素リスト」を用いて意見交換を行う。その際、検討課題が明確な場合は、その焦点となる課題を中心にフォーカスグループ面接を実施する。プロジェクト研究班事務局がファシリテーターとなりグループで、検討課題を中心に議論できるよう配慮する。
「効果的援助要素リスト」がまだできていない場合、検討課題があいまいな状況の場合は、ブレーンストーミング的なグループ発想技法を用いても良い。その際、予備的プログラム理論(インパクト理論、プロセス理論)(21-1-31)(21-2-31)(21-2-32)(21-3-31)を用意して、グループの検討資料にする。議論する内容は、社会プログラムが解決をめざすべきゴールについて、ゴールを達成するために必要な現状サービスの改善点、ゴール達成のためにそれぞれが取り組んでいる創意・工夫、実践上の配慮点、改善点、利用者ニーズに対する効果的な取り組みをどのように考えるのか、などの点を中心とし、自由に意見交換を行う。
事前に「効果的援助要素リスト」に対する、エキスパートによる有用性、重要性調査(22-1-16)が実施されている場合は、その調査結果を踏まえてグループの中で意見交換を行っても良い。
3. フォーカスグループ、意見交換会の記録、報告書作成
フォーカスグループ、意見交換会の内容は録音して保存する。可能な限り文字に起こして報告書を作成し、プロジェクト研究班事務局、その他の関係者間でその内容を共有する。
④グッドプラクティス(GP)事例の現場踏査調査
1. GP事例の現場踏査調査の設定
既存・試行プログラムが実施されている場合は、グッドプラクティス(GP)事例(GP事例)に対する現場踏査調査を実施する。GP事例は、「プログラム関係者、利害関係者からの聞き取り調査(12-1-11)」や、「既存制度モデル・試行的事業モデルの実情把握調査(12-1-13)」に基づく、「グッドプラクティス(GP)事例報告書(12-1-32)」などによって、10事例~20事例程度を選定する。
現場踏査調査の設定方法は、「GP事例の現場踏査調査進め方ガイドライン(T001)」に記載してある。
2. GP事例の現場踏査調査のインタビューガイド、面接調査票の作成
全般的な作成方法は、「GP事例の現場踏査調査半構造化面接調査票、インタビューガイドの作成方法ガイドライン(T002)」に記載。面接票・インタビューガイドの実例は、(S001)(S002)などを参照。
「予備的プログラム理論」(「予備的インパクト理論(21-1-01)」「予備的プロセス理論サービス利用計画(21-2-01)」「予備的プロセス理論組織計画(21-3-01)」に基づいて、半構造化面接調査票、インタビューガイドの質問項目を設定する。「予備的プログラム理論」は、「既存制度モデル・試行的事業モデルの実施要綱(21-1-11)(21-2-11)(21-3-11)」、「関連するEBPプログラム、ベストプラクティスプログラムの知見、文献調査結果(21-1-12)(21-2-12)(21-3-12)」、「プログラム関係実践家・利用者とのフォーカスグループ、意見交換会(21-1-13)(21-2-13)(21-3-13)」などに基づいて作成する。
作成した「予備的インパクト理論(21-1-31)」「予備的プロセス理論サービス利用計画)(21-2-31)(21-2-32)」「予備的プロセス理論組織計画)(21-3-31)」で重視し、かつ既存・試行プログラムでは、必ずしも位置づけが明確ではないプログラム要素については、その位置づけに対する意見を尋ねる。
既存・試行プログラムで位置づけが明確ではないが、予備的プロセス理論において設定するプログラム要素(「効果的援助要素」)は、国際的な水準で先行文献に基づいて設定されるものや、理論的な検討など、「関連するEBPプログラム、ベストプラクティスプログラムの知見、文献調査結果(21-3-12)」に基づいて設定されるプログラム要素(「効果的援助要素」である。
3. GP事例の現場踏査調査時の意見交換
現場踏査調査時には、面接票・インタビューガイドに設定された質問(T001)だけでなく、GP事例において設定しているプログラムゴールとの関係で行われる創意・工夫、配慮、改善のための努力、既存・試行プログラムでは必ずしも位置づけが明確ではないプログラム要素に対する意見など、GP事例の実例に即して意見交換を行う。
4. GP事例の現場踏査調査事例報告書の作成
GP事例の現場踏査調査から戻ったら、できるだけ速やかに事例報告書をまとめる。
全般的な事例報告書の内容と作成方法は、「GP事例の現場踏査調査事例報告書の作成方法ガイドライン(T003)」に記載。
GP事例ごとの「効果的援助要素」を浮き彫りにするために、事例考察・コメントには、特徴的な取り組み・事業所のストレングス、より効果的な取り組みになるための課題として、可能な限りそのGP事例における「効果的援助要素」を抽出するよう記載する。
⑤フィデリティ評価モニタリング調査における意見交換
「効果的援助要素リスト」は、フィデリティ評価尺度(23-3-01)に反映される。フィデリティ尺度を用いたモニタリング調査が行われ実践現場を訪問する際に、プログラム関係実践家と効果的援助要素の実施状況についての話し合いを行う(23-4-22)。その際、効果的援助要素の実施において困難がある点、またより効果的なプログラム実施のために、その実践家たちが創意・工夫、改善のための努力をしている点などについて意見交換を行う。
⑥アウトカム評価とフィデリティ評価・効果的援助要素の関連性分析
福祉実践プログラムがゴールとするアウトカムとの関連で、「効果的援助要素」が本当にプログラムの成果(アウトカム)と関連し、成果を生み出しているのか、に関して科学的根拠を確保する必要がある。CD-TEP法では、多施設合同・効果モデル試行評価調査(23-5-11)や、効果的援助要素の全国事業所実施状況調査(23-5-16)を実施することを推奨している。これらの評価調査、全国調査の結果から、効果的援助要素の実施状況が明らかになり、アウトカム指標との関連で相関分析や、フィデリティ評価尺度(FS尺度)の高低群別アウトカム指標の差異の検討が行われる(23-5-21)(23-5-23)。これらの評価調査の結果は報告書(23-5-31)(23-5-33)にまとめられ、より効果的な「効果的援助要素リスト」の検討のために活用される。
⑦エキスパートによる効果的援助要素に対する有用性、重要性調査
ある程度「効果的援助要素リスト」がまとまった段階で、グッドプラクティス(GP)事例(GP事例)の関係者や、関連領域の実践、研究などで社会的影響力のあるエキスパートに依頼して、各「効果的援助要素」に対する有用性(効果を生み出すために「必要か」「役に立つか」など)や重要性(効果を生み出すために「重要か」など)に関する自記式質問紙調査を実施する。その調査結果を集計し意見分布を提示して、再度同様の調査を実施するデルファイ調査を行うこともできる。
これら調査の中では、「効果的援助要素リスト」に示されていない要素があれば、指摘して頂く設問を用意する。
2) 検討方法
①チェックボックス形式効果的援助要素リスト検討の手引き
1. 効果的援助要素リストの基本的な構成・構造
社会プログラムの「効果的援助要素」とは、プログラムの援助効果を生み出すことに重要な貢献をする、プログラムの効果的な実施方法である。社会プログラムがゴールとするアウトカム指標を改善する科学的根拠に依拠するとともに、効果的なプログラムモデルのプログラム理論にも準拠することが期待されている。同時に、アウトカムを改善するために実践現場で行われる、効果的な取り組みについての創意・工夫、実践上の改善点を反映して設定される。CD-TEPプログラム評価アプローチ法では、実践現場の創意・工夫、実践上の改善点を、チェックボックス形式で整理することを推奨している。
「効果的援助要素」は、社会プログラムの実施プロセスに関わるものであり、基本的には、プログラム理論・プロセス理論のサービス利用計画と、組織計画が反映される。CD-TEP法で作成する効果的プログラムモデルのプログラム理論に取り入れられた主要なプログラム要素は、可能な限り盛り込むように配慮する。
「効果的援助要素」の項目数は、通常、プログラムの実践的なモニタリングを考慮して、簡便に把握できる15~30項目程度のプログラム理論上に位置付く主要な項目にとどめる。組織計画から5~10項目、サービス利用計画から10~20項目を抽出する。
CD-TEP法では、それぞれの「効果的援助要素」の内容を、実践現場における具体的な創意・工夫や実践的努力を反映するよう、チェックボックス形式の整理方法、評価方法を導入している。各「効果的援助要素」に位置付くチェックボックスの数は多い方が、創意・工夫の実例数が豊富で好ましいが、最終的には厳選して、5-6項目から10項目前後、可能であれば15項目以下に設定する。
2. 効果的援助要素リスト作成の手順
「効果的援助要素」リストの作成は、効果的プログラムモデルやプログラム理論の発展に伴って、段階的により良いものに発展させる。効果的プログラムモデルの設計図であるプログラム理論は、CD-TEP評価アプローチ法の図Ⅱ1-Bに示したように、らせん階段状に常により良い効果的なプログラムに発展・進化することが期待されている。
ここでは、便宜的に「第1次プログラム理論(実践現場の創意・工夫、改善点の反映を踏まえて構築)」「第2次プログラム理論(「効果的援助要素」の量的分析を踏まえて構築)」「第3次プログラム理論(プログラム関係者・利害関係者の合意形成、普及モデルの検討を通して形成)」(21-2-31)を設定する。プログラム理論が第1次、第2次、第3次と発展するにしたがって、「効果的援助要素」リストもより改善された良いものに発展していくことが期待されている。
なお、各種プログラム理論の作成時に使用した予備的プログラム理論に対応する効果的援助要素リストは存在しない。予備的プログラム理論の段階では、実践現場からの創意・工夫や、実践上の努力や配慮が反映されることが原則としてないからである。
3. 効果的援助要素リスト策定の基本方針
効果的援助要素は、まず、プログラム理論に準拠して設定される(CD-TEPの「T」)。プログラム理論の主にプロセス理論のサービス機能に関わる「サービス利用計画(21-2-31)(21-2-32)」と、サービス組織・構造に関わる「組織計画(21-3-31)」の主要な要素を反映して、効果的援助要素が設定される。課題となるプログラムゴールの実現と問題解決のために、時系列的プロセスで提供されるサービス機能の指針である「サービス利用計画Ⅰ型(21-2-31)」では、プログラムの入口から出口までのプロセス、あるいは出口以降のフォローアップを効果的援助要素に位置づける。また、生活施設など利用者が生活する場で、課題となるプログラムゴールの実現と問題解決のために、継続的に提供されるサービス機能の指針である「サービス利用計画Ⅱ型(21-2-32)」では、利用者本人の問題解決のために直接的に提供されるコアプログラムの援助要素とともに、内部組織のスタッフがより良いコアプログラムを提供できるように支援する側面的支援プログラムの援助要素も、効果的援助要素のリストに加えられる。同時に、「関連するEBPプログラム、ベストプラクティスプログラムとの比較分析(22-1-13)」を参照する必要がある。
効果的援助要素は、同時に、実践現場からのインプットが行われる(CD-TEPの「P」)。実践現場におけるさまざまな創意・工夫や実践的な努力や配慮が、効果的援助要素のチェックボックスに追加される(22-1-12)(22-1-14)(22-1-15)とともに、そのような追加を反映して、効果的援助要素の分類が変更になる場合も考慮される。
さらに、根拠にもとづく効果的プログラムモデルを構成する効果的援助要素を選定するには、科学的根拠・エビデンスを積み上げる必要がある(CD-TEPの「E」)。実践現場の創意・工夫、実践的な努力や配慮についての情報収集、意見収集も質的データによるエビデンスの集積である(22-1-14)(22-1-15)。同時に効果的なプログラムモデルを構成する「効果的援助要素」の量的な把握と評価(23-3-33)、それと対応する形で検討されるプログラムゴール、アウトカム評価との対応関係、相関関係(23-4-25)を検討する必要がある。これらの量的評価を科学的に適切に行って客観的なエビデンスを集積する必要がある。それと同時に、実践現場の中でも、プログラムゴール・アウトカムと、「効果的援助要素」を日常的にモニタリングして、その対応関係を検証(23-5-21)することも求められる。
これらの取り組みが総合的に行われて、効果的援助要素リストが、これらの検証を行きつ戻りつしながら、しだいにより適切な効果的モデルを反映する援助要素に発展して行く。
4. 効果的援助要素リストの策定手順①:プログラム理論からの反映方法
効果的援助要素リストが依拠するプログラム理論(22-1-11)は、主にプログラムプロセスに関わるプロセス理論であるサービス利用計画(21-2-31)(21-2-32)と、組織計画(21-3-31)である。効果的援助要素の項目はこれらプログラム理論の主要な要素を反映して作成される。
これらのプログラム理論作成に当たっては、「既存制度モデル・試行的事業モデルの実施要綱(21-1-11)」、「関連するEBPプログラム、ベストプラクティスプログラムの知見、文献調査結果(21-1-12)」、「プログラム関係実践家・利用者とのフォーカスグループ、意見交換会(21-1-13)」などが参照される。効果的援助要素の作成に当たっても、「関連するEBPプログラム、ベストプラクティスプログラムとの比較分析(22-1-13)」を参考にする必要がある。
5. 効果的援助要素リストの策定手順②:実践からのインプット
効果的援助要素リストを作成する上で、実践現場からのインプットがとても重要である。特に、実践現場におけるさまざまな創意・工夫や実践的な努力や配慮が、効果的援助要素のチェックボックスに追加され、効果的援助要素の分類が変更になる場合もある。実践現場からのインプットとしては、「プログラム関係者とのフォーカスグループ(22-1-12)」「グッドプラクティス(GP)事例の現場踏査調査(22-1-14)」「フィデリティモニタリングにおける意見交換(22-1-15)」などがある。
6. 効果的援助要素リストの策定手順③:科学的根拠・エビデンスからのインプット
効果的援助要素は、基本的には、プログラムゴールに関わるアウトカム指標を改善するのに関連する、有効なプログラム要素を捉えたものである。科学的根拠・エビデンスに基づく効果的援助要素と言える。実践現場の創意・工夫、実践的な努力や配慮についての質的データによるエビデンスを集積するとともに(22-1-14)(22-1-15)、効果的なプログラムモデルを構成する「効果的援助要素」の量的な把握と評価(23-3-33)、それと対応する形で検討されるプログラムゴール、アウトカム評価との対応関係、相関関係(23-4-25)を検討する。同時に、実践現場の中でも、プログラムゴール・アウトカムと、「効果的援助要素」を日常的にモニタリングして、その対応関係を検証(23-5-21)することも求められる。これらの評価活動によって、科学的根拠・エビデンスに基づく効果的援助要素が整理されてくる。
②GP事例の事例分析
③関連するEBPプログラム、ベストプラクティスプログラムとの比較分析
④研究者間のフォーカスグループ、検討会
本課題プロセス・1) インプットに示した、①~⑦を総合的に検討し、かつ2) 検討方法の「①チェックボックス形式効果的援助要素リスト検討」、「②GP事例の事例分析」、「③関連するEBPプログラム、ベストプラクティスプログラムとの比較分析」を踏まえて(研究班の検討会で議論)、プロジェクト研究班事務局がたたき台となる「効果的援助要素リスト案」を提示する。
「効果的援助要素リスト」の事務局たたき台案において、課題となる点については研究者間でフォーカスグループを開催する。課題があいまいな場合はブレーンストーミング的なグループ発想技法を用いても良い。ホワイトボードを使用したり、プロジェクターに映写しながら、グループで出された意見をグループ内でまとめると良い。
⑤プログラム関係実践家・利用者とのフォーカスグループ、意見交換会
研究者間のフォーカスグループ、検討会でまとめられた「効果的援助要素リスト」案を、プログラム関係実践家、利用者、家族、行政関係者などの利害関係者に集まって頂き、グループ討論を行い、その内容を検討する。プログラム関係実践家・利用者とのフォーカスグループ、意見交換会の実施方法は、「プログラム関係実践家・利用者とのフォーカスグループ、意見交換会(22-1-13)」などに示した。
利害関係者のグループは、「効果的援助要素リスト」の作成当初は、プログラム関係実践家単独、利用者単独などで開催しても良い。最終的には社会的合意が形成される「効果的援助要素リスト」を作成するために、多様な利害関係者からなるフォーカスグループ、意見交換会を開催して合意形成をはかることが望ましい。
⑥フィデリティ評価モニタリング調査における意見交換
フィデリティ評価モニタリング調査における意見交換の位置づけは、「1) インプット⑤(22-1-15)」に示した。調査訪問時のプログラム関係実践家との議論の中で、実践現場に即したより効果的な「効果的援助要素」が明らかになれば、記録に留める。
3) アウトプット
①効果的プログラムモデルの効果的援助要素リストおよび改訂版の作成
1. 効果的援助要素リスト作成の発展手順
効果的援助要素リスト作成の手順は、「チェックボックス形式効果的援助要素リスト検討の手引き(22-1-21 )」に記載した。効果的援助要素リストは、プログラム理論が効果的プログラムモデルとして発展するプロセスとともに、より精緻化され、関係者の合意が得られる、有用な効果的援助要素に発展する(図Ⅱ1-B)。」「第1次プログラム理論(実践現場の創意・工夫、改善点の反映を踏まえて構築)」「第2次プログラム理論(「効果的援助要素」の量的分析を踏まえて構築)」「第3次プログラム理論(プログラム関係者・利害関係者の合意形成、普及モデルの検討を通して形成)」(21-1-31)(21-2-31)(21-2-32)(21-3-31)に対応して、それぞれ「第1次効果的援助要素リスト」「第2次効果的援助要素リスト」「第3次効果的援助要素リスト」が作成される。
2. 理解しやすく、構造化された効果的援助要素リストの作成
効果的援助要素リストは、実践現場に密着したプログラム要素であり、プログラム実施マニュアルとしても活用される。またプログラム利用者の立場からも、どのようなプログラムが実施されているのかを具体的に知る上で有用である。また、さまざまな立場の関係者に、具体的なプログラム内容を伝えることのできるものである。このため、効果的援助要素リストは、可能な限り、実践現場の実践家や利用者・家族にも理解しやすいものとして用意される必要がある。
同時に、効果的援助要素リストは、プログラムが効果的に適切に実施されているのかを、日常的にモニタリングするためにも活用される。そのため、効果的援助要素の内容がある程度構造化され、科学的な評価に耐えうるものになっている必要がある。
「効果的援助要素」の項目数は、通常、プログラムの実践的なモニタリングを考慮して、簡便に把握できる15~30項目程度に留める。プログラム理論上に位置付く主要な項目を中心に、プロセス理論組織計画から5~10項目、プロセス理論サービス利用計画から10~20項目を選定する。
これらの項目を、3~6領域程度の下位領域に設定し、A-1, A-2, B-3, C-2, C-3, F-4の要に整理する。組織計画に関わる領域は、通常、A領域に整理する。サービス利用計画に関わる領域は、B領域以降に配置する。
効果的援助要素の内容については、実践現場の創意・工夫、実践上の改善点を、チェックボックス形式で整理する。実践的で、具体的な内容を備えているが、同時に、ある程度さまざまな実践現場で適用できるような普遍性、一般性を備えた項目である必要がある。
効果的援助要素リストのサンプルは、(S008)に示した。
②効果的プログラムモデル実施マニュアルの改訂版作成
効果的プログラムモデル実施マニュアルの中核部分は、チェックボックス形式で作成された「効果的援助要素リスト」から構成されている。福祉実践プログラムの実践現場の業務に密接に関連する実施マニュアルは、必要に応じて随時、変更することが求められる。「効果的援助要素リスト」の改訂が行われたら、できるだけ速やかに、実施マニュアルの該当箇所を改訂する。
③効果的プログラムモデルのフィデリティ尺度の改訂版作成
効果的プログラムモデルのフィデリティ尺度の中核部分は、チェックボックス形式で作成された「効果的援助要素リスト」から構成されている。フィデリティ尺度は、常に最新の情報やエビデンスに基づいて適切なモニタリングを行う必要がある。「効果的援助要素リスト」の改訂が行われたら、できるだけ速やかに、効果的プログラムモデルのフィデリティ尺度の該当箇所を改訂する。