3. CD-TEPプログラム評価アプローチ法構築の方法

1) 検討した実践プログラム:

CD-TEPプログラム評価アプローチ法の記載内容は、研究班が2007年度から2010年度にかけて取り組んだ9実践プログラムに対する評価アプローチの経験から蓄積された知識を整理し、集約したものである
検討した実践プログラムは、社会福祉領域の実践プログラムに限定した。新しく登場した福祉実践プログラムのうち、導入期の既存制度プログラムや試行的事業のプログラムで、全国的にある程度実施されているが効果的な実践モデルが形成されていないと考えられる個別プログラム、および研究者や実践家サイドが福祉実践現場のニーズを踏まえて新規に開発した個別プログラムを取り上げた。具体的には、高齢者福祉領域では「認知症高齢者環境作りプログラム(分担責任者:日本社会事業大学・児玉桂子教授)」、児童・思春期福祉領域では「被虐待児回復、援助者支援プログラム(分担責任者:日本社会事業大学・藤岡孝志教授)」「ひきこもり・ニートへの就労支援プログラム(分担責任者:日本社会事業大学・山下英三郎教授)」、障害者福祉領域では「障害者就労移行支援プログラム(分担責任者:日本社会事業大学・佐藤久夫教授)」、精神保健福祉領域では「精神障害者退院促進支援プログラム(分担責任者:日本社会事業大学・大島巌教授)」ほかである。

2) 研究プロセス:

本研究で取り上げる実践プログラムの実践現場との共同で収集する科学的根拠とその構築、1990年代以降理論的にも実践的にも発展したプログラム評価の理論と方法論に基づいて、図A-2のとおり、制度モデル・既存モデルから暫定効果モデルの構築、提案効果モデルの構築を含む以下の6ステージを用い研究を進めた(大島ら、2010)。
すなわち、第Ⅰステージ「既存モデル・制度モデルの評価可能性アセスメント、プログラム理論評価」、第Ⅱステージ「 予備的プログラム評価調査の実施」、第Ⅲステージ「 暫定効果モデルの構築」、第Ⅳステージ「 全国プログラム評価調査の実施」、第Ⅴステージ「提案効果モデルの構築」、第Ⅵステージ「効果的なプログラムモデル構築のためのアプローチ法の確立と提案」である。

効果的モデル構築のアプローチ法検討は、以下のプロセスで実施した(図A-2参照)。

a. 第Ⅰステージ:既存モデル・制度モデルの「評価可能性アセスメント」

  • 既存モデル・制度モデルが解決を目指すべき問題を特定し、プログラムが本来目指すべきゴールと目標を明確化する。
  • 仮のプログラム・インパクト理論作成。
  • 既存モデル・制度モデルのプログラムモデルを確認。科学的根拠に基づく関連効果プログラムに対する文献的な検討、予備的ヒヤリング調査を行う。
  • プログラムゴールを実現し、プログラム効果を最大化するのに必要なプログラム援助要素を抽出。プログラム境界分析(既存制度内の要素、制度外の要素を再整理する)。
  • 仮のプロセス理論を作成する。制度外のプログラム要素で重要なものはプロセス理論に含める(たとえば、退院促進支援事業では退院後のフォローアップ、継続支援がプログラムに含まれないが、プロセス理論には含める、など)。

b. 第Ⅱステージ:「予備的プログラム評価調査」の実施

  • 当該プログラムに関わる関係者間で、良い成果をあげていると評価されるプログラム10~20事例に訪問事例調査を実施。
  • 第Ⅰステージで作成した仮のインパクト理論、プロセス理論に基いて焦点面接法調査票を作成して事例調査を実施。
  • 当該プログラムの効果的なプログラム要素を、事例的・質的分析から明らかにする。

c. 第Ⅲステージ: 暫定効果モデルの構築

  • 当該プログラムの暫定効果モデルを検討、暫定効果モデルのプログラム理論(インパクト理論、プロセス理論)を作成。インパクト理論と、プロセス理論の関係も検討。
  • 予備的プログラム評価調査の結果から効果的なプログラム援助要素(暫定版)を抽出。効果的援助要素の枠組みは合同研究会で検討。
  • 暫定効果モデルのプログラム理論、効果的なプログラム援助要素に基づいて、プログラム実施マニュアルを作成。
  • 暫定効果モデルのプログラム理論、効果的なプログラム援助要素、プログラム実施マニュアルに対して、実践家・エキスパートからの集団意見調査(フォーカスグループ)を行い、必要な改訂を行う。
  • 効果的なプログラム援助要素(暫定改訂版)に基づき暫定版フィデリティ尺度(Bondら、2000)を作成。

d. 第Ⅳステージ:「全国プログラム評価調査」の実施

  • 全国プログラム評価調査へ参加する施設・活動は、各プログラム15~20活動として全国から参加施設を募る。
  • 全国プログラム評価調査へ参加する機関の担当者に、暫定効果モデルのプログラム理論、効果的なプログラム援助要素、プログラム実施マニュアルを配布し、暫定効果モデルの実施方法に関する研修を実施。
  • 暫定効果モデル試行の実施期間は1年間とし、実施前後1年間でアウトカム評価調査とプロセス評価・フィデリティ評価を実施する。
  • 施設調査は6ヶ月間隔で行う。この施設調査は、研究員が施設・活動を訪問して、観察やヒヤリングを行う。

e. 第Ⅴステージ: 提案効果モデルの構築

  • 全国プログラム評価調査から、アウトカム指標とプロセス評価・フィデリティ評価項目との関係を分析。この分析から、アウトカムに寄与する援助要素という観点から効果的なプログラム援助要素を見直し、提案交換モデルを作成する。
  • 提案効果モデルに対応するプログラム理論、実施マニュアルを作成する。
  • 提案モデルに対して、実践家・エキスパートからの集団意見調査(フォーカスグループ)を行い必要な改訂を行う。
  • プログラム提案効果モデルのプログラム理論、効果的援助要素、実施マニュアルを印刷・公表する。

f. 第Ⅵステージ:効果的なプログラムモデル構築のためのアプローチ法の確立と提案

  • 社会福祉実践プログラムモデル構築のためのアプローチ法を検討しその方法をまとめる。
  • プログラム評価の理論と方法論に通暁した有識者(社会福祉領域、公衆衛生領域、プログラム評価領域の研究者等)に、作成したアプローチ法を提示して意見を求め必要な改訂を行う。

3) 共通知識の構築と共有化の方法の検討:

高齢者福祉領域、児童・思春期福祉領域、障害者福祉領域、精神保健福祉領域の新しい実践プログラム開発に関わる関係者が合同の研究会[EBSC (Evidence-Based Social Care) プログラム評価法研究会(企画・総括研究班)]を組織し、4年間12回の集中的な議論を重ねながら、各領域の福祉実践プログラムにプログラム評価の理論と方法論を適用し、それらがより効果的なプログラムに発展するためのアプローチ法(マニュアルや何種類かの様式集を含む)を検討し、関係者間で共有した。

【予備文書】

b. プログラム開発評価・評価基盤形成ステージ

この評価ステージでは、ある社会プログラムに対する社会的ニーズを体系的に明らかにし、課題となる社会問題の状況と、それを生み出す社会的背景や要因を分析するとともに、社会プログラムの対象となる社会的問題を抱えた人たち(標的集団)の状況、範囲、問題の程度を判断する。これに基づいてプログラムのゴールを設定し、ゴールを達成するのに最も有効な、組織的で計画された取り組みの単位(構造・機能・プロセス)をプログラムの単位(プログラムモデル)として設定する。そこにはプログラムの理念や使命、ビジョンが求められる。そのプログラム単位がどのように定義されるか、ゴール設定がどのように共有化されているかが重要であり、評価可能性アセスメント(evaluability assessment)として体系的な取り組みを行う必要がある。