概要
フィデリティ尺度(fidelity scales)とは、効果的プログラムモデルの基準にどのくらい準拠しているか、適合しているかの程度を把握するプロセス評価のための評価尺度である2)。より良いアウトカムを予測する効果的なプログラム援助要素を組み合わせて尺度構成する。この尺度は、モニタリング評価調査に使用するとともに、効果的プログラムモデルを形成・発展させるためには不可欠の評価用具と考えられている。
近年、対人ケアのサービス研究領域で大いに注目されて、頻繁に使用されるようになった。特に、フィデリティ尺度は、実践が意図されたとおりに導入されているかどうかを評価する系統的なプロセスモニタリングの方法であり、EBPプログラム、およびサービス普及研究では不可欠の評価法とされるようになった2,3,5)。フィデリティ尺度が重視されようになった背景には、EBP（科学的根拠に基づく実践）への注目が集まり、EBPの基準に適切にしたがって実施された実践プログラムが、より良い成果・アウトカムをもたらすことが実証的に明らかにされるようになったためでもある。
さらに、サービス普及研究では、フィデリティ評価を含む体系的なプロセス評価を実施しながら、EBPプログラムの実施・普及に影響する諸要因、困難・障壁の分析などが行われる。このような実証研究の結果に基づいて、EBPプログラムの改善のための方策が、フィデリティ尺度を中核にしながら、実証的に検討されている。
効果的なプログラムモデルの発展をめざすCD-TEP法においても、フィデリティ尺度はこのアプローチ法の基盤を形成するものである。
実践現場からの効果的プログラムの発展・進化を考慮するCD-TEP法では、フィデリティ評価の基礎となる効果的援助要素リストを、実践現場の創意・工夫、実践的努力の反映であるチェックボックスを用いて構成する。フィデリティ尺度の尺度構成においても、このチェックボックス方式を活用する。さらに、効果的プログラムモデルの発展に対応して、実践現場において有用な創意・工夫、実践的努力によるプログラム実施方法が生み出された場合は、速やかにフィデリティ尺度に反映できるよう配慮している。
この課題プロセスでは、チェックボックス形式を用いた効果的援助要素リストを基盤にして、効果的プログラムモデルのフィデリティ尺度を構築する方法を示すとともに、その活用計画の作成について提示する。
図Ⅱ3-3-1には、「効果的プログラムモデルのフィデリティ尺度作成と活用計画」の課題処理フローチャートを示した。
「効果的プログラムモデルのフィデリティ尺度作成」は、基本的には、「Ⅱ2-1. 効果的援助要素リスト」、その基盤となる実践現場の創意・工夫、実践的努力の反映であるチェックボックスに基づいて構築する。同時に、「Ⅱ3-5. アウトカム評価とフィデリティ評価・効果的援助要素の関連性検証」によって分析される、より良くプログラムアウトカムに結び付く尺度としても構築する。
上記のように構築した「効果的プログラムモデルのフィデリティ尺度」は、「Ⅱ3-4. フィデリティ評価調査の実施」や「Ⅱ3-5. アウトカム評価とフィデリティ評価・効果的援助要素の関連性検証」に活用されると共に、「Ⅱ1-2. プログラム理論の構築・再構築：プロセス理論（サービス利用計画）」や「Ⅱ1-3. プログラム理論の構築・再構築：プロセス理論（組織計画）」にも反映される。
効果的プログラムモデルのフィデリティ尺度作成と活用計画の実施手順は、図Ⅱ3-3-2に示した。
【図Ⅱ3-3-1、および図Ⅱ3-3-2】
１) インプット
①効果的援助要素リストおよび改訂版（１次、２次、３次）
フィデリティ評価尺度の基盤となる効果的援助要素リストの作成方法については、「Ⅱ2-1. 効果的援助要素リストの作成(22-1-01)」に提示されている。
②フィデリティ評価モニタリングにおける訪問調査と意見交換
フィデリティ評価モニタリングでは、評価担当者が訪問して、プログラム関係実践家と意見交換しながら評価を行う。これは実践現場と、効果的援助要素について、フィデリティ評価項目に沿う形で意見交換・情報交流ができる掛け替えのない貴重な機会となる。
③効果的プログラムﾓﾃﾞﾙの実施マニュアル
効果的プログラムモデルの実施マニュアルは、「Ⅱ2-2. 効果的プログラムモデルの実施マニュアルの作成(22-2-01)」に提示されている。
④アウトカム評価とフィデリティ評価・効果的援助要素の関連性の検証結果
アウトカム評価とフィデリティ評価・効果的援助要素の関連性の検証の内容およびその報告書(23-5-31)(23-5-32)については、「Ⅱ3-5. アウトカム評価とフィデリティ評価・効果的援助要素の関連性の検証、評価結果の活用(23-5-01)」に提示されている。
２) 検討方法
①効果的援助要素リスト･ﾁｪｯｸﾎﾞｯｸｽを用いたフィデリティ尺度作成の手引き
１. フィデリティ尺度の趣旨と概要
フィデリティ尺度は、あるプログラムが効果的なプログラムモデルの基準に準拠している程度を測定する尺度である2)。良いアウトカムを予測する効果的なプログラム援助要素を組み合わせて尺度構成する。フィデリティ尺度は、実践が意図されたとおりに導入されているかどうかを評価する系統的な方法であり、EBPプログラム、およびサービス普及研究では不可欠の評価法として近年注目されている2,3,5)。
フィデリティ尺度の特性としては、①簡潔、表面的に妥当、量的な尺度で、②モデルの原則に基づいており、③よく実施されているプログラムと通常の実践を識別する力があり、④実施上の努力を反映し、変化に対する鋭敏性をもち、さらには、⑤利用者のアウトカムを良く予測する、ということである2)。
フィデリティ尺度を使うことによって、①活動の実施状況が明らかになり、②新たなプログラム実施を追求する現場へ具体的なフィードバックが提供でき、③行政機関に対して、プロジェクト目標の達成状況の情報を提供することが可能となり、④情報を公共のために公開することもできる2,3)。すなわち、サービスの質のモニタリングに活用できるとともに、プログラムモデルを発展・改善させるために用いられることになる。
２. フィデリティ尺度作成の手順
フィデリティ尺度は、基本的には、「Ⅱ2-1. 効果的援助要素リストの作成(22-1-01)」で作成した、それぞれの福祉実践プログラムの「効果的援助要素リスト(22-1-31)」に基づいて作成する。
効果的援助要素は各プログラムによって15～30項目程度からなり、各項目には実践現場の創意・工夫、実践的努力が反映されたチェックボックス5-6項目から10項目前後、最大15項目以下から構成されている。
フィデリティ尺度は、効果的援助要素の各項目を尺度項目として、原則としてチェックボックスを使用した確定的アンカーポイントを用いて、５件法で尺度構成する。
実践現場から抽出されたチェックボックス項目の意義を重視して、チェック項目の実施状況に応じて、基準に合わせて妥当な項目回答パターンを、当該プログラムとフィデリティ評価法に通暁する検討委員会において繰り返し検討して設定する。
３. フィデリティ尺度項目のアンカーポイント設定形式
「効果的援助要素」により構築されるフィデリティ尺度の５段階の評定段階は、およそ以下の全般評価基準にしたがって設定される。
■フィデリティ尺度のアンカーポイント（全般評価）
1点：効果的な支援内容がほとんど行われていない
2点：効果的な支援内容が一部に行われている
3点：効果的な支援内容が中程度に行われている
4点：効果的な支援内容が一定レベルで適切に行われている
5点：日本の現状から見て、現時点で望まれる効果的な支援内容
評定段階を構成するチェック項目の回答パターンについては、チェック項目回答数に基づく基準（Ｏ型）を基盤にするが、必要に応じて次のＡ型、Ｂ型、ＡＢ混合型、Ｃ型の４類型も使用する。
□Ｏ型：チェック項目回答数に基づく基準
□Ａ類型：最も基盤となる項目の有無（コーディネータの配置、チーム会議の開催、ケアマネジメントの実施など）が評価の土台になり、その上でチェック項目の回答数が評定されるパターン。
□Ｂ類型： チェック項目がいくつかの領域にわたる場合、フィデリティ尺度の高い得点を得るためには、複数領域をカバーする取り組みを評価する評定パターン。
複数領域の設定は、チェック項目数が10項目前後に及ぶ場合、チェック項目に頻度、回数、実施率などが含まれる場合がある。
□ＡＢ混合型： 上記のＡ型とＢ型の要素を兼ね備えるパターン。
□Ｃ類型： チェック項目の下位チェック項目がある場合、チェック項目にダブルカウント、トリプルカウントを設定するパターン。アンカーポイントの設定としては、Ｏ型、Ａ型、Ｂ型、ＡＢ混合型のいずれかになる。
４. フィデリティ尺度全体の形式
フィデリティ尺度の表示形式･様式については、本課題プロセス･3)アウトプット「①効果的プログラムモデル･フィデリティ尺度および改訂版の作成とその活用計画(23-3-31) 」に示した。
アンカーポイントの設定では、フィデリティ尺度の各項目に検討する実践プログラムの効果的援助要素項目チェックボックス項目が適切に配置され評価されるように、前項のアンカーポイント設定類型（Ｏ型、Ａ型、Ｂ型、ＡＢ混合型、Ｃ型）のどれを適用すべきか、各アンカーポイントの基準をどのように設定するのが適切なのかを慎重に検討する。
同じ実践プログラムに対するフィデリティ尺度であっても、効果的援助要素項目によっては、適用するアンカーポイント設定類型（Ｏ型、Ａ型、Ｂ型、ＡＢ混合型、Ｃ型）が異なっても良い。むしろフィデリティ尺度全項目の中に、これらの各設定類型が散在するのが一般的である。
５. アンカーポイント設定の検討方法
検討する実践プログラムのアウトカムに対して、各効果的援助要素が、最も効果的に機能するアンカーポイント設定となるように、各項目に対するアンカーポイント類型設定と、チェックボックスの配置が検討される。
検討の方法は、まず効果的プログラムモデルの実施マニュアル(22-2-31)(23-3-13)を踏まえて、中でも実施マニュアルに整理された「意義と目的」「具体的な支援内容」「留意点」に注目して、チェックボックス項目の実施状況が、フィデリティ尺度のアンカーポイント（全般評価）１点～５点のどこに対応するのかを検討する。
検討は、「研究者間のフォーカスグループ、検討会(23-3-23)で繰り返し原案を作成し、「プログラム関係実践家･利用者とのフォーカスグループ､意見交換会(23-3-24)」で検討するとともに、「フィデリティ評価モニタリングにおける訪問調査と意見交換(23-3-12)」も踏まえて行う。
「エビデンスにもとづく知識」としては、「アウトカム評価とフィデリティ評価・効果的援助要素の関連性の検証結果(23-3-14)」が重要である。特に、アウトカム評価とフィデリティ評価・効果的援助要素の関連性が十分ではない場合は、効果的援助要素項目自体や、それを構成するチェックボックス項目の見直しを行う前に、アンカーポイント設定の方法を見直す必要がある。
見直すための方法としては、特に、多施設共同・効果モデル試行評価調査を実施して、アウトカム評価とフィデリティ評価・効果的援助要素の関連性を検証した場合は(23-5-31)、「フィデリティ評価モニタリングにおける訪問調査と意見交換(23-3-12)」によるフィードバックの結果を十分に踏まえながら、関連性が十分でない項目について、アンカーポイント類型設定とチェックボックスの配置の見直しを行う。
同時に、そのようにアンカーポイントを組み替えたフィデリティ尺度下位項目得点と、アウトカム指標の相関分析を行い、関連性の改善を確認する。さらには、アウトカム指標との関連を最大化するアンカーポイントの設定方法も検討する。
②効果的援助要素リスト･チェックボックスを用いた自己評価フィデリティ尺度作成の手引き
１. 自己評価フィデリティ尺度の趣旨と種類、概要
自己評価フィデリティ尺度は、プログラムをおこなう実践現場が自らの対人ケアサービスをモニタリングするために使用するものである。サービス提供側が自身でその実施状況を把握し、改善のための検討をおこなうことができる。
また、自己評価フィデリティ尺度は客観的な評価ができるように作成されているため、サービス提供者のみならず、第三者評価にも利用可能である。提供されるサービスについての評価結果が、サービス提供者と外部評価者間で共有できることから、サービス改善のための対話をもち、「効果的援助要素」に不足している要素等も精査することができる。
実践現場の創意工夫によって提供される福祉サービスは、しばしば提供側の背景や地域性等に「依存する」ことがあるために、各地のプログラム実施者やプログラム関係者が全国の実施状況を正しく把握することが困難である。全国的なレベルで「効果的援助要素」の実施状況を把握するために、３項で示す「全国調査用簡便版フィデリティ評価尺度」を用いる。この尺度を利用した広域調査、全国調査の実施により、各地のプログラム実施状況が比較可能となり、より良いサービス提供につなぐことができる。
自己評価フィデリティ尺度には、サービス提供者が利用しやすいように「効果的援助要素」のチェックボックスをもとにリスト化した自己評価チェックリスト、外部評価用に開発した第三者評価用フィデリティ尺度、全国での実施状況を把握するための全国調査用簡便版フィデリティ評価尺度がある。
２. 自己評価チェックリスト作成の手引き
「効果的援助要素」には、より良い実践をおこなうための多くの要素がチェックボックスの形で示されている。このチェックボックスを用いて、それらがどれだけ実践で活用され、サービスとして提供されているのかを把握することができる。これが、自己評価チェックリストであり、効果的援助要素の構成リストと基本的には一致するものである。これに、さらに加えるべき「効果的援助要素」の創意・工夫、実践上の配慮・努力を記入できるようにしておく。
自己評価チェックリストは、「効果的援助要素」のひとつひとつの要素、つまり各チェックボックスの内容に準拠して作成される。チェックボックスごとに達成しているかそうでないかを確認するだけでなく、それぞれに対応した実践上の工夫や配慮等についても記載する。それによってチェックボックスを達成するための課題や障壁等が明らかとなり、達成までになすべきこと項目や領域別にも明らかにすることが可能となる。
一方では、プログラムの発展段階に応じてさらに必要とされる、もしくは望ましい要素が発生する。このように、現段階での「効果的援助要素」には含まれていない要素についても書き込むことのできる形式が望ましい。
３. 全国調査用簡便版フィデリティ評価尺度作成の手引き
先にも述べたように、実践現場の創意工夫によって提供される福祉サービスは、一方で提供側の背景や地域性等のために全国状況の把握が困難であるという側面がある。全国調査用簡便版フィデリティ評価尺度は、全国で実施されているプログラムの実施状況を把握することにより、自らのサービス提供状況の置かれた位置を知ることができる。
全国調査用簡便版フィデリティ評価尺度も、自己評価チェックリストと同様に「効果的援助要素」の各チェックボックス要素に準拠して作成する。「効果的援助要素」の実施状況を評価するに当たって、チェックボックス要素の使用方法は、前述した第三者評価用フィデリティ尺度や自己評価チェックリストと異なる。全国調査は一般的には郵送法で実施するために、簡便でかつ正確な評価結果を得るため、全般評価を用いたマトリックス形式の評価票を用意する。各「効果的援助要素」項目には、以下の４段階アンカーポイントを設定する。
【段階評価の1】ほぼすべての項目を満たしている状態です。さまざまな条件の変化を加味して、達成率が80%程度以上の場合。
【段階評価の2】およそ半分かそれ以上（50%以上80％未満）の項目に該当する場合。
【段階評価の3】半分には満たないがいくつか(20％以上50%未満)の項目に該当する場合。
【段階評価の4】ほとんど該当しない場合。また、さまざまな条件の変化のために判断が難しい項目が１～２項目のみ該当する場合、この段階をチェックする。
③研究者間のフォーカスグループ、検討会
本課題プロセス・１) インプットに示した、①～④を総合的に検討し、かつ２) 検討方法の①②を踏まえて、プロジェクト研究班事務局が中心となって、３種類の効果的プログラムモデルのフィデリティ尺度（第三者評価用フィデリティ尺度、自己評価チェックリスト、全国調査用簡便版フィデリティ評価尺度）、および第三者評価用フィデリティ尺度評価マニュアルを作成する。また、フィデリティ尺度の使用計画についても、２) 検討方法の「④プログラム関係実践家･利用者とのフォーカスグループ､意見交換会」「⑤組織的キャパシティ分析」を踏まえて検討する。
効果的プログラムモデルのフィデリティ尺度の作成について、課題となる点が明確な場合は研究者間でフォーカスグループを開催する。課題があいまいな場合はブレーンストーミング的なグループ発想技法を用いても良い。
④プログラム関係実践家･利用者とのフォーカスグループ､意見交換会
研究者間のフォーカスグループ、検討会でまとめられた、フィデリティ評価尺度案を、プログラム関係実践家、利用者、家族、行政関係者などの利害関係者に集まって頂き、グループ討論を行って内容を検討する。プログラム実施施設におけるフィデリティ尺度活用計画については、プログラム実施組織の負担が伴うため、プログラム関係実践家、あるいは管理者の意見も十分に踏まえ、意味ある成果が出るよう実施方法を選択する。
⑤組織的キャパシティ分析
３) アウトプット
①効果的プログラムモデルのフィデリティ尺度および改訂版の作成とその活用計画
１. 効果的プログラムモデル･フィデリティ尺度の種類と形態
- 効果的プログラムモデル･フィデリティ尺度は、効果的援助要素と、各項目ごとに実践現場の創意・工夫、実践的努力が反映されたチェックボックス項目を中心に構成される。
- 使用の目的は、効果的なプログラム実施ができていることモニタリングすること、より効果的なプログラムモデルに発展・進化させるために、チェックボックス項目を含めた効果的援助要素リストを見直し、より良いものにすること、各地の取り組み状況を明確な指標で共有化するため、などがある。
- それぞれの目的に応じて、フィデリティ尺度にはいくつかの様式・形態を用意する。
- 第三者評価用フィデリティ尺度、自己評価チェックリスト、全国調査用簡便版フィデリティ評価尺度
２. それぞれのフィデリティ尺度の使用目的と尺度様式
それぞれのフィデリティ尺度はその使用目的に応じて、適切な様式を取るよう配慮する。
- 第三者評価用フィデリティ尺度の様式
第三者による、客観的で厳密なフィデリティ評価を行うための評価尺度である。厳密な評価を行うために、評価尺度上も、誤解が生じない十分な説明と明確な表現を用いる。また詳しい評価マニュアルをも用意する必要がある。
自己評価によるセルフモニタリングの目的で、第三者評価用フィデリティ尺度を使用することもできる。
○フィデリティ尺度本体：
いくつかの領域別（効果的援助要素の領域別）にマトリックス形式で作成する。
尺度の左欄には、効果的援助要素の項目名と、その簡単な定義を記し、その下に効果的援助要素を構成するチェックボックス項目を配置する。
尺度の右欄には、順に評定段階１、評定段階２、評定段階３、評定段階４、評定段階５を表示し、チェックボックスへの回答パターンに応じて、確定的な評定が可能なように説明を加える。
評価尺度には、他に、「フィデリティ尺度カバーシート」と「フィデリティ尺度得点シート」を添付する。
フィデリティ尺度形式のサンプルは、(S23-005)に示した - 第三者評価用フィデリティ尺度の評価マニュアル
- 自己評価チェックリストの様式
・自己評価によるセルフモニタリングの目的でこの尺度を使用する。
・実践現場の創意・工夫、実践的努力をさらに反映させる。 第三者評価フィデリティ評価の補助資料としても使用する。
・自己評価チェックリスト作成の手引き(23-3-22)に記したとおりである。
・自己評価チェックリストのサンプルは、(S23-005)に示した。 - 全国調査用簡便版フィデリティ評価尺度作成の様式
・目的：全国的実施状況把握のため、簡便なセルフモニタリングのため
・実施方法と評価者→簡便版調査マニュアルの説明
・様式の概要と、留意点
・サンプル（含む簡便な調査マニュアル）
３. 効果的プログラムモデル･フィデリティ尺度の発展手順
効果的プログラムモデルの発展のプロセスに呼応して、効果的プログラムモデル･フィデリティ尺度も改訂され、発展していく（図Ⅱ1-B）。それは、プログラム理論や効果的援助要素リスト、実施マニュアルが順次改訂され、発展していくプロセスと並行して進めていく。
効果的プログラムモデル･フィデリティ尺度を構成する骨格部分は、効果的援助要素リストと、その中に含まれるチェックボックス項目である。このような構造上の特徴のために、効果的援助要素リストが改訂されるごとに、フィデリティ尺度の見直しが必要になる。
フィデリティ尺度独自の改善のための取り組みとしては、アンカーポイント設定方法の見直しがある。その具体的な進め方は、本課題プロセス･検討方法「①効果的援助要素リスト･チェックボックスを用いたフィデリティ尺度作成の手引き(23-3-21)」の「５. アンカーポイント設定の検討方法」に示した。
４. 事業所における効果的プログラムモデル･フィデリティ尺度の活用計画
○本課題プロセス･２) 検討方法「③研究者間のフォーカスグループ、検討会(23-3-23)」「④プログラム関係実践家･利用者とのフォーカスグループ､意見交換会(23-3-24)」「⑤組織的キャパシティ分析(23-3-25)」を踏まえて、プログラム実施事業所においてフィデリティ尺度を活用する方法を検討し、活用計画をまとめる。
○自己モニタリングの計画と、第三者モニタリングの計画（ピアで行っても良い）
○自己モニタリングの計画
自己評価チェックリストの使用
第三者評価用フィデリティ尺度の使用
簡便版フィデリティ評価尺度の使用
○第三者評価モニタリングの計画
- ネットワークを形成してピアで行う（ACTネットワークの例）
- ピアコンサルテーションの実施
- 研究班に関わる、研究班によるフィデリティモニタリング評価