261019
ここでは、研修効果測定 サクセスケースメソッドについて解説します。
目次
0.まとめ
1.サクセスケースメソッドの背景
1-1.ハイインパクト・ラーニング(2001年)
1-2.既存の効果測定手法に対する批判(2006~2008年)
2.サクセスケースメソッドの概要(2003~2008年)
2-1.サクセスケースメソッドと旧4レベル・ROIとの違い
2-2.サクセスケースメソッドの大きな流れ
2-3.サクセスケースメソッドの向き不向き
3.サクセスケースメソッドの事例:ポンプメーカーの営業スキル研修
4.ハイパフォーマンス・ラーニングジャーニーへの進化(2019年)
0.まとめ
|

2015年のコラムでも「研修効果測定 サクセスケースメソッド」の概要を解説しましたが、ここでは改めてその背景にある『ハイインパクト・ラーニング』High Impact Learning(2001)から解説します。
というのは、サクセスケースメソッドを提唱したブリンカホフ(Robert O. Brinkerhoff、西ミシガン大学名誉教授)は、多くの著書でハイインパクト・ラーニングとサクセスケースメソッドをセットで解説しているからです。言い方を変えると、サクセスケースメソッドはハイインパクト・ラーニングの一部だからです。
*ブリンカホフ
2008年にASTD The Distinguished Contribution to Workplace Learning and Performance awardを受賞
尚、以下の図表1~13は独自に作成したものであり、原書にはありませんのであらかじめご了承ください。
それでは早速、ハイインパクト・ラーニング(2001年)の概要をみていきましょう。
研修効果測定 サクセスケースメソッド概要(急ぐ人はこちらへ)
ハイインパクト・ラーニングの概要を知るには、図表1の5原則を知ることが早道です。

図表1では、「学習とパフォーマンス改善を一体化」していることが一目瞭然でわかると思います。『ハイインパクト・ラーニング』が出版された2001年当時は、米国の人材開発業界では「パフォーマンス旋風」が吹き荒れていました。
ハイインパクト・ラーニングのコンセプトは、「学習と研修転移をテコにパフォーマンス改善する」というもので、限りなくパフォーマンス・コンサルティングに近いと思います。
図表1の原則4「学習と職場のパフォーマンス改善に絡む要因」を特定する手法のひとつがサクセスケースメソッドです。
サクセスケースメソッドは後ほど順を追ってみていきますが、Success Case Method(2003)、Telling Training’s Story(2006)、Courageous Training(2008)の3冊(以下3部作)で詳しく解説されています。
パフォーマンス・コンサルティング30年の軌跡 はこちら
ハイインパクト・ラーニングの大きな構成は、図表2のように、「1.研修前の受講者の腹落ち、2.高品質の研修実施、3.研修後の職場での実践支援」が3本柱になっています。

お察しのとおり、高品質の研修の前後で研修転移にしっかり取組むことがパフォーマンス改善の肝ということです。逆に言えば、いくら高品質の研修を単発で実施したところで研修前後の職場の仕掛けがなければ、パフォーマンス改善にはつながらないということです。
この3本柱は3部作の中で形や名前を変えて何度も登場しています。一例をあげると、Courageous Training(2008)では、受講者の腹落ちを促すために、上司が研修の前に事業目標のKPIと学習を連動させるコツを学び(60分程度)、そのうえで部下と面談する取り組み(インパクトブースター)が紹介されています。
なぜブリンカホフがここまで研修転移にこだわるかと言えば、1980年代後半にスキルの活用群と未活用群の違いを分析し、「両者には、上司と受講者のかかわり方、上司のフィードバックなどに大きな差があった」ことがきっかけのようです。
図表3のように、従業員のパフォーマンスは上司の「目標や指示」「フィードバック」「職場のツール・情報」「決められた業務フロー」など、職場環境に左右されます。当然ですが、受講者のスキル活用も職場の影響を受けているということです。

したがって、少なくとも上司が部下にスキル活用するよう指示したり、支援的な態度を示したりしないと、受講者の実務行動は変わらないのがふつうでしょう。
次に、図表4でハイインパクト・ラーニングの流れをみていきましょう。わかりやすくするために単純化しています。

この図表4のフローではハイインパクト・ラーニングの3本柱を薄い緑色で示しています。「①研修前に腹落ちの面談(研修転移1)→②高品質の研修実施→③研修後に職場での実践を促す仕掛け(研修転移2)」という流れがよくわかると思います。
ここで思い出した方がよいのは、「人の行動と業績はそう簡単には変わらない」という当たり前のことです。
高品質の研修だけで「人の行動と業績を改善する」のは難しいので、図表3で見た職場環境要因を踏まえて研修転移の仕掛けを上流で考えることが必要になるわけです。
ハイインパクト・ラーニングにおけるサクセスケースメソッドの位置づけは、受講者の中からスキルの活用群と未活用群を把握し、両者の違いを分析することで、スキル活用の促進・阻害要因を見つけることに主眼があります。
High Impact Learning(2001)の中では、後ほど見ていく3部作にあるようなサクセスケースメソッドの詳しい解説はありません。
次に、サクセスケースメソッドの背景にある既存の研修効果測定手法に対する批判をみておきましょう。
ブリンカホフは、Telling Training’s Story(2006年)や Courageous Training(2008)の中で、カークパトリックの旧4レベルやフィリップスのROIといった従来の研修効果測定手法に対する厳しい批判をしています。
ブリンカホフは従来の効果測定手法に対し、次の3つのリスクをあげています。
| リスク1.-従来の効果測定はマネジメントとの信頼関係を損ねる リスク2.-従来の効果測定は職場のパフォーマンスに関連する要因を見ていない リスク3.-間違った人に効果測定結果を報告している |
ひとつ目は、研修実施後にKPIが改善した場合、人材開発部門は研修の成果としてアピールしますが、ラインマネジャーの貢献にふれていないことが多いというものです。
ふたつ目は、旧4レベルのフレームは、図表3で見たような研修成果を左右する職場環境要因を見ていないというものです。
3つ目は、経営幹部やラインマネジャーは業績やパフォーマンス改善の責任を負い、そのための打ち手を持っているのに、効果測定結果の報告を受けず、人材開発部は内部だけに報告しているという指摘です。
結論を先に言えば、「研修満足度(カークパトリックのレベル1)だけ実施すればよい」といった風潮は間違っており、本来は測定の情報価値によって決めるべきというものです。
これまでに研修評価の実施率として、「レベル1(研修満足度):100%、レベル2(習得度テスト):60%、レベル3(職場での実務行動の変化):30%、レベル4(成果・業績の改善):10%未満」といった数字をみたことがある人も多いと思います。
これに対し、「簡単にできるから、費用がかからないから」という理由で「レベル1だけでよい」とするのはいかがなものかという問題提起です。
ブリンカホフは、「研修効果測定の本質はシンプルであり、学んだスキルを活用すれば見返りがあり、活用しなければ投資がムダになる」と言っています。したがって、職場での実務行動の変化(レベル3)をみることが極めて重要だというわけです。
さらに、「どのような受講者が、何人くらいトレーニングの内容を活用したのか、活用しなかったのかを評価すべき」とも言っています。
ブリンカホフは、著書の中で「研修の本当の価値やインパクトは、行動レベルでの活用にかかっている。もっとも注意すべきはレベル3の評価である」と繰り返し強調しています。
カークパトリックの新旧4レベル はこちら
フィリップスのROIについては次の2つのことを指摘しています。
| 1.トレーニングの提案があったときにROIを鋭く問うべき。実施後ではない。 2.トレーニングの目的はROIを最大化することではない。 |
ひとつ目はROIの分析を実施するタイミングについてです。フィリップスのROIは研修実施後の緻密なデータ収集とデータ分析で有名ですが、研修実施後にとやかく言っても手遅れではないかという指摘です。
言い換えると、研修企画の段階で「このトレーニングは事業にとって必要か?」「事業の成功に必要な成果を予算の範囲で実現できるのか?」を検討すべきということです。
ふたつ目は、研修目的がいつの間にか「ROI最大化」にすり替わるという警鐘です。
研修目的は、事業目標や事業戦略を推進するために必要な従業員の能力を高めることであり、直接利益を生み出すことではないということです。また、コストを抑えて研修実施するのは当然とも言っています。
さらに、ROIが小さくても実施すべきトレーニングはあるとして、次のような例をあげています。
| 優秀なハイポ人材の離職が増加しているときに、マネジャーを対象に「部下と率直な話し合いをするスキル研修」を時間と費用をかけて実施した。その結果、ハイポ人材の退職率は下がったが、この研修のROIはマイナスだった。 |
この研修はしない方がよかったのかという問いかけです。
こうした背景のもと、Success Case Method(2003)が出版され、3部作が続きました。
フィリップスのROI はこちら
それでは順を追ってサクセスケースメソッドをみていきましょう。
Success Case Method(2003)の定義では次のように言っています。
| サクセスケースメソッドとは、組織の新しい取り組みがどの程度成功しているのかを迅速に調べる方法である。 |
もともとサクセスケースメソッドは研修効果だけではなく、販促など他の施策の効果測定にも活用していたので、かなり抽象度が高い表現になっています。
そこで、研修効果測定に限定して少しプロセス情報を足し、思い切って単純化すると次のようになります。
サクセスケースメソッドとは、研修受講者の中からスキルの活用群と未活用群を明らかにし、活用群の中から優れた成功事例を見つけ、具体的に活用したスキルとその実務成果、KPIの改善などの定性情報を中心に報告する手法です。
メリットは、「研修の成果として、受講者は具体的に何を実務に活用したのか?」「実務に活用した結果、成果・業績はどうなったのか?」という多くの関係者が知りたいことを迅速に報告できるということです。
図表5ではサクセスケースメソッドと旧4レベル・ROIとの違いをざっくりとみておきましょう。

サクセスケースメソッドと旧4レベル・ROIの最大の違いは研修効果測定の目的です。ハイインパクト・ラーニングで見たように、サクセスケースメソッドの最終的な目的は受講者・組織のパフォーマンス改善です。人材開発部・研修の存在意義の証明ではありません。
旧4レベルとROIは定量的なアプローチです。旧4レベルとROIはアンケートの項目数が多いこともあり、数字とグラフが多くなり、様々なデータで研修の貢献度や意義を証明することが主眼になっています。
そして、ROIはKPIの改善データを金額換算し、費用対効果を算出するのです。
一方、サクセスケースメソッドは定性的なアプローチです。4レベルでいえば、実務行動の変化(レベル3)と成果・業績の変化(レベル4)に特化し、学んだスキルを活用してKPIを改善した成功事例を報告します。フォローアンケートは5~6項目と少ないのが特徴です。
次に、図表6でサクセスケースメソッドの流れをざっと見ておきましょう。

上流では、どのようなステップで効果測定を進めるのか全体の計画を立て、インパクトマップを作成します。
研修が実施され、受講者が職場で実践する期間をとった後、5~6項目のシンプルなフォローアンケートを実施し、スキル活用群と未活用群を把握します。そして、スキル活用群の中から成功事例インタビューの候補者を選びます。
インタビューは成功事例の候補者数人と未活用者若干名に実施し、成功事例とパフォーマンス改善の促進・阻害要因を報告書にまとめるという流れです。
3部作では各ステップでのコツや事例が詳細に解説されています。
それでは、インパクトマップ、シンプルなフォローアンケート、インタビューの仕方、報告書のまとめ方が気になると思いますので、それぞれのポイントを見ていきましょう。
インパクトマップは、図表7のように「①学ぶ知識・スキル→②職場の重要な実務行動→③実務での大事な成果→④事業目標」のつながり、連動性を示すものです。

インパクトマップは、高品質の研修を設計する基盤であり、実務行動の変化をみるフォローアンケートを設計するときの素材になります。つまり、サクセスケースメソッドの中ではとても重要なツールなのです。
このインパクトマップは「ジョブやタスク単位で作成するのが基本」です。一見、作成するのは簡単そうに見えますが、実際に考えれば考えるほど奥の深さを感じると思います。
よく知っているスキル研修にあてはめて考えてみてください。「①学ぶ知識・スキル」と「④事業目標」はあまり悩まずに書けるでしょう。
しかし、冷静に考えると「③事業目標のKPI達成する上で重要な成果」「②KPI改善につながる職場の重要な実務行動」は業績改善のコツそのものであり、実務がわかっているマネジャーでも、スラスラと言える人はそう多くはいないかもしれません。
3部作の中では、現場のマネジャーでこの関連性を説明できる人を紹介してもらう、研修設計者や過去の受講者にヒアリングする、事業計画資料を確認するなど、多くのヒントを解説しています。ぜひ参考にして、ラインマネジャーに「なるほど、今回の研修はこの実務に役立つのか」と言ってもらえそうなレベルを目指しましょう。
特に、「②職場の重要な実務行動」はフォローアンケート作成の素材になりますので、明快にできないと、実務行動の変化を測定するのは難しくなるかもしれません。
サクセスケースメソッドの事例には、マネジメント研修やコーチング、営業スキル研修などが多いので、日本企業のマネジメント研修やスキル研修にも応用できると思います。
一方、新卒一括採用・長期雇用とセットの階層別教育はマインドや〇〇意識を求めることが多く、ジョブやタスクにひもづいていないので、インパクトマップとの相性はよくない気がします。
余談ですが、Courageous Training (2008)では、インパクトマップは人材開発責任者向け、受講者上司向け、受講者向けに細分化しています。さらに、 Improving Performance Through Learning(2019)では、PPP(Program Performance Path)とPPP(Personal Performance Path)へと進化しています。
このフォローアンケートの目的は、スキルの活用群と未活用群に分け、成功事例や失敗事例のインタビュー候補者を見つけることにあります。
フォローアンケートには、①3~5項目のシンプルアンケートと②20項目程度の詳細版アンケートの2種類があります。効果測定の目的やクライアントの要望により、どちらで取り組むのかを決めます。
図表8は効果測定を「速く安く適切に」実施するためのシンプルアンケートの例ですが、回答尺度に特徴があります。

先にもふれましたが、フォローアンケートの「実務への活用行動例」の項目はインパクトマップの「②重要な実務行動」を参考にして作成します。
実務に活用すべき具体的な行動について、図表8のように「活用したかどうか」「成果があったかどうか」を質問するので、スキルの活用群と未活用群、具体的な成果の有無が見えてくるというわけです。
3部作には多くのフォローアンケートの事例が紹介されており、いろいろなパターンの回答尺度が例示されていますので、確認する価値があると思います。
図表9はフォローアンケートの結果からわかったスキルの活用群と未活用群の分布イメージを図示したものです。

A~C群の分布比率は、企業の組織文化、研修の内容、受講者の職場の状況、研修前後の研修転移の有無などにより、異なるでしょう。実際に、筆者が実施している研修効果測定の基礎研修などで参加者に聞くと、企業によって大きな差があります。
ブリンカホフの経験では、A群の人たちが生み出した成果や価値を調べると、研修費用はすぐに回収できることが多いといった趣旨のことを言っています。
A群を調べると、A群の上司は「どの実務でスキルを活用するか」受講者と研修の前後で相談していたという促進要因がわかるかもしれません。逆に、C群の上司は受講者と研修について何も話していないという阻害要因が明らかになるかもしれません。
こうした職場でのスキル活用の促進・阻害要因がわかれば、経営陣や受講者の上司にその内容を伝え、多くの職場でA群のマネをして組織全体のパフォーマンス改善をすればよいわけです。ブリンカホフは、著書の中でこうした趣旨のことを何度も強調しています。
ただし、受講者本人の回答だけでは本当に研修で学んだ知識・スキルを活用してKPIが改善したのかわかりません。そこで、インタビューで掘り下げて聞く必要があるわけです。
言うまでもなく、インタビューはサクセスケースメソッドの核心の情報を得るステップなので、成功事例・失敗事例を掘り下げるためのコツが整理されています。
図表10は成功事例インタビューの観点を示しています。

Success Case Method(2003)、Telling Training’s Story(2006)では、インタビューガイドが充実しており、質問していく順番、基本的な質問例、掘り下げて事実を確認する質問例などがかなり詳細に例示されています。
また、インタビュー相手が本当に学習したスキルを活用して成功したのか、他の要因によるものなのか、受講者が単に自慢するためにインタビューに応じているのかなど、「本当の成功事例」を見極めるコツも解説しています。
図表11はサクセスケースメソッドの研修報告書のイメージです。

全体は4ページ強のボリュームで、①エグゼクティブサマリ(1ページ)、②調査方法(2ページ)、③成功ストーリー(1~2ページ)といった構成イメージです。
基本は「事実ベースで淡々とわかりやすく」です。エグゼクティブサマリでは、成功事例の中から最も印象的な事例を抜粋します。成功ストーリーでは、成功事例の共通点・相違点、実務に活用した受講者の特徴などを整理し、成功事例を汎用化します。
スキル活用の失敗事例は阻害要因の中に反映し、インタビュー対象者を配慮することにもふれています。
3部作では様々な研修事例のインパクトマップ、フォローアンケート、インタビュー対象者の絞り込み、報告書などが紹介されています。
クセスケースメソッドが向いている研修は、先にもふれたマネジメント研修、営業スキルや対人スキルなどの研修です。いずれにせよ、ジョブやタスク単位の研修でインパクトマップを作成できる研修が向いています。
また、次のようなニーズにも向いています。
|
先にふれたように、マインドや意識づけを重視する階層別教育は、ジョブやタスク単位の研修ではないためインパクトマップの作成が難しく、相性はよくありません。
また、下記のような定量的な数字を求めるニーズには向いていません。
|
それでは、実際に営業スキル研修のサクセスケースメソッドの事例を見ていきましょう。
図表12は、欧州のポンプメーカーが営業担当300人、ベテランの営業担当70人にそれぞれ営業スキル研修を実施し、サクセスケースメソッドで効果測定をしたという事例です。
従来、レベル1(研修満足度)、レベル2(知識・スキル習得度)を測定していたのですが、現場で実際に活用されているのかわからず、困っていたというのが導入の背景です。

図表12で注目すべきポイントは4点あります。
ひとつ目は、よいニーズ把握でKPI「①売上目標の達成、②顧客満足度の向上」を明確にしているところです。
ふたつ目は、よい設計でインパクトマップを設計し、「KPI-職場の成果-重要な実務行動-学習」の関連性を言語化しているところです。
3つ目は、よい研修転移でBeforeと Afterの2段構えで上司-部下や参加者間の話し合いがあり、事前の腹落ちと事後の職場実践を促す仕掛けがあるところです。
4つ目は、よい効果測定でフォローアンケート、インタビューを通じてスキル活用群が成功した象徴的なエピソードを見つけているところです。
Telling Training’s Story(2006)では、この事例の具体的なインパクトマップやフォローアンケートなどの解説があります。
|
ブリンカホフらは、Improving Performance Through Learning(2019)でハイパフォーマンス・ラーニングジャーニー(High Performance Learning Journey)を解説していますが、これは「学習プラットフォームを活用した現在のハイインパクト・ラーニング」といったイメージです。
もう少し言葉を足すと、「事業・職場にとって重要なスキルについて、数か月一貫性のあるストーリーで学びと実践を繰り返し、習熟するまでのプロセスを構造化した学び」といった感じになると思います。
具体的には図表13のようなイメージで、注目点は3つあります。

ひとつ目は、上司と部下でPPP(Personal Performance Path:インパクトマップとほぼ同じ)を作成し、ビジネスと実務と学習の連動を腹落ちさせているところです。
ふたつ目は、短時間のマイクロラーニング(ML)を2日間のワークショップ(WS)の事前に7回実施し、基本的な知識を習得させているところです。こうして、ワークショップではスキルの実践練習に集中しています。
3つ目は、職場で実務に活用したあと研修のクラス仲間と共有をくりかえし、スキル実践の試行錯誤を進め、上司や関係者とのふりかえりまでを構造化していることです。
こうしてみると、ハイインパクト・ラーニングの3本柱(図表2、4)がテクノロジーを活用して進化し、職場での実践がOJTと一体化していることがよくわかると思います。
ここまですれば、受講者のほぼ全員がスキルの活用群になるでしょうし、その成果を実感する人も増えるのではないでしょうか。
ブリンカホフにとって、高品質の研修提供は大前提ですが、研修転移の仕掛けは受講者・組織のパフォーマンスを改善する重要なテコであり、サクセスケースメソッドはその実践度合いと成果を確認する効果測定手法なのだと思います。
この考え方は、ジェームス・D・カークパトリックの新4レベル(2016)、研修転移のSix Disciplines(2015)にも影響を及ぼしていると思います。
以上、サクセスケースメソッドの背景から現在までをざっと見てきました。
人材開発投資を決める経営幹部は、「人の行動と業績はそう簡単には変わらない」ことをよくわかっています。
経営幹部の多くは、自社に活用群はどれほどいるのか、活用群が実務で活用したスキルは何か、その成果は何かを素朴に知りたいのではないでしょうか。サクセスケースメソッドはその期待に応える手法だと思います。
当解説が貴社の研修効果測定や研修転移の新しい引き出しのきっかけになれば幸いです。
パフォーマンス・コンサルティングⅡ
事業成果・研修効果にこだわる人事・人材開発スタッフに、おすすめの一冊です。ビジネスと人材開発の連動を高めるための具体的なコツを整理した本です。
人材開発の上流で役立つ情報が満載です。
ヒューマンパフォーマンスはパフォーマンス・コンサルティングを実践します。
人にかかわる施策、人材開発と事業戦略の連動性を高め、業績向上に貢献することがテーマです。研修効果で悩んだことがある方には有効なフレームワークです。人材開発のあり方や研修の見直しを検討されている人材開発担当の方におすすめです。
お気軽にお問い合わせください。

鹿野 尚登 (しかの ひさと)
1998年にパフォーマンス・コンサルティングに出会い、約30年になります。
パフォーマンス・コンサルティングは、日本企業の人事・人材開発のみなさまに必ずお役に立つと確信しています。
代表者プロフィール
代表ごあいさつはこちら