パフォーマンス・コンサルティング

研修効果測定のルーチンにしよう-サクセスケースメソッド

研修効果測定のルーチンにしよう-サクセスケースメソッド
Success Case Method

2015.1030

2024.0328 追記修正

●まとめ

  • Robert O. Brinkerhoffの研修効果測定の考え方-サクセスケースメソッド(Success Case Method)を人材開発担当者のルーチンにしよう
  • サクセスケースメソッドとは、研修や新しい仕組みなどがどの程度成功しているのかを迅速に調べる方法である。
  • ソフトスキル(対人スキル、マネジメント等)など、数字で測定しづらいと言われる成果や効果を測定するときに有効である。
  • 厳密な統計的アプローチではなく、受講者の職場に戻ってからの大まかな行動傾向と実際に成果があがった成功事例・ストーリーをまとめるアプローチをとる。
  • 「研修の成果として、受講者は具体的に何を実務に活用したのか?」「実務に活用した結果、業績はどうなったのか?」という多くの関係者が知りたいことを迅速に報告する手法である。
  • 研修直後のアンケートによる「研修品質」の評価に加え、「職場の実務での活用状況」を評価することは、事業成果に貢献する人材開発のルーチンのひとつになるだろう。また、そうすることが人材開発担当の役割を変える第一歩になると思う。

 

パフォーマンス・コンサルティング・ワークショップの受講者から「研修の効果測定手法」について問合せをいただき、サクセスケースメソッドを紹介したところ、「情報があまりない」と言われました。

以前から人材開発担当の方にぜひ紹介したい考え方のひとつと思っていましたので、少し整理してみました。

1.サクセスケースメソッド(Success Case Method)とは

サクセスケースメソッド(Success Case Method)は、研修効果測定で有名なRobert O. Brinkerhoffさん(西ミシガン大学教授)がHigh Impact Learning (2001年)の中で提唱している研修効果測定の手法です。

2001年

Brinkerhoffさんの長年の効果測定の実践と研究にもとづく業績は高く評価されており、2008年にASTD The Distinguished Contribution to Workplace Learning and Performance awardを受賞しています。

文献としては次の3冊に詳しい説明がありますが、独断と偏見で思い切って要約し、ポイントをみていきましょう。

一言で言うと

  • サクセスケースメソッドとは、研修や新しい仕組みなどがどの程度成功しているのかを迅速に調べる方法である。

メリット

  • 「研修の成果として、受講者は具体的に何を実務に活用したのか?」「実務に活用した結果、業績はどうなったのか?」という多くの関係者が知りたいことを迅速に報告できる。

特徴

  • ソフトスキル(対人スキル、マネジメント等)など、数字で測定しづらいと言われる成果や効果を測定するときに有効
  • 厳密な統計的アプローチではなく、受講者の職場に戻ってからの大まかな行動傾向と実際に成果があがった成功事例・ストーリーをまとめるアプローチをとる。

 

大きな流れは以下図表1のようになります。

図表1 研修効果測定 サクセスケースメソッドの大きな流れ

まず、研修の設計段階で事業目標と学習成果の連動を明確にするインパクトモデルを作ります。言い換えれば、新しいスキル・知識・ものの見方・考え方を学んだ結果、実務でどのような行動を発揮し、それが職場の成果にどのようにつながるのか整理します。

研修実施後、ねらいどおり学んだことを活かして職場の実務に活用したのか、実際に成果が出たのかフォローアンケートで確認します。特徴はこのアンケート項目が5項目前後と少ないので短時間で回答できることにあります。

そして、アンケート結果から実務の活用に成功し、高い成果が出た受講者を見つけ、そのときの状況を詳しくインタビューするというわけです。逆に、まったく活用できなかった受講者にはその理由を確認し、改善策のヒントを見つけます。

最終的には、アンケートとインタビューでわかったことをまとめ、今後の打ち手を提案するという流れです。

この効果測定手法は、人材開発担当者の役割を変える第一歩になり、研修の企画・実施に忙殺される状況から、事業成果に貢献する人材開発への移行に踏み出すことができると思います。

 

2.背景にある既存の効果測定手法に対する批判

BrinkerhoffさんはTelling Training’s Story(2006年)の中で、従来の効果測定手法のリスクとして図表2のように3つをあげています。

 

図表2従来の効果測定手法のリスク

リスク1.従来の効果測定はマネジメントとの信頼関係を損ねる

  • 人材開発部門は研修の成果を言う一方で、パフォーマンス改善のプロセスにおけるラインマネジャーや経営幹部の貢献を認めていない。

リスク2.従来の効果測定はパフォーマンスシステムの要因を見ていない

  • 4レベルのフレームは、トレーニングの成功を左右する最も重要なパフォーマンスに関連する職場環境要因を見つけたり、評価したりするものではない。

リスク3.間違った人に効果測定結果を報告している

  • パフォーマンス改善や業績に責任を負っている経営幹部やラインマネジャーに報告せず、人材開発部門の内部が主な報告先になっている。

 

さらに、Courageous Training(2008年)では、カークパトリックの4レベルについて図表3のような批判をしています。

 

図表3 研修効果測定 カークパトリックの旧4レベルに対する批判

  • 4レベルの実施率として、レベル1:100%、レベル2:60%、レベル3:30%、レベル4:10未満といった数字がガイドラインのように示されるが、指針にはならない。本来は情報価値によって実践する評価レベルを決めるべきである。
  • 本質はシンプルであり、受講者が学んだことを実務に活用すれば見返りがある。受講者が学んだことを活用しなければ学習投資はほとんどムダになる。
  • 何人くらいの受講者がトレーニングの内容を活用したのか、しなかったのかを評価すべきである。
  • トレーニングの本当の価値やインパクトは、行動レベルでの活用にかかっている。もっとも注意すべきはレベル3の評価である

 

端的に言えば、「みんなが3レベルの測定は難しいと言っているから、やらなくてもいいのか?」という問題提起のような気がします。

Jim Kirkpatrickさん( Donald Kirkpatrickの息子)は、こうした批判を受けてかどうかわかりませんが、4レベルをUpdateしています。次の記事を読むと「新 4 レベル」はパフォーマンス・コンサルティングの考え方がかなり反映されていることがわかると思います。

Means and End, Training Journal(2013年1月)
Updating the Four Levels for the New World(2015年)
 

1998年旧4レベル

2016年新4レベル

さらに、フィリップスのROIについても図表4のように批判しています。

 

図表4 研修効果測定 フィリップスのROIに対する批判

  • ROIはトレーニングの要求があったときに鋭く問うべきであって、実施後に問うものではない。「要求されたトレーニングは事業にとって本当に必要か?」「予算の範囲で事業の成功に必要な成果をもたらすことができるのか?」最初に考える必要がある。
  • トレーニングの目的はROIを最大化することではなく、事業目標を達成し、事業戦略を遂行するために必要な従業員の能力を高めることである。トレーニングのコストを切り詰めて実施するのは当然だが、直接利益を生み出すことがトレーニングの目的ではない。

 

ROIのような数字にするとどうしても数字が独り歩きし始めるので、トレーニングの本来の目的を忘れないようにという指摘だと思います。もっと言えば、状況によってはROIの数字は小さくても非常に重要なトレーニングがあるということです。

過去のASTDセッションでは、BrinkerhoffさんのROIに対するコメントはかなり厳しかった印象があります。

学習部門の成果や研修の効果測定については、CLOによってスタンスが微妙に違うところがあります。関心のある方は、17人のCLOの言葉の中で効果測定にかかわるコメントを見直すと、意味深なことを言っていることがよくわかると思います。

 

The Chief Learning Officer - 印象に残るCLO17人の言葉

3.サクセスケースメソッドを実践する上での留意点

サクセスケースメソッドはシンプルですぐにできそうですが、「組織の中の人の行動と成果」は奥が深いと思います。世の中、簡単に見えるものほど難しいものです。

  • インパクトモデル(マップ)

インパクトモデルは研修の設計段階でつくるのですが、簡単に言えば「学習するスキル・知識・ものの見方・考え方→職場の成果につながる実務行動→事業目標」をまとめるということです。

Brinkerhoffさんの著書をたどると何パターンもあり、途中からインパクトマップと呼び名も変え、いろいろ試行錯誤してきたことがよくわかります。

これはパフォーマンス・コンサルティングで言えば、GAPS!マップやパフォーマンスモデルをつくるのと同じ意味があります。

求められるできばえですが、経営幹部やラインマネジャーがインパクトモデルを見て「ナルホド・・・」と感心するレベルにしたいものです。というのは、このインパクトマップが経営幹部やラインマネジャーを巻き込むツールになるからです。

  • フォローアンケート

次はフォローアンケートです。原書には効果測定の目的によって、シンプル版から複雑なものまでいくつかパターンが掲載されていますので、ぜひ確認してみてください。下記の図表5は、シンプル版のイメージの一例です。

図表5 研修効果測定 サクセスケースメソッド シンプル版サーベイ

このシンプル版サーベイの結果から「職場でやってみて明確で具体的な成果があった人」「まったく学習したことを使わなかった人」を絞り込みます

その中からインタビュー対象者を選んでいきますが、そこでもいくつかコツがあります。

実際に「職場でやってみて明確で具体的な成果があった人」がどの程度いるのかが明確になりますので、ある意味怖い部分でもあります。

  • インタビュー

人材開発部の勉強会をお手伝いしていると、インタビューやヒアリングと聞くと「なんだよ、すぐにできるよ」という表情をされる人が多いのですが、ここが奥深いところです。

このインタビューでは、本当に研修で学んだ知識やスキルを実務に活用して成果があったのか、たまたまそうなったのか、研修ではなく他の要因で成果があったのかなど、「研修と成果の因果関係」見極めることが必要です。

さらに、経営幹部が「大きな成果があったことがよくわかった」と納得する事実をしっかりと聞き出さなければなりません。

このインタビューにはコツがあり、ナルホドという質問がいくつもありますので、原書でぜひ確認していただきたい部分です。

図表6 サクセスケースメソッド インタビューの観点

また、成功例・失敗例の背景にある職場環境の促進・阻害要因についても確認するので、しっかりとした準備が必要になります。

やや宣伝になって恐縮ですが、ここでもパフォーマンス・コンサルティングの基礎知識が役に立つと思います。

 

  • 成功事例のまとめ

成功事例のまとめは簡潔さが求められるので難しいかもしれません。

Brinkerhoffさんにならえば、「法廷の論理」、つまり「裁判にたとえると『研修効果があった』と証拠として採用される」レベルの事実をもとに、3~4ページで簡潔に整理されているものです。

よくある「研修アンケートの感想」を引用した報告書とは全く構成要素が違いますので、注意が必要です。

 

  • ラーニングマネジメントシステム(Learning Management System)

これは原書の中で特にふれていませんが、フォローアンケートの配信、回収、集計、成功例の共有など、ラーニングマネジメントシステムの機能をうまく使えばすぐにできるようです。受講者数が多くなれば、実務者にとっては助かると思います。

参考:Pathgather  ポータルサイトイメージ

サクセスケースメソッドが活かせる状況

Brinkerhoffさんはサクセスケースメソッドが活かせるのは図表7のような状況だと言っています。

 

図表7 研修効果測定 サクセスケースメソッドが活かせる状況

  • 長年実施してきてマンネリ感があるプログラムで宝となるような成功例を掘り出す
  • まったくダメと思われているプログラムに埋もれている大きな価値を取り出す
  • プロトタイプを評価し、改善すべきところをすぐに修正する
  • 新しいプログラムを実務で活用した模範例を示し、関係者のやる気を高めドライブをかける
  • ソフトスキルトレーニングの成果の具体的な価値を示すなど

 

サクセスケースメソッドがふさわしくない状況

逆に、サクセスケースメソッドがふさわしくない状況として、受講者全体の状況定量的に把握したいときをあげています。具体的には、以下のような状況です。

 

図表8研修効果測定 サクセスケースメソッドがふさわしくない状況

  • 平均的な受講者がどのように感じているか、どのような行動をしているかをみる
  • 全受講者からプログラムの利点、強みなどを集める
  • 全受講者数、カテゴリー別の受講者数、全プログラムの修了(受講)者数、プログラムの一部修了(受講)者数をみる
  • 受講者が新しい取り組みのメリットと思っていること、活用度合などの平均値・中央値をみる
  • 活用度合のトレンドやパターンの推移をみる

 

網羅的な情報を得ることが目的であれば、そもそもコンセプトが違うということです。

原書にはない話で、まったくの私見ですが、日本企業の階層別研修はサクセスケースメソッドとの相性はよくないという気がしています。

そもそも階層別研修は「新卒一括採用、長期雇用」が前提で、他国ではほぼありません。

さらに、「どのような知識・スキルを実務に活用するのか?」「その知識・スキルを活用した結果どのような成果があるのか?」が明確に定義されていないことが多く、サクセスケースメソッドが前提とする研修設計になっていないからです。

4.サクセスケースメソッドを研修効果測定のルーチンにしよう

人材開発担当者のみなさんがサクセスケースメソッドを研修効果測定のルーチンにするとよいと思うのには、大きく二つの理由があります。

 

●トップをはじめ関係者が本当に知りたいことを報告できる

ひとつは、トップをはじめ関係者が本当に知りたいことを報告できるということです。研修直後のアンケートでわかる受講者の満足度や感想は、「研修品質」を示す情報として意味があります。

しかし、経営トップや受講者の上司は「それが事業戦略の推進や事業目標の達成にどのように役立つのか」を知りたいはずです。

サクセスケースメソッドのフォローアンケートでは、実務においてどのような知識やスキルを利用したのか、しなかったのかがわかります。言い換えれば、受講者は実務行動として何を変えたのかがわかります

さらに、インタビューから実際に学んだことを応用した結果、どのような成果があったのが明らかになります。これらの情報は経営トップや受講者の上司が本当に知りたい情報だと思います。

 

●人材開発担当者の役割を変える第一歩になる

ふたつ目は、こうした取り組みをすることが事業成果に貢献する人材開発担当者の第一歩になると思うからです。

たとえば、営業スキル研修の成功事例のインタビューをしたところ、顧客のタイプ判別のスキルを活用した結果、苦手なお客様からこれまで聞き出せなかったことを教えてもらい、受注につながったことがわかったとします。

こうした成功例をいくつか集めて発信し、他の受講者も自分の苦手な顧客タイプに応じて行動を変えるようになれば、組織としての顧客対応力は底上げされます。

もうひとつ、直後アンケートはよかったのに、ほとんどの受講者が実務に応用していないという最悪の状況を考えてみましょう。

この場合、そもそも研修が職場での実務行動に直結するスキルを開発する設計になっていなかったことが考えられます。仮に設計がよかったとしても、新しく学んだスキルをコーチングする人が職場にいないなど、職場環境に阻害要因があることが考えられます。

事業成果に貢献する人材開発担当者としては、これらの阻害要因を取り除く改善策を提案し、実施すべきでしょう。

実は、これらはパフォーマンス・コンサルティングの応用です。つまり、研修の効果測定の実務としてサクセスケースメソッドをルーチンにすれば、パフォーマンス・コンサルティングのきっかけをつかみやすくなるということです。

以上、サクセスケースメソッドの概要を見てきました。ぜひ、重要な研修プログラムなどでは設計段階からこの考え方を活用してみていただければと思います。

 

冒頭で紹介した3部作はいずれも事例がたくさん紹介されています。当然ですが、モデルや解説内容はそれぞれ少しずつ進化しています。

個人的にはパフォーマンス改善の色が少し濃くなってきたTelling Training’s Story (2006)の事例がおすすめです。

最新刊の“Courageous Training”(2008年)は、「研修の効果測定」という枠を大きく超えています。冒頭でふれたHigh Impact Learning (2001年)に回帰しており、むしろ、事業戦略を遂行していくためのマネジメント開発、組織開発と言った方がよい内容だと思います。

邦題をつけるならば「研修成果にこだわる勇気ある人材開発」という熱いタイトルがふさわしいという気がします。ぜひ、一読されることをお勧めします。

無料PDF資料 4.上流から設計する研修効果測定

1章 研修効果で悩む「前提とパターン」を変えよう
2章 研修効果測定の4つの事例をみてみよう
3章 研修効果測定のルーチンにしよう-サクセスケースメソッド
4章 研修効果測定のカークパトリックの新4レベル
5章 研修効果測定 フィリップスのROIモデルの変化

無料PDF資料 お申込みはこちらへ

ヒューマンパフォーマンスはパフォーマンス・コンサルティングを実践します。

人にかかわる施策、人材開発と事業戦略の連動性を高め、業績向上に貢献することがテーマです。研修効果で悩んだことがある方には有効なフレームワークです。人材開発のあり方や研修の見直しを検討されている人材開発担当の方におすすめです。
お気軽にお問い合わせください。

代表者プロフィール

鹿野 尚登 (しかの ひさと)

1998年にパフォーマンス・コンサルティングに出会い、25年以上になります。
パフォーマンス・コンサルティングは、日本企業の人事・人材開発のみなさまに必ずお役に立つと確信しています。

代表者プロフィール

代表ごあいさつはこちら

会社概要

株式会社
ヒューマンパフォーマンス

0466-47-7231

〒251-0027 神奈川県藤沢市鵠沼桜が岡2-1-23

会社プロフィールはこちら

弊社コラム記事からテーマで選び、4冊のシリーズにまとめました。ATDなど最新動向が気になる方にぜひ!

詳細はこちら