2023.1226
まとめ
-ROI導入組織、70か国9,000社以上 -ROIワークショップ参加者50,000人以上
-「この高額な研修には、どのようなリターンがあったのか?」
-フェーズ区分があいまいな10ステップから4フェーズ12ステップへ
|
本文で解説している図表1~12は原書にはありませんので、あらかじめご了解ください。
日本の人材開発では「突っ込みどころ満載」とされるROIですが、図表1のようなファクトをチェックすると日本でのイメージと大きなギャップがあります。
ROI Institute https://roiinstitute.net/
3~4年前に久しぶりにJ.J.フィリップス のATDの録画セッションをみていて、こうした数字をあげながら淡々とプレゼンしている姿をみて正直驚きました。
ROIは大手の民間企業だけでなく、政府系組織・医療系・教育系組織も多数導入しています。特に驚いたのが、「年間人材開発予算$10億+の企業が米国には10数社あるが、そのうち3~4社がROI導入している」とフィリップスが言ったときです。
数字にうるさい米国のビジネス界で、なぜ主観的な要素が入るROIがここまで普及するのか不思議に思い、ROIの文献(上記写真、1997年、2003年、2007年、2015年、2016年、2017年、2020年、2022年、2023年)を見直すことにしました。
結論を先に言えば、多くの企業の研修はROIを算出する必要性は少ないでしょう。しかし、自社の重要な研修については、研修受講後のレベル3(行動の改善)やレベル4(指標の改善)を評価する必要性は高まってきていると思います。フィリップスのROIモデルのツールはレベル3・4の評価にも大いに役立ち、使わない手はないと思います。
日本でフィリップスのROIを議論するときは、Handbook of Training Evaluation and Measurement Methods 3rd Edition (1997, 和訳1999)のモデル図(後述)がよく参照されます。
実際は、その後もフィリップス&フィリップスはROI関連の書籍を出し続け、累計75冊以上出版し、ROIモデルは進化しています。
積読だったReturn on Investment in Training and Performance Improvement Programs 2nd Edition (2003年)を読んでいて、フィリップスが1970年代からROIに取り組み続けているのは、図表2のA・Bにあるような経営幹部の素朴な疑問に答えることが出発点だと思いました。
「この高額な研修には、どのようなリターンがあったのか?」
「研修後、指標は確かに改善したが、研修はどの程度寄与したのか?」
実に素朴で力強い問いです。経営幹部であればだれもが知りたいと思うでしょう。
ここで確認しておきたいのは図表2のROI議論の前提です。「1.誰がみても高額な研修」をしていればAの問いは成立しますが、高額な研修をしていなければ成立しません。
ちなみに、2003年の文献では1人あたり1000万円以上のリーダーシップ研修(1週間×4回、パーソナルコーチつき)が出てきます。米国では当時から高額な研修があったのです。
また、「2.研修成果の4レベル指標をBefore-Afterでモニタリング」していればBの問いにつながりますが、モニタリングしていなければ指標が改善したかどうかわかりません。
「ROI実践企業は5%」と少ないことがよく紹介されますが、その背景にはこんな事情があるような気がします。
まずはフィリップスのROIモデルがどのように変化してきたのか、ざっくりとみていきましょう。
図表3はフィリップスのROIプロセスモデルを単純化して1997年、2003年、2020年と時系列に並べてみたものです。説明するまでもなく、違いは一目瞭然です。
最新の2020年版のモデルは下記サイトをご参照ください。
ROI Methodology® https://roiinstitute.net/roi-methodology/
意味の観点で言えばROIは「データ収集・分析中心の手順的なモデル」から「パフォーマンス改善の上流から結果報告までのプロセスモデル」に進化してきたと言えそうです。
また、手順的な観点で言えば、フェーズ区分があいまいな10ステップから明確な4フェーズに区切り、12ステップに変化したと言えると思います。
具体的に何がどう変化したのかはあとでみていきます。
先にROIに出てくるもうひとつのモデルの変化をみておきましょう。図表4は1997年のハンドブックにはないのですが、2003年版に登場しているアラインメントモデルです。
2000年以降「人材開発の目的がパフォーマンス改善にシフト」するにつれ、「事業と研修」の連動が問われるようになりました。その動向を反映してか、「ニーズアセスメント(Before、左半分)と評価(After、右半分)を連動するモデル」が2003年版に登場したのです。
その後、The Chief Learning Officer (2007)でV字モデルの原型らしきものが登場し、それが現在のアラインメントモデルに発展してきた感じです。
ROI Methodology® https://roiinstitute.net/roi-methodology/
ROIモデルの大きな流れがわかったところで、もう少し具体的にみていきましょう。
図表5 は、ROIモデルの変化をみるためにHandbook of Training Evaluation and Measurement Methods の第3版(1997)と第4版(2016)、 Proving the Value of Soft Skills: Measuring Impact and Calculating ROI(2020)の3冊を比較したものです。
最も重要な違いは「視点」です。19997年は狭義の「評価屋」的な視点でデータ収集・分析方法を中心に解説していますが、2016・2020年では「ニーズ把握・研修設計・研修転移」と昔の「分析・設計・開発・実施・評価」の縄張りを超えて上流・下流に広がっています。
さらに、2016年版では1997年版にはなかった研修開発部分を含めた全体のプロセスモデル(成果を重視する人材開発アプローチ、21ステップ)もあります。
それぞれの特徴ですが、1997年版は大学のテキストでした。2016年版はニーズアセスメントなど上流の業務を取り込み、2020年版では研修以外のコーチングやインセンティブ施策なども含め、ROIの実践7事例を紹介するなど、徐々に幅が広がっています。
ここまで3冊の違いをざっとみましたが、以下は3冊に共通する考え方です。
|
大枠をおさえたところで、ROIには人材開発担当の実務として具体的にどのようなステップがあるのか、そして、その内容がどのように変化してきたのか確認しましょう。
図表6はReturn on Investment in Training and Performance Improvement Programs 2nd Edition (2003)の ROIプロセスを単純化したものです。
平たく言えば、最初にデータ収集とROI分析の実行計画を立て、あとは計画どおりにデータを収集し、データを分析して報告するという常識的な流れです。
ステップ1ではデータ収集とROI分析に必要な作業の実行計画を立案します。当たり前のような気がしますが、フィリップスはこの計画の重要性を何度も強調しています。
次は、ステップ2~5でレベル1(学習の好感度)、レベル2(学習習得度)、レベル3(職場活用度)、レベル4(業績への影響度)のデータ収集をします。そして、ステップ6でレベル4の業績改善のうち研修がもたらした効果を分離します。
ステップ7~10はROIの核心で、研修効果を金額換算しROIを算出するデータ分析です。
ROIの本は、ステップ2~10のデータ収集・データ分析の内容が6割前後を占めており、データ収集とデータ分析の解説がメインになっています。
図表7はステップ2~10のデータ収集とデータ分析の主な方法をあげたものです。
細かく言えば、図表6のステップ2~6はカークパトリックのレベル1~4の評価とほぼ同じ中身で、ステップ7~10が ROI独自の部分です。つまり、ROIではレベル3(行動の改善)、レベル4(指標の改善)の評価に使える手法がたくさん解説されているのです。
あまり細部に入ると混乱するので控えますが、フィリップス&フィリップスはROIだけで75冊以上出版しているので、時代や共著者によってROIモデルを微妙に修正しています。
一つだけ例をあげると、フィリップス&フィリップスとロビンソン&ロビンソンの共著、Performance Consulting 3rd Edition(2015)では、ROIのプロセスモデルではなく、ロビンソン&ロビンソンのプロセスモデルを微修正してROIのエッセンスを解説しています。
ということで、厳密には「この時代のROIはこのプロセスモデル」と言い切れないところがあります。ここでは、人材開発担当の実務の変化がわかりやすい2003年版と2020年版の2冊を比べることをご理解いただければと思います。
図表8はProving the Value of Soft Skills(2020)のROIプロセスモデルを単純化したもので、最近はこのモデルで落ち着いています。
2020年版を平たく言えば、上流でパフォーマンス改善のための現状分析をしっかりと行い、解決策を選択・実行し、その費用対効果と今後の提案を示すということです。
図表6(2003年版)と図表8(2020年版)のモデルを比べると大きな変化は3つあります。
1つ目は上流の計画立案がステップ1~3に細分化され、ニーズアセスメントと適切な解決策の選択をステップ1・2に盛り込み、パフォーマンス・コンサルティングの考え方を取り入れたことです。
2つ目はデータ収集でレベル1~4のデータを収集することは同じですが、モデルのステップとしては4・5だけになっていることです。
3つ目は成果報告がステップ11・12に細分化され、単なる結果報告ではなく、次のアクションにつながる提案をすることを強調していることです。
ステップ6~10のデータ分析は少し順番の変動がありますが、内容はほぼ同じです。
以上、ROIの2020年版はカークパトリックの新4レベル(2016)と同様に研修効果測定と「パフォーマンス改善プロセス」が一体化したと言えると思います。
研修効果測定カークパトリックの新4レベル
図表9は「ソフトスキル研修の効果測定を成功させる10のコツ」(Proving the Value of Soft Skills, 2020)のを3つに分け、左端に人材開発担当の実務を加えたものです。
こうしてみると、ROIモデルは「パフォーマンス改善プロセス」と一体化していることがさらによくわかると思います。
図表10はもう少し人材開発担当の業務に照らしてROIの実務をイメージしやすいように、業務フローとROIの12ステップを重ねてみた図です。
図表10のフローをたどっていくと、2003年当時のプロセスと比べて上流と下流が厚くなり、ROIのプロセスモデルの完成度が高まったことがよくわかると思います。
ここまでで、1997年版の和訳のROIイメージが大きく変わったという人が多いのではないでしょうか。そういう方にお勧めしたいのが2020年以降に出版されている次の3冊です。
上記の3冊はいずれもROIが「パフォーマンス改善プロセス」と一体化していることがよくわかりますし、グローバルイングリッシュでとても読みやすいです。
特に、共著(2020,2023)の2冊は読者が期待するところで経験談がちりばめられ、過去のフィリップス&フィリップスの著書とは全く違うテイストで、読んでいて楽しいです。
最後に新しくなったROIモデルをどう活用するのか考えてみましょう。今回ROIの文献を見直して感じたことをあげたのが図表11です
メリットの1番目「パフォーマンス改善の流れで取り組める」と2番目「研修効果の金額換算はわかりやすい」は言うまでもないでしょう。
3番目のデータ収集・ROI分析の計画テンプレートは、4半世紀前に見たときは「当たり前」という気がしましたが、実践事例を見ている間に「結構深い」と思い直しました。
というのは、計画段階で自社の経営幹部や現場の反応をシミュレーションすることになり、結局多くの阻害要因を思い浮かべながらその対応を考えることになるからです。
また、先にみたように4番目にあげたレベル3・4のデータ収集や分析方法は汎用的で、活用できる内容が多いと思いました。逆に、これを使い倒さないともったいない感じです。ぜひ、詳しい内容を原書でご確認いただければと思います。
一方のROIに対する主な批判は、「研修効果の分離や金額換算の方法として寄与度・信頼度判定を活用し、客観性に欠ける」「実験モデルは実践が難しい」「研修効果の分離や金額換算に労力がかかる」といったものが相変わらずあると思います。さらに、「データ収集・分析手法が20世紀的」だと思います。
しかし、レベル3・4のデータを収集してその結果をふつうに分析するのであれば、実はROIを算出する労力とあまり大差はないのかもしれません。
フィリップス&フィリップスの動画では、「ROIは確かに主観的な判断要素が入ってきます。でも今では多くの組織で活用されています」と自信たっぷりに語るシーンがあります。
言外に「研修効果の分離も金額換算も厳密に客観的に行うのは難しいことはわかっていますよね。それでも経営幹部の素朴な問いに答えるためには、このやり方が現実解では?」と言っているように感じます。
ROIの導入組織が増えているのは、現在のROIはパフォーマンス改善のプロセスと一体化して完成度は高まっており、「何もしないよりはこれが現実解」と共感する人が増えたからではないでしょうか?
図表12では、日本企業のCFOが最近の統合報告書で人材開発指標を取り上げるようになっていることを例示しています(『CFOポリシー第3版』2003年)。
実際のところ、「ROIまで必要ない」という日本企業は多いでしょう。とはいえ、ESGやファイナンスの観点で人材開発の投資効果の関心が高まると、経営から聞かれればレベル3(行動の改善)・レベル4(指標の改善)をすぐに示せるように準備が必要かもしれません。
いずれパーソナルAIの時代になると、学習したことをどのくらい覚えていて実務に活用しているのか、業績改善にどの程度寄与したのか、AIがリアルタイムで教えてくれるでしょう。受講者が忘れていたり、スキル習熟が足りなかったりすると、AIがすぐに補習的な教材やアドバイスをし、パフォーマンス改善の支援をしてくれるでしょう。
そのときは、AIに学習させるデータとして、フィリップス&フィリップスのROIの考え方に基づくレベル1~4のデータ収集やデータ分析の蓄積が大いに役立つ気がします。ひょっとすると、AIがあっという間にROIを算出してくれるかもしれません。
当面はROIのモデルやツールを使い倒してレベル3(行動の改善)とレベル4(指標の改善)の評価実績を増やし、データを蓄積してパーソナルAI時代に備えるといった妄想が膨らみます。
今後は、カークパトリックの4レベルやROIといった20世紀的な研修効果測定の議論は消えていくのかもしれません。
ヒューマンパフォーマンスはパフォーマンス・コンサルティングを実践します。
人にかかわる施策、人材開発と事業戦略の連動性を高め、業績向上に貢献することがテーマです。研修効果で悩んだことがある方には有効なフレームワークです。人材開発のあり方や研修の見直しを検討されている人材開発担当の方におすすめです。
お気軽にお問い合わせください。
鹿野 尚登 (しかの ひさと)
1998年にパフォーマンス・コンサルティングに出会い、25年以上になります。
パフォーマンス・コンサルティングは、日本企業の人事・人材開発のみなさまに必ずお役に立つと確信しています。
代表者プロフィール
代表ごあいさつはこちら