2023.1226

まとめ

本文で解説している図表1～12は原書にはありませんので、あらかじめご了解ください。

ROI Institute 　https://roiinstitute.net/

3～4年前に久しぶりにJ.J.フィリップス のATDの録画セッションをみていて、こうした数字をあげながら淡々とプレゼンしている姿をみて正直驚きました。

ROIは大手の民間企業だけでなく、政府系組織・医療系・教育系組織も多数導入しています。特に驚いたのが、「年間人材開発予算$10億+の企業が米国には10数社あるが、そのうち3～4社がROI導入している」とフィリップスが言ったときです。

数字にうるさい米国のビジネス界で、なぜ主観的な要素が入るROIがここまで普及するのか不思議に思い、ROIの文献（上記写真、1997年、2003年、2007年、2015年、2016年、2017年、2020年、2022年、2023年）を見直すことにしました。

結論を先に言えば、多くの企業の研修はROIを算出する必要性は少ないでしょう。しかし、自社の重要な研修については、研修受講後のレベル3（行動の改善）やレベル4（指標の改善）を評価する必要性は高まってきていると思います。フィリップスのROIモデルのツールはレベル3・4の評価にも大いに役立ち、使わない手はないと思います。

図表3はフィリップスのROIプロセスモデルを単純化して1997年、2003年、2020年と時系列に並べてみたものです。説明するまでもなく、違いは一目瞭然です。
最新の2020年版のモデルは下記サイトをご参照ください。

ROI Methodology®  https://roiinstitute.net/roi-methodology/

意味の観点で言えばROIは「データ収集・分析中心の手順的なモデル」から「パフォーマンス改善の上流から結果報告までのプロセスモデル」に進化してきたと言えそうです。

また、手順的な観点で言えば、フェーズ区分があいまいな10ステップから明確な4フェーズに区切り、12ステップに変化したと言えると思います。

具体的に何がどう変化したのかはあとでみていきます。

先にROIに出てくるもうひとつのモデルの変化をみておきましょう。図表4は1997年のハンドブックにはないのですが、2003年版に登場しているアラインメントモデルです。

2000年以降「人材開発の目的がパフォーマンス改善にシフト」するにつれ、「事業と研修」の連動が問われるようになりました。その動向を反映してか、「ニーズアセスメント（Before、左半分）と評価（After、右半分）を連動するモデル」が2003年版に登場したのです。

その後、The Chief Learning Officer (2007)でV字モデルの原型らしきものが登場し、それが現在のアラインメントモデルに発展してきた感じです。

ROI Methodology®  https://roiinstitute.net/roi-methodology/

ROIモデルの大きな流れがわかったところで、もう少し具体的にみていきましょう。

図表5 は、ROIモデルの変化をみるためにHandbook of Training Evaluation and Measurement Methods の第3版（1997）と第4版（2016）、 Proving the Value of Soft Skills: Measuring Impact and Calculating ROI（2020）の3冊を比較したものです。

最も重要な違いは「視点」です。19997年は狭義の「評価屋」的な視点でデータ収集・分析方法を中心に解説していますが、2016・2020年では「ニーズ把握・研修設計・研修転移」と昔の「分析・設計・開発・実施・評価」の縄張りを超えて上流・下流に広がっています。

さらに、2016年版では1997年版にはなかった研修開発部分を含めた全体のプロセスモデル（成果を重視する人材開発アプローチ、21ステップ）もあります。

それぞれの特徴ですが、1997年版は大学のテキストでした。2016年版はニーズアセスメントなど上流の業務を取り込み、2020年版では研修以外のコーチングやインセンティブ施策なども含め、ROIの実践7事例を紹介するなど、徐々に幅が広がっています。

ここまで3冊の違いをざっとみましたが、以下は3冊に共通する考え方です。

ステップ1ではデータ収集とROI分析に必要な作業の実行計画を立案します。当たり前のような気がしますが、フィリップスはこの計画の重要性を何度も強調しています。

次は、ステップ2～5でレベル1（学習の好感度）、レベル2（学習習得度）、レベル3（職場活用度）、レベル4（業績への影響度）のデータ収集をします。そして、ステップ6でレベル4の業績改善のうち研修がもたらした効果を分離します。

ステップ7～10はROIの核心で、研修効果を金額換算しROIを算出するデータ分析です。

ROIの本は、ステップ2～10のデータ収集・データ分析の内容が6割前後を占めており、データ収集とデータ分析の解説がメインになっています。

図表7はステップ2～10のデータ収集とデータ分析の主な方法をあげたものです。

図表10のフローをたどっていくと、2003年当時のプロセスと比べて上流と下流が厚くなり、ROIのプロセスモデルの完成度が高まったことがよくわかると思います。

ここまでで、1997年版の和訳のROIイメージが大きく変わったという人が多いのではないでしょうか。そういう方にお勧めしたいのが2020年以降に出版されている次の3冊です。

というのは、計画段階で自社の経営幹部や現場の反応をシミュレーションすることになり、結局多くの阻害要因を思い浮かべながらその対応を考えることになるからです。

また、先にみたように4番目にあげたレベル3・4のデータ収集や分析方法は汎用的で、活用できる内容が多いと思いました。逆に、これを使い倒さないともったいない感じです。ぜひ、詳しい内容を原書でご確認いただければと思います。

一方のROIに対する主な批判は、「研修効果の分離や金額換算の方法として寄与度・信頼度判定を活用し、客観性に欠ける」「実験モデルは実践が難しい」「研修効果の分離や金額換算に労力がかかる」といったものが相変わらずあると思います。さらに、「データ収集・分析手法が20世紀的」だと思います。

しかし、レベル3・4のデータを収集してその結果をふつうに分析するのであれば、実はROIを算出する労力とあまり大差はないのかもしれません。

フィリップス&フィリップスの動画では、「ROIは確かに主観的な判断要素が入ってきます。でも今では多くの組織で活用されています」と自信たっぷりに語るシーンがあります。

言外に「研修効果の分離も金額換算も厳密に客観的に行うのは難しいことはわかっていますよね。それでも経営幹部の素朴な問いに答えるためには、このやり方が現実解では?」と言っているように感じます。

ROIの導入組織が増えているのは、現在のROIはパフォーマンス改善のプロセスと一体化して完成度は高まっており、「何もしないよりはこれが現実解」と共感する人が増えたからではないでしょうか？

図表12では、日本企業のCFOが最近の統合報告書で人材開発指標を取り上げるようになっていることを例示しています（『CFOポリシー第3版』2003年）。

実際のところ、「ROIまで必要ない」という日本企業は多いでしょう。とはいえ、ESGやファイナンスの観点で人材開発の投資効果の関心が高まると、経営から聞かれればレベル3（行動の改善）・レベル4（指標の改善）をすぐに示せるように準備が必要かもしれません。

いずれパーソナルAIの時代になると、学習したことをどのくらい覚えていて実務に活用しているのか、業績改善にどの程度寄与したのか、AIがリアルタイムで教えてくれるでしょう。受講者が忘れていたり、スキル習熟が足りなかったりすると、AIがすぐに補習的な教材やアドバイスをし、パフォーマンス改善の支援をしてくれるでしょう。

そのときは、AIに学習させるデータとして、フィリップス&フィリップスのROIの考え方に基づくレベル1～4のデータ収集やデータ分析の蓄積が大いに役立つ気がします。ひょっとすると、AIがあっという間にROIを算出してくれるかもしれません。

当面はROIのモデルやツールを使い倒してレベル3（行動の改善）とレベル4（指標の改善）の評価実績を増やし、データを蓄積してパーソナルAI時代に備えるといった妄想が膨らみます。

今後は、カークパトリックの4レベルやROIといった20世紀的な研修効果測定の議論は消えていくのかもしれません。