ER BLOG
新年あけましておめでとうございます。
本年もどうぞ、よろしくお願いいたします。

さて、研修の効果測定について引き続き記載をしていきます。

改めて記載しますが、研修の効果測定を、研修を実施するbefore→afterの周囲からの360度アンケートによる行動の変化が研修の効果、と捉えてはいかがでしょうか、というのが私からの提案です。
厳密性を突き詰めていくと非常に難しくなるので、その曖昧さは認めながら話を進めてきました。

構造は非常にシンプルです。
ただ、この360度アンケートの質問項目をどうするのか、この部分を少し考える必要があります。
というか、物凄く大事な部分で、昨年のHRカンファレンスでもいくつかご質問を頂いた内容になります。

例えば、リーダシップ研修を開催するとします。
はい、ココです。
その会社さんにとって、リーダーシップとは何ですか?

この議論はものすごく大切です。

一般的にリーダーシップとは、影響力とか巻き込み力とか、そんなふわっとした言葉で表現されていますが、それはその会社さんにとってどの様な行動をしていることを指しますか?

我々は、こういった議論にものすごく時間を割きます。時には現場の方にインタビューをしたりします。
でなければ、その会社さんでのリーダーシップのカタチが見えず、研修に落とし込むことができません。

仮にこんなアンケートが来たら、皆さん困りません?

●●さんは、リーダーシップを発揮していると思いますか?
●●さんは、周囲を巻き込んでいると思いますか?

ものすごく答えづらいですよね。
これをこんな形に変えたらどうでしょう?

●●さんは、目標達成に向けて社内外から協力体制を築きながらモノゴトを進めていると思いますか?

如何でしょうか?前者よりはイメージがつきやすいのではないのでしょうか。

これらアンケート項目は、なかなか一般化しづらく、個別性が高いです。
それは、業種/業界/会社によって求められるリーダーシップ像が微妙に異なるからです。

研修効果を測るためのアンケート項目を作成することは、地味なんですが非常に大切な議論をお客様と重ねます。
状況によっては、お客様の昇格の際の評価項目など、そこまで議論を深めることもあります。
すると、本当にこの研修でよいのか、現場で必要とされていることと評価項目に乖離があるのではないか。
そもそもこの研修でよいのか、など、運営サイドでも新たな気づきが得られることもあります。

深い内容で少し大変ですが、非常に大切な地ならしです。
Pocket

前回のブログで、受講者の満足度と行動変化に関係性があるとは言えない、と書きました

では、研修終了後に行う受講者アンケートは、意味が無いのでしょうか?
いえ、私は決してそうは思いません。受講者アンケートも非常に大切です。
長年研修をしていて、受講者アンケートの私なりの捉え方をお伝えしたいと思います。


①研修満足度(有益度)
世の中の受講者アンケートで、最も取られている項目だと思います。表現の良し悪しはあるとして、質問は大体このような問です。

Q.あなたは今回の研修を受講して満足しましたか?(5~1段階)

私はこの満足度をこのように捉えています。
・思考の導線が満たされていたか(対プログラム):現場の状況や仕事内容や状況を鑑みた内容になっていて、受講者にフィット感があったのか?
・感情の導線が満たされていたか(対タイミング):仕事で悩んでいる中、丁度良いタイミングでの研修開催で、本人の問題解決につながったのか?

この思考と感情の導線を整えることが物凄く大切です。
特にプログラムに関しては、やはりある程度お客様の状況にフィットさせたカスタマイズの研修でご提供しないと満足度の高い研修は実施できない、と今は考えています(但し、新人研修は別)。

ポジティブなコンディションで研修に参加する人は稀です。残念ながらほとんどの方がネガティブなコンディションで研修に参加します。このような状況の中で、「忙しい中で研修かよ、と思っていたけど、終わってみたらよい時間だった」と思ってもらえた指標が、”研修満足度”。


②講師満足度
講師満足度も①と同じように良く取られる指標です。
具体的には以下の様です。

Q.あなたは今回の研修講師の話や内容に満足しましたか?(5~1段階)

これは、
・どれだけその会社さんの業界、業務内容、仕事の仕方を勉強し、受講者の悩みどころを想定したうえで質問し、回答を拾い上げられたのか。
・専門家からの見地からして、受講者に新たな気づきをご提供できたのか。

どちらかというと研修講師へのフィードバックです(当たり前ですね)。自分の不勉強さや語彙力、伝えるタイミングなど、私の内省には非常に大切な情報です。


①②共に、ほとんどのアンケートには定性コメントも記載をされるので、それと組み合わせることで様々な観点から洞察ができると思います。ですので、受講者アンケートは、研修実施する側へのリアクションなんですよね。この声を次に生かさなければ我々の成長がないわけです。合っている/間違っているが問題ではなく、仮説を持ち深く洞察をする、この一連の思考の回数を重ねることは大切ですよね。

決して、”満足”=”楽しかった”と勘違いしてはいけません。
これでは研修ではなく、エンターテインメントになってしまいます。


また、満足度は良く5点満点で表現されます。
私の基準では、
・5.0~4.8は◎
・4.8~4.5は〇←プロとして最低限ここは目指す!
・4.5~4.0はまぁまぁ
・4.0以下は失敗
◎はなかなか取れないですね(苦笑)。4.8行けば上出来でしょうか。


最後に、研修講師として、受講者アンケートによる洞察と、研修時の受講者の生の声を思い出し繋げることで、育成課題や組織課題をイメージし次にご提案することも求められています。

これは、あくまで私の考え方なので、すべてが正しいとは思っていませんが、ご参考までに。
これらと行動変化の指標があれば、更に様々な議論ができます。

Pocket

前回、コツや気になることを今後ご案内します、ということをお伝えしましたが申し訳ございません、もう少し事例を紹介させてください。

研修終了後に受講者に向けてアンケートを取ると思いますが、このアンケート満足度と、行動変容に因果関係があるのか、という議論です。



非常にシンプルな議論で、【研修満足度や講師満足度が高い研修がその後の行動変容に繋がる】ということがわかれば、今まで通り受講者の満足度を聞けばよいわけですし、それを研修の効果だ!と、声高に発信して良いと思います。

今回、ほぼ同じ条件(研修開催時期、アンケート実施時期)で目的や内容の異なる4つの研修を実施しました。
4つの研修の内容が違うので、同等に比較できないのではないか、と言われるかもしれませんが、研修受講者を一つの”カタマリ”と見たときの統計的な変化量は、物理的に同等とみなすべきだと考えています。

さて、4つの研修実施後、満足度が出ました。
具体的な数字は非表示とさせて頂きます。ごめんなさい。



満足度が行動変化に正の相関をもたらすのであれば、ここで立つ単純な仮説は以下3つ。
・コース1の行動変化は△である。
・コース2の行動変化×である。
・コース3,4の行動変化は△ or ○である。
こんな感じでしょうか。

360度アンケートの結果はこのようになりました。
全てお見せできず、また、見にくくて本当に申し訳ございませんが、ブラフではなく実際に行ったことだけが皆様に伝わればうれしいです。



これをまとめると、このようになります。



コース3,4は想定通りでしたが、コース1は×に限りなく近い変化量がほぼゼロの△、コース2に至っては非常に高い行動変化をもたらしました。

タラ・レバの議論をしたらキリがありませんが、少なくとも今回の効果測定の結果では、研修満足度と行動変化に明確な関係性を見出すには至りませんでした。
勿論これは、多くのデータの中で大多数に入るのか、例外部分になるのか。業界・業種によって異なるのか、の検証は必要です。今言えることは、研修の満足度と行動変化に明確な関係があるとは、言い切れないです。

研修講師人格として、ちょっと目をそむけたくなるような結果でした。企業で社員の皆さんが求められているのは成果。その成果を出すために必要な行動を促す場として研修が存在するのであれば、ここにはしっかり向き合わないといけないと、襟を正す思いです。


研修内容の奇抜さや講師の過去の栄光で研修の良し悪しを比較することよりも、お客様の状況に合った研修を創り上げ、研修の効果をしっかり測ってPDCAを回していく大事さを、もっともっと発信し続けたいと思います。

Pocket

では、 実際に研修の効果測定を試みた、あるプロジェクトの一部をご紹介したいと思います。
お客様の事例になりますので具体的な数値は省いておりますが、大枠は感じて頂けるように情報をご提示いたします。
縦軸が360度アンケート結果の平均をとった受講者数、横軸が4点満点と置きました。この場合の表記は散布図が正しいと思いますが、それでは非常に見づらくなってしまったので棒グラフで表現します。

①研修前のアンケート結果
研修受講者を対象に、研修前に上司部下の皆さんに答えて頂いたアンケート結果が①です。
2.0~3.0の間で、のべ~っと万遍なく棒グラフが連なっています。

         
では、研修が終わった一か月後、どの様な結果になったでしょうか。

②研修後のアンケート結果
明らかに波形が変わり、2.5~3.0の間の評価をつけてもらった受講者が非常に多くなったように見えます。

       
③before→afterの比較
この二つのグラフを重ねてみました。
2回目の結果を示しているの青の山が、⊿(デルタ:中央値の変化量)分だけ、全体的に動いているよう見えます。

         
即ちこれが、研修後一か月で受講者全体が⊿だけ行動が変化した、と周囲が評価した結果です。
(一人ひとりではない、というのがミソ)

如何だったでしょうか?
受講者の研修後のアンケートやテストだけではなく、”行動変容”(カートパトリックのレベル3)という軸での研修効果の実例でした。

以前のブログに記載をしたように、厳密性・多様性・再現性のカベがあることは事実です。ただ、そこにつまづいていては何も議論が始まらないと思います。その不確かさを認識したうえで、研修を受講した皆さんを一つの”カタマリ”としてみたときのbefore→afterは、研修効果の一つの側面を表現している、と私は捉えています。

この効果測定の方法は非常にシンプルです。解析面で面倒な部分は少し有りますが、研修ベンダーやコンサルタントに依頼をしなくても人事の皆様で実施していただけるものと思います。
心の声:ご不明な点がございましたら、お気軽にお声がけください♪

さてさて、結果はさらっと書きましたが、ここまで来るのは少し大変でした。私が今まで経験した効果測定の少しのコツや気にかけておくべきこと、検討課題や今判断がつかないことなどは、次回以降数回に分けてご案内いたします。

Pocket

“研修の効果測定”に関する本やサイトを全て読み漁って、行きついた考え方を記載したいと思います。
以下3つが、研修の効果測定の基となる考え方です。タイトルにリンクをつけていますので、ご参考までにご覧ください。

研修効果測定 レベル4
多くのサイトでカートパトリックのこのフレームワークの説明が記載されていますので、詳細は省きます。
一般的には、レベル1の受講者へのアンケートで研修の効果測定が行われています。
レベル2は、学校のテストみたいなイメージですが、新人研修以外で研修後のテストを実施されている会社さんはそんなに多くはないような気がします。
レベル4はかなりハードルが高そうでいきなりは難しいと思います。
我々はレベル3、この行動変容に注目しました。

行動≒成果と考える
組織人である以上、成果を求められます。その成果は行動を起こさないと成果が出ません。勿論、行動を起こしたからと言って成果に必ず結びつくとは限りませんが、少なくとも行動は必要です。その行動を起こしてもらうための一つの手段として研修があるのかもしれません。
であれば、研修が受講者の行動変容を促しているかをしっかり評価しなければなりません。

360度評価
行動変容があったのかどうか、それは本人の評価や感覚だけで判断してしまうと、違った認識を持ってしまう可能性があります。自分で自分の行動の判断は難しいからです。
他者の評価ももしかしたらあてにならないかもしれませんが、複数名から同じような回答であれば、受け入れざるをえませんよね。


この①~③が、研修の効果測定に必要な基本概念です。今後、この3つの前提を基に、効果測定を行ってきたあるプロジェクトの結果や運用上のちょっとしたTipsなどをお伝えできればと思っています。
これをご覧いただいている皆様の何らかのお力になれれば幸いです。

前述した多くの本やサイトは理論だけで、実際の事例が掲載されていませんでした。その補足の意味を込めて、そして、そもそもの研修の効果測定において、広義な意味で問題提起ができればと思っています。


Pocket

研修効果測定の領域は、私がこの業界に入って15年以上経ちますが、ほとんど発展することがありませんでした。

実際に行われている研修の評価は、
・受講者のアンケート結果
・受講者の定性コメント
・人事の皆様からの評価、印象
大体こんな感じです。
ですので、研修の講師をやっている人間は、これらの数値や印象を上げるための工夫をしたりしています。
そして、これらの数値を上げるためのコツを雄弁に語る研修講師の方もいます(←ヤバくないっすか?)。
研修ベンダーもそれがわかっているので、印象の良いことを言ったり、無駄に褒めたり、厳しいことやキツイことを伝えなかったりしています。

なにこれ・・・、本当に意味あるんすか?

そもそも研修の評価って、
・研修をきっかけにして、受講者がどれだけ行動に移し、成果につながったのか?
で捉えるべきではないでしょうか。
この観点が脇に置かれていてフワフワした議論ばかりしているこの業界や環境に、私はずっと違和感を感じていました。

数年間、研修効果測定のことをずっと考え続け、2019年にようやくある程度の形にできたと思います。色々遠回りをしましたが、今思い起こせばシンプルな形になりました。
その話をする前に、そもそもなぜ研修の効果測定が難しいのでしょうか?
そこには3つのカベがあると思います。

①厳密性のカベ
人の成長は研修だけで決まるわけではない。前後の因果関係や環境によっても変わってくるので、特定するのは難しいはず。
②多様性のカベ
一人ひとりの成長の仕方はそれぞれ違うはず。であれば、一人ひとりの成長を吟味、精査していくことは難しいはず。
③再現性のカベ
人の成長は“人”によって異なるのであれば。同じことを実施した際に同じような解が出るはずがない。

・・・本当に、おっしゃる通りです。

そこで考えました。一人ひとりに向き合うとするから議論が前に進まないのではないか。一人ひとりの成長はこの”3つのカベ”のため追えません。
ただ、実施した研修がどれだけ行動を起こした研修だったのか、この議論は進められるのではないでしょうか。

人の成長による研修効果測定の不確実さは認識しながらも、研修効果測定のトライ&エラーを重ねてきた結果を、今後お伝えしていきます。
Pocket

2020.11.16

一年前の今頃

研修の効果測定の方法をある程度自分の中で確立できたのは丁度一年前の秋でした。
我々の提案、というよりは我々の身勝手なチャレンジをお客様が快く承諾してくださり、沢山のハードルは有ったけど一つずつ乗り越えてようやく実現、カタチにするまでに至りました。
勿論100%ではなくこれからも改善・改修の余地は大いにありますが、より良い研修を実施していくための一つの概念として、これから社会に問うていこうと意気揚々としていた頃でした。

ちょっと浮かれていると、人生やっぱり何か起こりますね。

新型コロナウィルスで予定していた仕事やプロジェクトが中止。後一か月少しで新しい年になりますが、この一年は、本当に厳しい一年でした。
特に研修は密状態なので、影響をモロに受けてしまいました。そして、我々自身の変化も余儀なくされました。得たものは非常に多かった、と強がりは言えますが、決して楽観的になれる状況ではありません。

仕方ない、としか言えないです。
そういえば、独立をした2011年も震災があって大変な時期でした。あれを乗り越えたんだから、今回も乗り越えられるはず、と開き直って信じるしかないですね、もはや。

ご提案、プログラム、研修デリバリー、効果測定、この一連の流れにプライドと自信と謙虚さを持って、このような状況でも発注してくださるお客様にしっかり向き合っていきます。
Pocket

2020年4月1日、独立してから10年目を機に会社名を【株式会社スタンス】に変更しました。
これからも全力で取り組んでまいりますので、引き続きご愛顧賜りますようよろしくお願い申し上げます。

そもそもスタンスという名称は、アメリカの発達心理学者でHarvard Graduate School of Educationの教授だったRobert Keganの「器」の成長モデルから取っています。
組織人になれば成果を求められます。その成果を出すのには、知識や行動が伴わなければ成果を出すことはできません。当たり前ですよね。そして、その知識や行動を支えるのが「スタンス」という概念です。「スタンス」とは文字通り、構え・向き合い方・姿勢、といったところでしょうか。知識を得る時も行動に移る際にも、本人が抱いている仕事への向き合い方、姿勢、考え方、動機などの「器≒スタンス」の大小がその人の成長に影響を与え、成果につながってくる、という考え方です。

研修領域にどっぷり浸って15年近くたちます。新人研修~マネジメント研修まで本当に多くの研修のご縁を頂き私の中で確信に至ったのは、スタンスが大切、ということです。いろんな人がいろんなことを言いますが、まず始めにスタンスが整っていなければ何も始めることができません。また、組織で高く評価を受けている方と話をすると、間違いなく仕事に対するスタンスが素晴らしいです。

そしてこのスタンスという概念は、大人だけではなく子供たちに対しても通用します。私はミニバスのコーチを6年間続けてきました。そこで伝えてきたのはまさしくスタンスです。最後まであきらめないこと、失敗を恐れずに挑戦すること、仲間を信じること、感謝の気持ちを忘れないこと・・・。小学生に口酸っぱく伝えていたのはバスケのスキルよりもスタンスのことのほうが時間的に多かったです(意図的に多くしていた)。このような指導の下で、直近3年では勝率8割以上の結果を出すことができました。

最後に「スタンス」という文字の響き。4文字は発音しやすい。また、HRの領域では「スタンス」という言葉に馴染みがあるので、覚えていただきやすいのではないかと思っています。

以前の会社名にもそれなりの想いや考えはあって寂しい気もしますが、心機一転、頑張って参ります。
改めまして、よろしくお願い申し上げます。
Pocket