指標はいくらでも作ることができる

データドリブンができる良い指標とは、学ぶことができる指標であり、行動を変える指標です。このことは前回の記事でも解説しました。ここではさらに、良い指標についてより深く解説していきます。

学ぶことができる指標を考えるときなにから考えればよいでしょうか？実際のところ、まずは教科書的な指標からスタートするケースがほとんどです。現代では多くの分野で定番とされるような指標が存在します。たとえば顧客の離脱率や顧客単価、広告のCTRやコンバージョンレート、NPS…などはよく使われる指標です。これらの指標を起点に使うべきKPIを考えていきましょう。

これらの指標をそのままKPIにすることもあれば、分解して使うこともありますし、セグメントなどでスコープを狭めて使うこともあるでしょう。たとえばCTRはインプレッション数とクリック数に分解できるのでそれぞれ別に追いかけたほうがよい場合もあります。また、特定のユーザ属性でセグメントにわけることが有用なケースもあるでしょう。

他にも、重要な指標に関係がありそうな数値をKPIとして選ぶこともあります。問い合わせ満足度を改善するためには解決率や応答率を見ることがあるでしょう。機能の利用率や到達率などはサービスの改善で定番です。これらの指標は、さらに分解したりセグメントで切り分けたりすることができます。指標は切り口を変えたり細分化するなどしていくらでも作ることが可能なのです。

指標になるのは「改善したくてたまらない」もの

指標は作ろうと思えばいくらでも作ることができますが、どの指標が最も自分たちの今一番ほしい学びを与えてくれるのでしょうか？学ぶことができる指標の重要な条件は、その数値が「改善したくてたまらない」ものであることです。そしてさらに、自分たちにその指標を改善できそうな仮説があることです。

たとえばアイスの売上と気温に相関があると言われていますが、アイスを売りたいからといって気温をKPIにしても意味がないことはすぐにわかるでしょう。気温を操作することは現実にほぼ不可能ですので、私たちは気温の変化をただ受け入れることしかできません。ここからはなにも学ぶことができないのです。

顧客満足度をKPIにするのはどうでしょうか？顧客満足度はぜひ改善したい数字ですし、なんだか改善するアイディアもありそうです。これが、ユーザが100人のサービスであれば、たしかにアイディアから試行錯誤して数値を改善することは可能かもしれません。もしユーザが10万人のサービスだったらどうでしょう。アイディアがあったとして施策と数値を関連付けて改善サイクルを回すことができるでしょうか？

ユーザが10万人のサービスでも特定のセグメントに絞り込めば対象となるユーザを減らすことはできます。顧客満足度を改善したいとして性別や居住地、年齢、行動などからスコープを小さくすることは可能です。そうして100人のユーザに絞り込むことで改善サイクルを回すことは可能になるでしょう。しかし、この場合は全体への影響が限定的になることは明らかです。

もちろん、これは極端な例になります。実際の現場ではこれほどわかりやすくありません。多くの指標は改善ができそうなできなさそうな…と曖昧なレベルであることがほとんどだとおもいます。では、その中から自分たちにとって有用な指標はどのように探せばよいのでしょうか？

ユーザ数が増えれば、良い指標は変わる

指標は同じ内容であっても、状況次第で良い指標にも悪い指標にもなりえます。あるときは妥当なKPIであっても次第にサービスの種類や規模、目標が変化すれば、学びを得ることのできない不適当な指標となることがあるのです。

指標を検討するときは対象となるユーザの規模や自分たちの施策の影響が及ぶ範囲から考えるとよいでしょう。数字から学ぶためには自分たちのアクションと指標が対応している必要があります。ユーザが増えれば特定のセグメントに対する施策が増えていきますし、その効果を見たいならばそのセグメントの数値に注目したほうがわかりやすいということです。

サービスの立ち上げ期はアクティブユーザ率やChurn Rateのような定番のユーザ全体に係る抽象的な指標をKPIとして選ぶことが多いでしょう。これはビジネスに直結する指標であり、最終的に改善したい指標となります。このフェーズではサービスの課題が多くアクションがユーザ全体に影響を与えることが多いため、これらの指標をそのまま使うことで多くのことを学ぶことができます。むしろ、ユーザが少ないので細かい指標を見ようとしても変化が乏しく、知見を得ることは簡単ではありません。

一方で、サービスが成熟してくると上記のような指標では学ぶことが難しくなります。これはユーザが増えれば増えるほど指標の変化が小さくなり、施策による効果がわかりにくくなるためです。多様なユーザが増えればそのぶん施策を検討する幅も広がります。そのため、指標を分割したりセグメントを切ったりしてスコープを狭めた指標を大本のKPIの下位にぶらさげてツリーとして利用します。たとえば、特定の機能の利用率のような具体的なユーザの行動をChurn Rateの下位においたり、全体のコンバージョンレート改善に対して特定の流入経路やユーザの属性をセグメントとして絞り込んで参照するといった手法は頻繁に取り入れられています。

しかしこれらの手法には問題点もあります。指標は分割したりスコープを狭めたりすれば理解しやすくコントロールしやすい数字にすることができますが、改善したい指標への影響が限定的になったり、指標の距離が離れて不確実性が高まったりするからです。データドリブンのためには、このトレードオフに対してちょうどいいバランスの指標を探す必要があるのです。

指標は常に模索するもの

抽象的な指標から始まり次第に具体的な指標を見るという流れは、データドリブンな組織では自然に行われています。最初はChurn Rateや顧客満足度のような指標を追いかけたとして、次第にサービスが拡大し施策が具体的なターゲットへ移っていくため、自然と指標も具体的なKPIが設定され改善活動を行うことになります。

なにか素晴らしい指標を見つけたとして、それをずっと追いかけているだけではデータドリブンにはなりえません。変化の激しい現代においては。市場もビジネスも変化し続けているのです。そうなれば、当然、追いかける指標も改善されるべきなのです。

データドリブンな組織は、KPIから自分たちがなにか新しいことを学ぶことができているのか常に考えています。指標を使って改善サイクルを回すだけでなく、良い指標を探して改善するサイクルを回すことがデータドリブンでは重要なのです。