はじめに
- 施策Aと施策Bのどちらが良いか判断したい
- 施策Aが何もしない場合と比べて良いことを示したい
ビジネスにおいてこのような検証機会は多々あります。
しかし、統計学を知らないことによりあまり正確でない検証をしているケースを多く目にします。代表的な2例を挙げてみます。
誤差と区別がつかないものを効果と結論付けているケース
例えば「施策Aは売上が平均10％改善、施策Bは売上が平均12％改善した。よって施策Bの方が効果が高い。」と主張しているものはこのケースに該当している可能性があります。
平均値の大小関係が誤差ではなく意味のある差（有意差）と言えるかが重要なのですが、
私の感覚では有意差かどうかの確認は疎かにされていることの方が多いです。
極端なじゃんけんの例でこれを説明します。
作戦A：2勝1敗 勝率66.7％
作戦B：1勝2敗 勝率33.3%
→よって作戦Aの方が優れている
この結論には違和感を持ちそうですよね。もっと試行を増やしたら違う結果にもなり得そうです。要は試行回数のサンプルサイズ不足のためブレ（誤差）が大きい状態で評価してしまっているということです。
最初の売上の例でも同じように、10％改善と12％改善の2％の差が誤差では起こり得なそうかどうかを検討して初めて効果を主張するべきです。
ざっくりした流れ
同質でない比較対象と比べているケース
こちらも事例を見てみましょう。
「全国のスーパー共通で使えるクーポンAとクーポンBをそれぞれ100人に渡したところ、Aは使用率が30％、Bは使用率が10％だったのでクーポンAの方が反応が良かった。ちなみにクーポンAは世田谷区、クーポンBは港区で配布した。」
聞いた瞬間に地域差考えろよとツッコミたくなりますよね。
しかし、知らずしらずのうちにこのような性質の違うグループを比較してしまうケースがあります。
こちらに関してはまた別記事で書きますが、グループ内のデモグラ分布などを見ておくことで事前に防ぎましょう。また、予めグループ分けをするような場合は最適化手法を用いて分布が2群間で近くなるように同質化する方法もあります。
誤差かどうか判別する方法
統計学的仮説検定という方法があります。
有名なものにt検定があり、2群間の平均に差があるかの検定によく使われます。
※母集団が正規分布に従っていると仮定できる時しか使えません
「帰無仮説」を立てる
仮説検定では「知りたい事実と反対の主張」を「帰無仮説」として設定します。
上述した例の場合、「2群間には差がない」が帰無仮説です。帰無仮説に対する「対立仮説」はこの場合、「2群間には差がある」です。
帰無仮説に基づいた時に実際に出た差が起こりうる確率をP値と言います。
例えば、差がないと仮定した2群間でサンプル調査してX%の差が出た時、これくらいは30%の確率で起こるよとなったらP値＝0.3です。その確率（P値）が5%以下だったら「さすがにそれは偶然起こらんやろ」となったら帰無仮説を棄却し、対立仮説を採用します。つまり2群間に差があると結論づけるということです。
「有意水準」を設定する
帰無仮説を棄却する判断基準となる確率として「有意水準」を設定します。有意水準に決まりはありませんが、前述の例のように0.05（5％）を用いるのが一般的です。
p値を算出し有意水準をと比較する
P値は計算式を覚えてなくてもExcelの関数や各種ツールで計算できます。
以上の手順により、帰無仮説を棄却できたら帰無仮説は「示した事象と反対の事実」なので、示したい結果が示せたことを意味します。
必要なサンプルサイズ（N数）の決め方
前章でt検定の説明をしました。t検定のP値はt値を確率に変換したもので、分散が異なる2群間のt値は以下の計算式となります。
不偏分散および、サンプルサイズはmおよびn
式を見ると、平均値の差や分散（不偏分散）が一定ならサンプルサイズが大きくなるほどt値が大きくなる（P値は小さくなる）ことが分かります。
つまり、サンプルサイズを増やすほど2群間に差がある場合は差があると結論付けやすくなります。
逆に考えると、どれぐらいの差が出ることを期待するかと、分散（標準偏差）を推定値で設定すると、それを帰無仮説の棄却により示すための必要サンプルサイズを出すことができます。
ちなみに、カシオのWebサイトを活用すると簡単に算出できます。
前提知識として、有意水準、検出力、第1種の過誤、第2種の過誤の意味は理解しておきましょう。
また後ほどこの記事を更新して説明します。
0 件のコメント:
コメントを投稿