ABテストで間違った判断をしないための分析方法

誰でも簡単にできるABテストの正しい判断方法について解説します。

こんにちは、リスティング広告コンサルタントの石井です。

世間はもうお花見シーズン!宴会幹事の方は場所取りに苦労する時期がやってまいりました・・・
ですが、なんだかんだ桜の下で行われる飲み会は普段と違って楽しいものですよね!
さて、今回はABテストについて解説していきます!
「ABテストの期間ってどれぐらい必要なの?」、「ABテストはどれぐらいデータが溜まれば判断できるの?」
上記のようなことでお困りの方は、結構多いのではないでしょうか?
本章を読んでていただければ、ABテストで間違った判断をしない方法を
簡単に身につけることができます!これで売上アップにも貢献できるABテストができますね。
それでは、本題に入ります!
例えば、下記のようなデータを見たときに皆さんはどのような判断をしますか?
001.pngのサムネイル画像
これをみても「えー、100円でAdwordsを攻略?」の広告がコンバージョンが3件も入っている!
一方で、「Adwords攻略DVDがたったの100円」はコンバージョンが入っていないから早く止めなくてはいけない
前者の広告が優秀だからすぐに次のテストに切り替えよう!なんて判断する人はあまりいませんよね。
なぜなら、データとしてのそもそもの母数が少ないためほとんど意味がないからです。
それでは、次の場合はどうでしょうか。
002.png
全体のクリック数は1,400程度、かなりデータが蓄積されているように見えます。
これならすぐに「Adwords攻略DVDがたったの100円」こちらに絞ってもいいのでは?そう思うかもしれません。
しかし、その答えはNOです。
なぜならばデータが偏り過ぎているため、なんとなくコンバージョンが多い方に変ようというのは非常にリスクが伴います。
また、ABテストの判断を間違ったときのリスクは下記のようなことが想定されます。
それは「見込みのある広告文や訴求軸を見失ってしまうこと」これはかなり恐いことです。
それと同時に見込みのない広告文や訴求軸を見込みあるものと思い込んでしまうことも起きるため慎重に判断をしていくことを強くおすすめします。
じゃあどうすればいいの?
そんなときに役立つ分析方法が「カイニ乗検定」になります。
カイニ乗検定とは、カイ(x)のニ乗分布(変数のニ乗の和から出てくる分布)を使い、比較したい事象に対して頻度の検定を行う方法です。
例えばこんなときに使ったりします。
判例a
さいころを100回ふったら、出た目がそれぞれ
1の目・・・30回
2の目・・・25回
3の目・・・20回
4の目・・・15回
5の目・・・10回
6の目・・・0回
という結果になった。このとき、さいころの形そのものが歪んでいるといえるか。
(このくらいのバラつきは、普通のサイコロでも起こることなのか?それとも、やはり、このサイコロが歪んでいるのか?)
どうでしょう?カイニ乗検定を使うと、これは偶然の結果と考えることが妥当だとわかります。
では、どのようなやり方をすればいいのか。特別なツールを使う必要はありません。
必要になるのはエクセルの「CHITEST」という関数になります。
それでは、先程の広告文のパフォーマンスに対してこの検定方法を実践していきましょう。
手順1.
下記のようにコンバージョンにつながったクリック数とそうでないクリック数、その合計を入力しましょう。
003.png
手順2.
次に、実際の数値から期待値(p)を求めましょう。
004.png
そのとき、表に入力する数値の求め方は下記のようになります。
①・・・コンバージョン無しの合計×広告aの合計÷全体の合計
②・・・コンバージョンありの合計×広告aの合計÷全体の合計
③・・・コンバージョン無しの合計×広告bの合計÷全体の合計
④・・・コンバージョンありの合計×広告bの合計÷全体の合計
入力すると下記のようになります。
005.png
手順3.
最後にaとbの数値が偶然かどうかを求める計算式を入力します。そのとき使う関数は先程のCHITEST関数になります。
入力すると範囲を指定することになりますので、下記のような範囲を指定してください。
006.png
以上を入力すると、今回のテスト結果が偶然生じた数理がどうかが分かります。その確率が下記になります。
007.png
「21.8%」という数値が出ています。
一般的に統計学では「5%」を上回る数値は意味のない偶然の確率とされています。
したがって、今回のような場合は偶然によって生まれた数値ということになるためこのタイミングで判断を下すのは早いということが分かりますね。
他にもテスト結果をこの検定方式に当てはめてみたのですが、下記のようなケースは偶然の確率かどうか判断するのに大体3ヶ月は必要であったということが分かります。
確かに3ヶ月目以降は、安定して5%を下回る期間が続いていますよね。
008.png
いかがでしたでしょうか。
皆さんはそれぞれテストを切り替えるための判断軸をなにかしらもっているかもしれません。
しかし、データに基づく判断はできていましたでしょうか?
できていない方は、今回の判断方法を活用してテストで損をしないような判断ができるようになりましょう。
これを理解していればコンバージョン数を着実に伸ばしていくことができますね。
是非ご活用下さい!それでは。

Web広告でコンバージョン数を最大化する7つの極意をプレゼント!

「Web広告マーケティング大全」
(無料・PDFでのダウンロード)

2018年9月発行の書籍「コンバージョンを最適化する7つの極意」の元となった、電子書籍「Webマーケティング大全」を無料でダウンロードいただけます。
(PDF・全161ページ)

無料でPDFファイルをダウンロードする
(全161ページ)
Web公告マーケティング大全

関連記事一覧