ABテストで間違った判断をしないための分析方法

  • 2016.3.27
  • 2017.8.23
  • 2,032 Views

誰でも簡単にできるABテストの正しい判断方法について解説します。

こんにちは、リスティング広告コンサルタントの石井です。

世間はもうお花見シーズン!宴会幹事の方は場所取りに苦労する時期がやってまいりました・・・
ですが、なんだかんだ桜の下で行われる飲み会は普段と違って楽しいものですよね!
さて、今回はABテストについて解説していきます!
「ABテストの期間ってどれぐらい必要なの?」、「ABテストはどれぐらいデータが溜まれば判断できるの?」
上記のようなことでお困りの方は、結構多いのではないでしょうか?
本章を読んでていただければ、ABテストで間違った判断をしない方法を
簡単に身につけることができます!これで売上アップにも貢献できるABテストができますね。
それでは、本題に入ります!
例えば、下記のようなデータを見たときに皆さんはどのような判断をしますか?
001.pngのサムネイル画像
これをみても「えー、100円でAdwordsを攻略?」の広告がコンバージョンが3件も入っている!
一方で、「Adwords攻略DVDがたったの100円」はコンバージョンが入っていないから早く止めなくてはいけない
前者の広告が優秀だからすぐに次のテストに切り替えよう!なんて判断する人はあまりいませんよね。
なぜなら、データとしてのそもそもの母数が少ないためほとんど意味がないからです。
それでは、次の場合はどうでしょうか。
002.png
全体のクリック数は1,400程度、かなりデータが蓄積されているように見えます。
これならすぐに「Adwords攻略DVDがたったの100円」こちらに絞ってもいいのでは?そう思うかもしれません。
しかし、その答えはNOです。
なぜならばデータが偏り過ぎているため、なんとなくコンバージョンが多い方に変ようというのは非常にリスクが伴います。
また、ABテストの判断を間違ったときのリスクは下記のようなことが想定されます。
それは「見込みのある広告文や訴求軸を見失ってしまうこと」これはかなり恐いことです。
それと同時に見込みのない広告文や訴求軸を見込みあるものと思い込んでしまうことも起きるため慎重に判断をしていくことを強くおすすめします。
じゃあどうすればいいの?
そんなときに役立つ分析方法が「カイニ乗検定」になります。
カイニ乗検定とは、カイ(x)のニ乗分布(変数のニ乗の和から出てくる分布)を使い、比較したい事象に対して頻度の検定を行う方法です。
例えばこんなときに使ったりします。
判例a
さいころを100回ふったら、出た目がそれぞれ
1の目・・・30回
2の目・・・25回
3の目・・・20回
4の目・・・15回
5の目・・・10回
6の目・・・0回
という結果になった。このとき、さいころの形そのものが歪んでいるといえるか。
(このくらいのバラつきは、普通のサイコロでも起こることなのか?それとも、やはり、このサイコロが歪んでいるのか?)
どうでしょう?カイニ乗検定を使うと、これは偶然の結果と考えることが妥当だとわかります。
では、どのようなやり方をすればいいのか。特別なツールを使う必要はありません。
必要になるのはエクセルの「CHITEST」という関数になります。
それでは、先程の広告文のパフォーマンスに対してこの検定方法を実践していきましょう。
手順1.
下記のようにコンバージョンにつながったクリック数とそうでないクリック数、その合計を入力しましょう。
003.png
手順2.
次に、実際の数値から期待値(p)を求めましょう。
004.png
そのとき、表に入力する数値の求め方は下記のようになります。
①・・・コンバージョン無しの合計×広告aの合計÷全体の合計
②・・・コンバージョンありの合計×広告aの合計÷全体の合計
③・・・コンバージョン無しの合計×広告bの合計÷全体の合計
④・・・コンバージョンありの合計×広告bの合計÷全体の合計
入力すると下記のようになります。
005.png
手順3.
最後にaとbの数値が偶然かどうかを求める計算式を入力します。そのとき使う関数は先程のCHITEST関数になります。
入力すると範囲を指定することになりますので、下記のような範囲を指定してください。
006.png
以上を入力すると、今回のテスト結果が偶然生じた数理がどうかが分かります。その確率が下記になります。
007.png
「21.8%」という数値が出ています。
一般的に統計学では「5%」を上回る数値は意味のない偶然の確率とされています。
したがって、今回のような場合は偶然によって生まれた数値ということになるためこのタイミングで判断を下すのは早いということが分かりますね。
他にもテスト結果をこの検定方式に当てはめてみたのですが、下記のようなケースは偶然の確率かどうか判断するのに大体3ヶ月は必要であったということが分かります。
確かに3ヶ月目以降は、安定して5%を下回る期間が続いていますよね。
008.png
いかがでしたでしょうか。
皆さんはそれぞれテストを切り替えるための判断軸をなにかしらもっているかもしれません。
しかし、データに基づく判断はできていましたでしょうか?
できていない方は、今回の判断方法を活用してテストで損をしないような判断ができるようになりましょう。
これを理解していればコンバージョン数を着実に伸ばしていくことができますね。
是非ご活用下さい!それでは。

コメント

カテゴリー別記事

サイト改善

数字に基づいた改善で売上を上げる

サイト改善の基本から役立つノウハウまで公開

無料資料ダウンロード

 

YouTube動画マーケティングがわかる
企業チャンネル最新攻略法

YouTubeで企業チャンネルが成功するために実践した施策を公開します。

資料ダウンロード

 

労務費・外注費・経費を削減して売上アップ
専門チームを外部で育てるラボ型のWebチーム

経費を削減して売り上げアップする方法を無料で公開!

資料ダウンロード

 

見込客と関係性を構築して売上アップする
育成型マーケティング新戦略

見込み客と関係性を構築して売上アップする育成型マーケティング新戦略

資料ダウンロード

 

コンバージョン数を今すぐ最大化する
Web広告マーケティング大全

売り上げを伸ばすエッセンスを凝縮!160Pの無料電子書籍です。

資料ダウンロード

MAIL MAGAZINE

最新のマーケティング情報をお届け。
リスプラマガジンでしか手に入らない情報を受け取りましょう。

nagahashi_admin

リスティング広告とランディングページの改善のプロフェッショナル集団!

記事一覧を見る

X

見込客と関係性を構築して売上アップする育成型マーケティング新戦略

「今すぐ購入に繋がるユーザーを狙う」だけでは、もう成果が出ない。潜在顧客と関係性を構築し売上アップを実現する「育成型マーケティング」の新戦略を5つのポイントから解説(無料)

無料でPDFファイルをダウンロードする