VWOがパターンの勝敗を判定する方法

ABテストの実施は簡単に見えますが、結果の分析を正しく行うには本来、経験と知識が必要となります。ABテストでは、正しいデータを取得するために一定期間テストを実行する必要がある頻度主義 (Frequentist) モデル、いわゆる頻度論を用いることが多いです。

しかし、テスト実施をされるほとんどの担当者やマーケターの方が、時間の重要性を理解できず、結果判定をテストの有意水準を満たすことだけを優先する傾向にあります。結局、テストの有意水準を満たすことが最大の目的となってしまい、有意差検定と呼ばれているように思えます。しかし、推奨された期間テストを実施しないと、有意差は正しく算出されませんし、テスト結果も不正確になります。

推奨された時間テストを走らせたとしても、頻度主義モデルのテストではAがBに勝つか負けるかしか判定できません。AパターンとBパターンが近いのかかけ離れているのかは推定できず、AがBに勝つ可能性や逆の可能性についても分かりません。

こういった誤りは、ABテストがコンバージョンの最適化を考慮して発達したものではないからです。統計手法として採用されたものの、コンバージョンの専門家が進めるワークフローに沿ってカスタマイズされたものではないのです。

スマートスタッツ (SmartStats): 勝利パターンをベイズ検定で判定

VWOのスマートスタッツ (SmartStats) は、ベイズ検定に基づいた新しい計測エンジンで、テスト管理が容易になっています。テストの計画もしやすく、テストの終了タイミングを明確な根拠に基づいて決定できます。

またAパターンとBパターンの結果にどれほど差があるかについても理解しやすくなっています。スマートスタッツは、VWOユーザーがどのような改善に関心を持っているか、どのような確信を持っているかを理解し、テストをよりスムーズにするためのあらゆるステップを支援します。

CVRを範囲として算出 (Expected Conversion Rate)

VWOでは、サイトの実際のコンバージョン率 (CVR) がどこにあるかを99%の確実性で表すために、CVRの範囲を示しています。テストを開始すると、まずCVRは 0～100% の範囲にあるとみなされ、テストが進むにつれてその値は更新されていきます。

CVRの範囲を更新するにあたって、ベイズ統計モデルを使用しています。これは、まだ起きていない事象の可能性を予測するものです。推論統計学は、このようなことを扱う統計学の一分野で、「頻度主義」と「ベイズ統計学」の2つの主要なモデルがあります。どちらのモデルにも独自の利点があり、利用者の目的に沿っていずれかを選択する必要があります。

例えば、コンバージョンと訪問者を分けてCVRを算出すると、正確な結果は得られません。「100人の訪問者の内、7人のコンバージョン」と「10,000人の訪問者の内、700人のコンバージョン」は、両方とも7%のコンバージョン率になります。コンバージョンが1増えた場合、前者のCVRは8％になりますが、後者のCVRはわずか7.01％となります。

ここでは変更を行ったパターンのCVRを推論しようとしているのであって、サイトの訪問者100人分のコンバージョン (CV) を測定して分かるものではありません。大量のトラフィック（と時間）をテストに割くことはできないので、不確実性と変動を考慮しながらデータを出す必要があります。

短期間で収集されたデータを使って1つの値を算出しようとすると、正確になることはほとんどありません。単一の値としてCVRを捉えることは適切ではないのです。コンバージョンの数を％の形で表す代わりに、VWOのスマートスタッツでは、99%の確実性で本当のCVRが存在しうる範囲を算出します。データを多く集めることでこの範囲（数値の幅）は狭くなり、より確実性が増してきます。