多変量テストの設定方法

多変量テスト（Multivariate Test：MVT）とは、Webページ上で複数の箇所を変更し、その組み合わせを全てテストする手法です。

設定の大きな流れはABテストと同じなので、まずはスタートガイド（ABテスト）で流れをつかんでいただくことをお勧めします。その上で、この記事では多変量テスト独自の部分についてご説明します。

【STEP 1】キャンペーンの作成

キャンペーンの新規作成

多変量テストを開始するには、管理画面左カラムにあるナビゲーションメニューの テスト 下にある Multivariate を選択します。

アカウント内に多変量テストが今まで作成されていない場合、下記メッセージが表示されるので、中央の CREATE A MULTIVARIATE TEST ボタンをクリックして、多変量テストのキャンペーンを作成します。

仮説の設定（CROプラットフォームのプランのみ）
既存の仮説（hypothesis）を選択するか、キャンペーンを新規作成して仮説を定義します。この機能はCROプラットフォームのプランのみでのご提供となっています。

URLの設定
DEFINE YOUR PAGE URL AND THE VISITOR SEGMENT の直下にあるフォームに、テスト対象URLを入力します。

SIMPLE モード では 1つのURL、ADVANCED モードではURLパターンや正規表現により、サイト内全ページ、あるいは指定の複数ページをテスト対象として指定できます。URLの設定方法については、こちらの2記事をご参照ください。

テスト対象URLの設定

VWOで利用可能なURLパターン

オプションの設定
その他のオプション を開くと、次の2つのオプションを設定できます。

エディタ画面の設定方法

ユーザーセグメント設定

緑の 次へ ボタンでビジュアルエディタ画面に遷移して、バリエーションを作成します。

バリエーションの設定

VWOの多変量テストでは、元の状態をコントロール（Control）、変更を加えた後の状態をバリエーション（Variation）、変更する箇所を セクション（Section）と呼びます。

ビジュアルエディタ画面から、バリエーションを設定する手順をご案内します。

セクションの追加

変更したい要素をクリックして選択すると、操作メニューダイアログが表示されます。

操作メニューダイアログから該当する機能を選び、編集を行います。各機能については、ビジュアルエディタの要素編集機能 を参照してください

head部分にJavascriptやCSSを追加

ページの head 部分に Javascript や CSS を追加するには、JAVASCRIPT/CSS を追加 をクリックして、コードを書きます。

ゴールの設定

ABテスト同様、多変量テストでも、ゴールを設定し計測する必要があります。ゴールはページの訪問数の他に、フォーム送信、サイト上の売上等、様々な種類のゴールがあり、複数設定することができます。以下の記事を参照してゴールを設定してください。

• ゴールの種類

所要時間の設定

入力された項目を元に、キャンペーンの所要時間が計算されます。

①Estimated Existing Conversion Rate (%)

平均CVR（コンバージョン率）を入力します。サイト全体ではなく、所要時間を計算するベースとなるページのCVRが必要です。正確な結果を得るにはVWO、もしくはGAなど他の分析ツールで得られたデータを入力してください。

②Minimum improvement in conversion rate you want to detect (%)

期待しているCVR改善幅の最低値(%)を入力します。例えば 5％ の CVR を1%以上上げて、6％以上にしたい場合、期待する改善率は120%、改善幅は20％です。この20%がここで入力する数字になります。この数値を超えると、90％の割合で勝者判定が正しいと判断されます。

③Number of combinations (including control)

コントロールとバリエーションの組み合わせが、テストの中にいくつあるか表示されます。

④Average number of monthly visitors

テストページの月間平均訪問者数を入力します。傾向を把握するため、直近数か月のデータを参照することをお勧めします。正確な結果を得るにはVWO、もしくはGAなど他の分析ツールで得られたデータを入力してください。

Attention!
月間平均訪問者数はセッションベースではなく、UUベースです。正確な結果を得るにはVWO、もしくはGAなど他の分析ツールで得られたデータを入力してください。

次の2つの項目は、必要に応じてご入力いただく項目です。

⑤p-value cut-off

p値のカットオフ値。全てのバリエーションが等しいCVRの場合、誤った勝者を判定してしまう確率。

⑥Statistical power

検定力。期待しているCVR改善幅の最低値を検出できる確率。期待しているCVR改善幅の最低値を10%、検定力を80％に設定したテストにおいて、10%のCVR改善がみられた時、それを正しく検出できる可能性は80％になります。

Attention!
月間平均訪問者数が入力した数字と大きく異なると、算出された所要時間とは異なる結果になることがあります。
所要時間の算出に必要な項目の入力がが完了したら、緑の 次へ をクリックして、その他設定画面に遷移します。

その他の設定

ABテスト同様、キャンペーン作成の最後の画面では、キャンペーン名、配信比率、ヒートマップの設定、サードパーティ製品との連携などキャンペーンに関する様々な情報を設定することができます。以下の記事を参照して必要な情報を設定してください。

その他設定画面（概要）

完了したら、緑の 完了 ボタンをクリックします。キャンペーンの作成は完了です。

【STEP 2】VWOタグの設置

ABテスト同様、テスト対象ページ及びゴール計測対象のページに、VWOタグ（VWO SMART CODE）を設置する必要があります。以下の記事を参照して設置します。

VWOタグの設置

【STEP 3】テストを実施する前に

ABテスト同様、VWOタグの確認とプレビューの確認をします。

テストを実施する前に

【STEP 4】キャンペーンの実施

ABテストと同様の手順で、キャンペーンをスタートさせます。以下の記事を参照し、キャンペーンをスタートさせてください。

スタートガイド（ABテスト）＞【STEP 4】キャンペーンの実施

【STEP 5】レポートの見方

多変量テストのレポートは、ABテストとはレポート項目が異なり、また採用されている検定方法も違うものです。