多変量テストの設定方法
多変量テスト（Multivariate Test：MVT）とは、Webページ上で複数の箇所を変更し、その組み合わせを全てテストする手法です。
設定の大きな流れはABテストと同じなので、まずはスタートガイド（ABテスト）で流れをつかんでいただくことをお勧めします。その上で、この記事では多変量テスト独自の部分についてご説明します。
【STEP 1】キャンペーンの作成
キャンペーンの新規作成
多変量テストを開始するには、管理画面左カラムにあるナビゲーションメニューの テスト 下にある Multivariate を選択します。
アカウント内に多変量テストが今まで作成されていない場合、下記メッセージが表示されるので、中央の CREATE A MULTIVARIATE TEST ボタンをクリックして、多変量テストのキャンペーンを作成します。
アカウント内にすでに多変量テストが作成されている場合、その一覧が表示されます。キャンペーンを新規作成するには、ここで右上隅の CREATE ボタンを押下します。
テスト対象URLの設定
仮説の設定（CROプラットフォームのプランのみ）
既存の仮説（hypothesis）を選択するか、キャンペーンを新規作成して仮説を定義します。この機能はCROプラットフォームのプランのみでのご提供となっています。
URLの設定
DEFINE YOUR PAGE URL AND THE VISITOR SEGMENT の直下にあるフォームに、テスト対象URLを入力します。
SIMPLE モード では 1つのURL、ADVANCED モードではURLパターンや正規表現により、サイト内全ページ、あるいは指定の複数ページをテスト対象として指定できます。URLの設定方法については、こちらの2記事をご参照ください。
オプションの設定
その他のオプション を開くと、次の2つのオプションを設定できます。
緑の 次へ ボタンでビジュアルエディタ画面に遷移して、バリエーションを作成します。
バリエーションの設定
VWOの多変量テストでは、元の状態をコントロール（Control）、変更を加えた後の状態をバリエーション（Variation）、変更する箇所を セクション（Section）と呼びます。
ビジュアルエディタ画面から、バリエーションを設定する手順をご案内します。
セクションの追加
変更したい要素をクリックして選択すると、操作メニューダイアログが表示されます。
操作メニューダイアログから該当する機能を選び、編集を行います。各機能については、ビジュアルエディタの要素編集機能 を参照してください
操作を完了すると、下の 組み合わせ メニューの中に変更内容が表示されます。
セクションを更に追加するには、別の要素に対して上記1～ 2 を行います。下の図は、セクションを2つ追加した多変量テストです。
バリエーションの追加
セクション内にバリエーションを増やしたいときは、既存のバリエーションをクローンして編集します。
複製元のバリエーションの右横に表示される歯車アイコンをクリックします。
開いた画面から クローン ボタンをクリックしてキャンペーンを複製します。
複製されたキャンペーンの鉛筆アイコンをクリックして、変更内容を編集します。
head部分にJavascriptやCSSを追加
ページの head 部分に Javascript や CSS を追加するには、JAVASCRIPT/CSS を追加 をクリックして、コードを書きます。
バリエーションの設定が完了したら、緑の 次へ をクリックして、ゴール設定画面に遷移します。
ゴールの設定
ABテスト同様、多変量テストでも、ゴールを設定し計測する必要があります。ゴールはページの訪問数の他に、フォーム送信、サイト上の売上等、様々な種類のゴールがあり、複数設定することができます。以下の記事を参照してゴールを設定してください。
ゴールの設定が完了したら、緑の 次へ をクリックして、DURATION 設定画面に遷移します。
所要時間の設定
入力された項目を元に、キャンペーンの所要時間が計算されます。
①Estimated Existing Conversion Rate (%)
平均CVR（コンバージョン率）を入力します。サイト全体ではなく、所要時間を計算するベースとなるページのCVRが必要です。正確な結果を得るにはVWO、もしくはGAなど他の分析ツールで得られたデータを入力してください。
②Minimum improvement in conversion rate you want to detect (%)
期待しているCVR改善幅の最低値(%)を入力します。例えば 5％ の CVR を1%以上上げて、6％以上にしたい場合、期待する改善率は120%、改善幅は20％です。この20%がここで入力する数字になります。この数値を超えると、90％の割合で勝者判定が正しいと判断されます。
③Number of combinations (including control)
コントロールとバリエーションの組み合わせが、テストの中にいくつあるか表示されます。
④Average number of monthly visitors
テストページの月間平均訪問者数を入力します。傾向を把握するため、直近数か月のデータを参照することをお勧めします。正確な結果を得るにはVWO、もしくはGAなど他の分析ツールで得られたデータを入力してください。
Attention!
月間平均訪問者数はセッションベースではなく、UUベースです。正確な結果を得るにはVWO、もしくはGAなど他の分析ツールで得られたデータを入力してください。
次の2つの項目は、必要に応じてご入力いただく項目です。
⑤p-value cut-off
p値のカットオフ値。全てのバリエーションが等しいCVRの場合、誤った勝者を判定してしまう確率。
⑥Statistical power
検定力。期待しているCVR改善幅の最低値を検出できる確率。期待しているCVR改善幅の最低値を10%、検定力を80％に設定したテストにおいて、10%のCVR改善がみられた時、それを正しく検出できる可能性は80％になります。
Attention!
月間平均訪問者数が入力した数字と大きく異なると、算出された所要時間とは異なる結果になることがあります。
所要時間の算出に必要な項目の入力がが完了したら、緑の 次へ をクリックして、その他設定画面に遷移します。
その他の設定
ABテスト同様、キャンペーン作成の最後の画面では、キャンペーン名、配信比率、ヒートマップの設定、サードパーティ製品との連携などキャンペーンに関する様々な情報を設定することができます。以下の記事を参照して必要な情報を設定してください。
完了したら、緑の 完了 ボタンをクリックします。キャンペーンの作成は完了です。
【STEP 2】VWOタグの設置
ABテスト同様、テスト対象ページ及びゴール計測対象のページに、VWOタグ（VWO SMART CODE）を設置する必要があります。以下の記事を参照して設置します。
【STEP 3】テストを実施する前に
ABテスト同様、VWOタグの確認とプレビューの確認をします。
プレビューの確認時は、各セクションでどのバリエーションを選択するか指定して プレビューを見る ボタンを押します。
【STEP 4】キャンペーンの実施
ABテストと同様の手順で、キャンペーンをスタートさせます。以下の記事を参照し、キャンペーンをスタートさせてください。
スタートガイド（ABテスト）＞【STEP 4】キャンペーンの実施
【STEP 5】レポートの見方
多変量テストのレポートは、ABテストとはレポート項目が異なり、また採用されている検定方法も違うものです。