Google OptimizeでABテスト時、対象ページを変更。AB両パターンに変更内容が反映されるか検証してみた。

Google Optimizeを使ったABテスト

↓タイトルでは言葉足らずな為、補足を。

  • Google Optimizeを使用してABテストを行っている時に、テスト対象ページに何らかの修正が発生。(テキストの修正・画像の切り替えなど。)
  • その修正箇所は、テストを行っている箇所ではなく、別の箇所。
  • 元データを修正し、本番環境にアップした際、「オリジナル・テスト」両パターンに、同じ修正内容が適用(反映)されるか?

結論から言うと、適用されます。

具体的に”どういうこと”かというと…

↓例えば、このようにコンバージョン率・クリック率の高いボタンの色を探る為にABテストを行ったとします。

ABテストの説明

当然、テストを行う箇所は、”お申し込みボタン”です。

ABテストを行っている箇所

なので、オプティマイズ上で編集するのは”ボタン”だけです。その他の箇所は一切イジリません。

ここでふと疑問に思いました。

ぼく

テストを行っている箇所以外を変更した時、テストパターンにもその変更内容が反映されるのかな…?

例えば、キャンペーンを1ヶ月単位で行っている場合…

ABテスト中にテスト対象外の箇所の画像が変わった場合、どうなるのか?

5月と6月では、キャンペーン内容が異なる為、トップイメージのデザインが異なります。

その為、ABテストの期間を「5月25日〜6月8日」の2週間とした場合、月をまたぐ関係上、キャンペーン画像の差し替えが発生します。

つまり、ABテストを実施しているにも関わらず、テストを行っていない箇所に変更が加えられる…という訳です。

自動的に画像が差し変わるのか? それともオプティマイズ上で変更作業が必要なのか?

オリジナルパターンは、いわば本番環境のデータとイコールな為、画像が差し替わる(変更内容が反映される)のは当然です。

対して、テストパターン。

普通に考えると、テストとは関係ない箇所の修正なので、「オリジナルで行った修正が反映される筈」と思うものの…

確証がもてない。

ぼく

もしかしたら、テストパターンに関しては、オプティマイズ上で何かしらの作業が必要になってくるかも…

その為、検証を行うことに。

結果は、最初に示した通り。

テスト箇所以外を変更した時、「オリジナル・テスト」両パターンに変更が適用されます。

テスト箇所以外を変更した時、 「オリジナル・テスト」両パターンに変更が適用される。

なので、テスト対象外の箇所で修正作業がガンガン発生しても、オプティマイズのABテストには何ら影響を与えません。

ぼく

ただし、今回の様に、お申し込みボタンの効果検証を行っている時に、キャンペーン画像が変わってしまうのは、ナンセンスです。

ぼく

ボタンの色かキャンペーン内容か、どの要素が改善に寄与したのかが分からなくなるので。

ぼく

今回の例は、あくまでも分かりやすさを重視した為、通常のABテストではありえない事例を用いました。

ぼく

ABテストを行っている時は、テスト対象箇所以外はなるべくイジらない方が良いかと。

そんな感じで。終わりッ!!

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください