改めて、A/Bテストとは、「A」「B」2パターンのクリエイティブでユーザーの反応の違いを確認し、より効果的な方を選択するというマーケティング手法のことです。

マーケターが既存の潜在顧客・見込客・顧客を観察するなかで導き出した仮説を、実際のユーザーで検証するという生産的かつ確実な手法です。

おもに、Web広告やランディングページ（LP）、Webサイトなどの改善に取り入れられています。

たとえば、キャッチコピーだけ、ボタンの形だけ…といった具合で、一部だけを変更した2つのよく似たクリエイティブを用意して、実際にWeb上で一定期間、公開し、どちらの方がクリック率が高かったかといった項目で評価します。

A/B テストと多変量テストの違い

A/B テストとよく比較されるテスト手法として「多変量テスト」があります。多変量テストとは、同時2つ以上の項目を検証するテスト方法です。それらを総当たり戦で検証するため、すべての組み合わせ分だけのクリエイティブを用意することになります。

A/Bテスト

組み合わせ例

●メインビジュアルを2パターン

多変量テスト

組み合わせ例

●メインカラーを2パターン
●メインビジュアルを2パターン
●キャッチコピーを2パターン
●ボタンの形を2パターン
●ボタンのサイズを3パターン
●ボタンの文言を2パターン
→2×2×2×2×3×2＝全96パターン/p>

多変量テストでは、一度にたくさんの仮説を検証しベストな解が求められますが、すべてのパターンを用意する労力がかかることに加え、検証ユーザーの母数も大量に必要となるため、ある程度大きなボリュームのトラフィック量がないと実施できません。

A/Bテストのメリット・デメリット

A/Bテストを実施するに当たり、A/Bテストのメリット・デメリットを把握しておきましょう。

A/Bテストのメリット

A/Bテストの最大のメリットは、前章でご紹介した多変量テストのような大量のトラフィックを必要としないため、日々のアクセス数が少ないWebサイトにおいても検証が可能であるという点です。なおかつ、得られるデータには信頼性があります。

また、比較する変数も2つだけなので、結果の解釈もスピーディに行えます。この結果を改善につなげることで、少しずつ確実にWebサイトやWeb広告をより効果的なものへと改修し、費用対効果向上を実現できます。

●大量のトラフィックを必要としない
●信頼性のあるデータが得られる
●結果の解釈がスピーディに行える
●確実に改善につなげられる
●低コストでテストが可能

A/Bテストのデメリット

上記に挙げたメリットと矛盾するようですが、「大量のトラフィックを必要としない」とはいえ、一定数の母数は必要となります。そのため、あまりにもアクセス数が集まらない場合はテスト期間を長く要します。詳しくは、次章で解説します。

●トラフィックが少ない場合、テスト期間が長期化する

A/Bテストに必要な期間

結論からいえば、A/Bテストに必要な期間は予測できません。
その理由を下でご紹介します。

必要な期間を診断するには「差分」と「UU数」が必要

A/Bテストに必要な期間とは、結果を検証できる期間です。そして、結果を検証するためには、クリエイティブ「A」とクリエイティブ「B」にはっきりとした差が現れる必要があります。

一概に数値でいえるものでもありませんが、差が数％未満の場合は「誤差」の可能性があり、これをもとに改善を行ったつもりが実は「改悪」だったということになりかねません。

テスト対象のWebサイトなりWeb広告なりにおける過去のコンバージョン数/率などと比較して、明らかな「差分」といえる結果が出るまでテストを続ける必要があるといえます。

※メールマガジンや期間限定のキャンペーンなどの場合は、「送信日から1週間」「キャンペーン終了まで」などがテスト期間となります。

ただし、テストのやり方によっては、いくらテスト期間を長く取っても「差分」が出ない場合もあります。そもそも「A」でも「B」でも大きな差がないというケースです。つまり、『「差分」が出ない』ことが結果として出ているということですが、期間が足りないために「差分」が出ないのか、それとも『「差分」が出ない』という結果が出ているのか判断に迷うことになります。

そこで注目したいのが「UU数（特定の期間内にサイトに訪れた人数）」です。これも、過去のデータからテストに十分だと考えられるUU数を基準として設け、満たしていれば差分が出ていなくてもテストが完了したと判断しましょう。目安として、最低限1,000UUは欲しいところです。

差分がなかなか出ない場合は、①「A」「B」のどちらも優れていて差がつかない、②検証項目がコンバージョンに影響を与えない、③UU数が足りていないのどれかを疑ってみてください。

ユーザーの振り分け

正しいデータを取るためには、A/Bテストの開催期間中は必ず同期間でユーザーをランダムにそれぞれのクリエイティブに振り分ける必要があります。

極端な例ですが、テスト開始直後はクリエイティブ「A」を、1ヵ月後からリエイティブ「B」を表示させるようなやり方をしてしまうと、出てきた差分は統計的に信頼できないものになってしまいます。

ユーザーの振り分けには、A/Bテストツールの活用が必須となります。

検証項目例

A/BテストでWebサイトやWebページ、LP におけるおもな検証項目としては、ファーストビューコンテンツ、イメージ画像、見出し・ページタイトル、コール・トゥ・アクション（CTA）ボタン、離脱導線などがあります。

ファーストビューコンテンツ

ファーストビューコンテンツとは、ページを表示させたときにブラウザを大きく占めるコンテンツのことで、ユーザーにインパクトを与え、興味を惹き付ける重要な要素です。トップページならメインビジュアル、下層ページならキャッチコピーとメインビジュアルなどとなっているケースが多いでしょう。

キャッチコピーとメインビジュアルのどちらを上に持ってくるか、大きさを変えてみる、レイアウトを変えてみるといった比較が考えられます。

イメージ画像

イメージ画像とは、製品画像のような直接的にコンテンツの内容を表す画像ではなく、コンテンツから連想される対象物が写った写真やイラストなどを指します。テキスト情報だけでは味気なかったり、テキスト量が多くて読みづらかったりするのを緩和する、いわば箸休め的なコンテンツともいえますが、アイキャッチとなってくれるため重要な役割を持ちます。

異なる2つの画像で比較する、大きさを変えて比較するなどが考えられます。イメージ画像のなかにテキストを盛り込む場合は、テキスト（キャッチコピー）を変えて比較するケースも考えられます。

見出し・ページタイトル

見出しとは、そのページ（もしくは章）に掲載されているコンテンツの内容を要約するなどして表したテキスト情報のことで、キャッチコピーも含みます。

ページタイトルとは、メタタグ（タイトルタグ）に記載されているページタイトルを表すテキスト情報のことで、検索エンジンでの検索結果一覧ページでタイトルとして表示される部分です。

異なるテキストでの比較が考えられます。見出しの場合は文字の大きさや色などフォント情報や字間、行間を変えるなどの比較も考えられます。

CTAボタン

CTAとは、Call to Actionの略で、「行動喚起」という意味です。CTAボタンとは、「お問い合わせはコチラ」などと書かれたボタンでコンバージョンにつながる誘導ボタンのことで、お問い合わせフォームや見積依頼フォームなどにリンクされています。

ボタンの大きさを変えてみる、ボタンの色を変えてみる、ボタンに記載するテキストを変えてみる、ボタンの位置を変えてみるといった比較が考えられます。

離脱導線

離脱導線とは、ページのスクロール途中に設けられた同サイト内のほかのページや外部サイトへのリンクのことです。ただし、コンバージョンとして設定されているようなフォームへのリンクは除外して考えます。

サイト内回遊率やユーザーの利便性を高めるためには、関連情報が掲載されたWebページへのリンクが有効ですが、場合によってはユーザーが他サイトへ流れ、コンバージョン数/率の低下を招く恐れもあります。

離脱率が高い場合は離脱導線を削除したものとの比較を行う、回遊率が低い場合は離脱導線を追加したものとの比較を行うといったテスト方法が考えられます。

無料ツール

A/Bテストを行うには、基本的にツールなしでは不可能です。ランダムにユーザーを振り分けたり、検証を行うにはツールを活用する必要があるからです。

ここでは、無料で活用できるA/Bテストツールを2点ご紹介します。
※「SiTest」については、1ヵ月間のみ無料となります。

Google オプティマイズ A/B テスト

https://marketingplatform.google.com/about/optimize/

無料で使えるWeb解析ツールのGoogle オプティマイズのA/Bテスト機能を活用して行うことができます。
まずは、無料ツールであるGoogle オプティマイズ A/B テストから始めるのが無難です。

※2019年8月7日より、Google アナリティクスのウェブテスト機能は、Google オプティマイズに統合されました。

SiTest

https://sitest.jp/

SiTestは、Webサイトを改善するためのツールで、ヒートマップ機能、テスト機能、EFO（Entry Form Optimization…フォーム最適化）機能の3つのおもな機能を持ち、レポート作成機能にはAIが搭載されています。

A/Bテストでは、HTMLファイルを用意する手間なく3ステップでテストページを生成でき、テストの実行条件として「平日のみ」「新規ユーザーのみ」といった条件設定も行えます。

テスト機能では、A/Bテストのほか、多変量テストも可能で、LPO（Landing Page Optimization…ランディングページ最適化）として「参照元」「新規/リピーター」「時間帯/曜日」といった複数条件を組み合わせてLPをテストできる機能も用意されています。

無料トライアル期間は最初の1ヵ月間で、本利用の料金は別途見積となっています。

まとめ

A/Bテスト実施にあたり、不安や疑問は解決したでしょうか？

A/Bテストは、単発で行っても該当変数部分の改善は可能ですが、よりコンバージョンにつながるベストなWebサイトに仕上げるためには、継続的に取り組んでPDCAサイクルを回していくのが効果的です。ぜひ、継続的にA/Bテストに取り組んで、Webサイト改善につなげてください。

A/Bテストに限らず、成果の出せるWebサイトづくりのアドバイスが欲しい方は、ぜひ当社のコンサルタントまでご連絡ください。