A/Bテストの結果を分析する方法

分析の設定

ABテストは、サイト/アプリ上の2つのバージョンを比較して、どちらがより良いパフォーマンスを発揮するかを判断する方法です。まず、比較したい2つのものを決定します。影響の違いを測定するには、まず目標指標またはKPIを定義する必要があります。それらの指標を使用して、パフォーマンスを評価します。

良い出発点は、なぜこの変更を計画したのかを考えることです。

• CTAのクリック率を増加させる？

• 離脱率を減少させるか、ページの消費を増加させる？

• 特定の要素とのエンゲージメント率を増加させる？

特定の目的を考えてみてください。これは、あなたのウェブサイトのマクロ目的とは異なる場合があります。

• 例：プロダクトページでのテストは、「カートに追加」を主要KPIとし、「eコマースコンバージョン」を副次的な目的とします。

2〜3の目的を設定してください。それ以上あると、ABテストの最後に決定を下すことができなくなります。測定する目的が多いほど、結果にランダムな変動が生じる可能性が高くなります。

テストKPIのパフォーマンスを評価する方法を学びましょう。

テスト結果の分析

インパクト定量化

最初のステップは、ABテストの結果を批判的に見ることです。インパクト定量化を使用して、各グループのセッションレベルの指標を確認できます。

そのためには、インパクト定量化を開き、比較モードで 分析のコンテキストにテストセグメントを適用します : コントロールとバリアント。次の質問への回答をメモしてください：

• 結果は重要ですか？

• コンバージョンと収益への影響はどうですか？

• バリアントの訪問者はサイトに留まる可能性が高いですか？彼らはより深いジャーニーを持ち、サイトでより多くの時間を過ごしていますか？

• ページ目標を達成する可能性はどのくらいですか？（彼らはカートに何かを追加したり、予約ファネルに入る可能性が高いですか？）

• いくつかのインジケータで改善が見られますが、全体的なコンバージョンの改善にはつながっていませんか？もしそうなら、なぜそうなっているのかを分析し始める必要があります。今こそ、他のモジュールで深く掘り下げて分析を行う時です。

ページ比較

ページ比較は、特定のページにおける異なるセグメントのアクティビティの概要を把握するのに役立ちます：それはページ上の主要なUX指標に影響を与えましたか？

分析を開始するには、ページ比較を開き、 比較モードで 分析のコンテキストにおいてテストセグメントを適用します: コントロールとバリアント。次に、分析したいページを選択し、以下の指標を確認します：

• ページの離脱/直帰率を確認して、テストが訪問者をページに維持するのに役立っているかどうかを判断します。

• 訪問者がページをどれだけスクロールするかに影響を与えたかを理解するためにスクロール率を確認します。

• 2つのセグメントのアクティビティ率を比較して、バリアントのユーザーが平均してよりアクティブで、ページコンテンツにエンゲージする可能性が高いかどうかを確認します。

• 異なるコンバージョン目標を適用して（それらをテストの定義済み目的にリンクさせて）、テストがページのマイクロコンバージョンにどのように影響を与えているかを理解します：訪問者は今、設定した目標を達成する可能性が高くなっていますか？

ジャーニー分析

ジャーニー分析を使用して、テストがサイトの主要なジャーニーに影響を与えたかどうかを理解します：2つのセグメント間でジャーニーは異なりますか？

ブラウザの2つのタブでジャーニー分析を開き、一方のタブでは分析のコンテキストをコントロールセグメントに設定し、もう一方のタブではバリアントに設定します。テストが実行されているページの後のジャーニーを見て、次のことを理解できます：

• 訪問者はテストを見た後、どこに行きますか？ブラウジングジャーニーに顕著な違いはありますか？

• 変更は全体的なナビゲーションを助けていますか、それともつまずきの原因となってジャーニーを妨げていますか？予期しないページ（例：エラーページ）を見ていますか？

• ループ動作はありますか？テストを実行しているページと他の重要なページの間をループする可能性が高いですか？

ゾーニング分析

ページ上の要素に対するインタラクションは2つのバージョンでどのように異なりますか？ゾーニング分析を使用すると、ページ上のユーザー行動を深く理解できます。

ゾーニング分析を開き、比較ボタンをクリックして比較モードをアクティベートします。デフォルトでは、2つのゾーニングには同じ分析のコンテキストが適用されます。デフォルトのセグメントをテストセグメントに対応するように変更します。次の指標を分析します：

• クリック率と魅力率を見てください。テストは主要な要素の魅力にどのように影響しましたか？テストしている要素はより多くのクリックを得ていますか、それとも少なくなっていますか？

• ホバー率、最初のクリックまでの時間、再クリック率がどのように推移しているかを確認します。他の方法でインタラクションに影響を与えましたか？

• ページ上の他のコンテンツとのエンゲージメント率を比較します。テストはページ上の他の重要な要素とのインタラクションに影響を与えましたか？

• テストしている要素のコンバージョン率を見てください。 テストの目標をコンバージョン目標として選択します。バリアントのユーザーは、探しているものを見つけるのが容易ですか？

テストのパフォーマンスを監視する

進行中のA/Bテストのパフォーマンスを監視するためにカスタムダッシュボードを作成します。

• ページレベルの指標（ページ滞在時間、離脱率など）のウィジェットを作成し、コントロールセグメントとテストセグメントを比較します。
• コンバージョン率（次のページを表示する、または取引するなど）のウィジェットを作成し、コントロールセグメントとバリアントセグメントを適用します。
• バージョン間で異なる可能性のある特定のゾーンのウィジェットを作成します。これらのゾーンとのインタラクションを監視します（クリック率、再クリック率、クリックあたりのコンバージョン）。

さらに進む

学習方法 テスト結果を分析することからデータに基づいた決定を行う方法。