ローンチの決定を下す方法

A/Bテストを実施する目的は、意思決定を促進するためのデータを収集することです。ここでは、ローンチ/ノーローンチの決定を下す前に考慮すべき要因と意思決定プロセスの例を示します：

• 異なる指標の間でトレードオフをする必要がありますか？ 

例：エンゲージメント率が上がるが収益が下がる場合、ローンチすべきですか？

• このテストを実施するコストはどのくらいですか？ 

例：新機能の開発と維持にかかるコストはどのくらいですか？予想される利益はそれをカバーできますか？

• 誤った決定を下すことのデメリットは何ですか？ 

例：実際に影響を与える変更を見送った場合の機会コストは何ですか？

テストの実用的な重要性を理解する

重要なのは、統計的有意性を確立するだけでなく、ビジネスの観点から実際に重要な主要KPIの差の大きさを決定することです：この変更を行うコストに見合う差はありますか？言い換えれば、どの変更が 実用的に重要ですか？

ビジネスによっては、ユーザーあたりの収益の0.2%の変化が実用的に重要である場合がありますが、他の場合ではこの変化は小さすぎて、10%以上の改善を求めているだけかもしれません。

実用的および統計的意義を理解するための意思決定マトリックスの例

• テストがフラットまたは損失の場合はどうしますか？ 

あなたは処置を分析し、セグメント全体の結果を確認し、仮説を改善します。そして、再度テストします！各ページに対して多くのテストラウンドを実行する準備をしてください。

また、あなたが行う変更からのカニバリゼーション効果や副作用にも注意してください。微妙な変更でも、訪問者があなたのサイトをどのように認識し、行動するかに影響を与える可能性があります。

ユースケース: クライアントXは、カラースウォッチの視覚化に関するテストを実施しました。デザインが業界のベストプラクティスと見なされ、カラースウォッチのクリック数が増加したにもかかわらず、テストが損失を出していることに驚きました。Contentsquareでの分析の結果、これはレビューの可視性の低下によるものであることがわかりました。レビューは社会的証明として機能し、コンバージョンに大きな影響を与えていました。

ヒント: 

• コンテキストに関する重要な情報を簡単に記録できるA/Bテストのフォローアップドキュメントを作成することをお勧めします。
• 一度に一つのステップ、一つのA/Bテスト = 一つの修正。1つのページであまり多くのことを変更しないでください。そうしないと、修正の実際の影響を分析できなくなります。
• あなたの修正が関連する影響を与える可能性があると確信していますか？
• ユーザーが「通常通り」に行動しているときにテストを行うことを確認してください（例：ブラックフライデーやその他のセール期間中にA/Bテストを実施することはお勧めしません）。

反復する

• もしあなたが自分で勝利するテストを構築したらどうしますか？ 再度テストします！

「反復的なマインドセット」を持つことは、成功するCROプログラムにとって重要です。一度だけ試してすべてを完璧に正しくすることは非常に稀です。ですので、最初から学びを収集し、その後反復することを計画してください。

コンバージョン最適化は、体系的で繰り返し可能なプロセスです。テストを行い、テストの影響を測定し、次に再度分析し、ページの別の部分を調査し、新しい仮説を構築して再度テストします。反復しなければ、次のプロジェクトに進むことになり、素晴らしい機会を逃す可能性があります。