A/Bテスト計算ツール（有意性・必要サンプル数）

2つの案の転換率に差があったとき、その差は本物でしょうか、それとも偶然でしょうか。このツールは、A/Bテストの有意性と、テスト前に必要なサンプル数を計算します。数値を入力してください。計算はお使いのブラウザの中で行われます。

結果の読み方

このツールは、案Bの転換率を案Aと比べ、次の3つを表示します。

• p値：2つの案の本当の転換率が同じだったと仮定したとき、観測された差と同じかそれ以上の差が偶然生じる確率です。p値が小さいほど、「差がない」という仮定は考えにくくなります。ただし、BがAより優れている確率ではありません。
• 差の信頼区間：BとAの本当の差が収まっていると考えられる範囲です。区間にゼロが含まれるなら、データから差があるとは言えません。区間が狭いほど、測定は正確です。
• 判定：「有意」とは、p値があらかじめ決めた基準を下回ったことを意味するだけで、それ以上の意味はありません。

有意であることと、重要であることは別です。サンプルが非常に大きければ、ごくわずかな差でも有意になりますが、実装の手間に見合うとは限りません。逆に、差が大きくても、訪問者が少なすぎれば確かめようがありません。信頼区間を見て、下限の値でも変更に値するかを考えてください。

計算の前提

結果が成り立つのは、次の条件が満たされているときです。

• 2つの比率に対する両側z検定：2つの転換率を比べ、BがAより良い場合も悪い場合も含めて、どちらの方向の差も調べます。
• 正規近似：各案に十分な数の転換と非転換があれば妥当です。非常に小さなサンプルでは当てはまりません。
• 独立したサンプル：各訪問者が見る案は1つだけで、同じ人が二重に数えられていないことが前提です。
• サンプルサイズを事前に決めたテスト：サンプルサイズと基準は、開始前に固定します。途中で結果を見て、p値が基準を下回った時点で止める（ピーキング）と、誤って差を見つけてしまうリスクが高まります。

限界

• 小さなサンプル：転換数が少ないと、正規近似が不安定になり、区間も広がります。「有意でない」という結果は、実際には「まだ分からない」という意味になりがちです。
• SRM（サンプル比率の不一致）：訪問者の実際の割り振りが、想定した比率（たとえば50対50）からずれているときは、割り振りに問題があります。原因が分かるまで、結果は信頼できません。
• 複数のテスト：複数の案や指標を同時に分析すると、偶然に差が見つかる機会が増えます。テスト前に主要な指標を1つ決めてください。
• 期間と季節性：テストは週単位などの完全な周期を含める必要があります。そうでないと、特定の曜日やキャンペーンの影響を拾うことになります。

このツールは、テストの計画書の代わりにはなりません。仮説、検出したい最小の効果、検出力、期間までを一通り準備するには、A/Bテストのサンプル数を、最初の訪問者の前に決めるをお読みください。

データはブラウザの中にとどまります

入力した数値は、お使いのブラウザの中にだけ保存されます。当社のサーバーへは送信されません。消したいときは、ブラウザでこのサイトのデータを削除してください。

さらに学ぶ

コース一覧には、実験設計を扱うコースがあります。実践ラボの「A/Bテスト実験」では、テストの設計、計算、解釈までを一通り体験できます。