A/Bテストのサンプルサイズは、最初の訪問者が来る前に決める

数字をテストの前に決める理由

あるオンラインショップ（仮の例）が、カートの購入手続きボタンの新デザインをテストしています。月曜に開始し、金曜に結果を見ました。各バリアント1,000人の訪問者で、元のデザインは購入50件（5.0％）、新デザインは60件（6.0％）です。Bが1ポイント「勝って」おり、チームは本番に反映したくなります。

このデータから実際に何が言えるかを計算してみます。2つの転換率の差の標準誤差は、√(0.05 × 0.95 ÷ 1,000 + 0.06 × 0.94 ÷ 1,000)、約1.02ポイントです。観測した1.0ポイントの差は、標準誤差の1個分にすぎません。両側p値は約0.33になります。差の95％信頼区間はおよそ−1.0ポイントから+3.0ポイントで、Bは元のデザインより1ポイント悪いかもしれず、3ポイント良いかもしれません。テストが失敗したのではなく、問いに答えるだけの訪問者がいなかったのです。

これがサンプルサイズを設計する理由です。開始前に、ある大きさの差を偶然と区別するのに何人の訪問者が必要かを知り、その数が手の届かないものならテストを見送ります。Kohavi、Tang、Xuの『Trustworthy Online Controlled Experiments』は、こうした事前の準備と、あらかじめ定めた判断用の指標を、信頼できる実験の土台に位置づけています。

4つのパラメータと式

転換率を比べるテストのサンプルサイズは、4つの量で決まります。

• ベースライン転換率（p1）：主要指標の現在の値。直近の比較可能な期間で測ります。ここでは5％です。
• 検出したい最小の効果（p2 − p1）：行動に移す価値がある最小の差。トラフィックで可能な範囲ではなく、経済的な価値で決めます。変更にかかるコストに見合わなくなるのは、どの水準を下回ったときか、という問いです。ここでは6％、つまり1ポイント（相対で20％）です。
• 有意水準（α）：差がないのに「差がある」と判定してしまう確率として許容する値。一般的な慣行は5％の両側検定で、正規分布の分位点はz(1 − α/2) = 1.96です。
• 検出力（1 − β）：最小の効果が実際に存在するときに、それを検出できる確率。一般的な慣行は80％で、z(1 − β) = 0.8416です。

各バリアントの訪問者数を等しくして2つの割合を比べる、正規近似の式を文章で書くと次のとおりです。

1バリアントあたりのn ＝ (z(1 − α/2) + z(1 − β))² × [p1 × (1 − p1) + p2 × (1 − p2)] ÷ (p2 − p1)²

この例に当てはめて、順に計算します。

1. (1.96 + 0.8416)² = 2.8016² ≈ 7.849。
2. p1 × (1 − p1) = 0.05 × 0.95 = 0.0475、p2 × (1 − p2) = 0.06 × 0.94 = 0.0564、合計 = 0.1039。
3. (p2 − p1)² = 0.01² = 0.0001。
4. n = 7.849 × 0.1039 ÷ 0.0001 ≈ 1バリアントあたり8,155人、2つ合わせて16,310人。

検定の分散に「効果なし」と仮定した平均転換率を使う変形式では、近い値（約8,160）になります。計算ツールごとの差は、この近似の選び方から生じるもので、誤りではありません。もう1つの簡易チェックは、オンライン実験の文献で広まった経験則 n ≈ 16 × σ² ÷ Δ² です。σ² = 0.05 × 0.95 = 0.0475、Δ = 0.01 として、16 × 0.0475 ÷ 0.0001 = 7,600が得られます。桁は同じですが、実際には完全な式の結果を採用します。

必要数を動かす要因

必要数は、おおよそ差の2乗の逆数に比例して動きます。狙う効果を半分にすると、必要数はほぼ4倍です（31,230人と8,155人）。検出力を80％から90％（z = 1.2816）に上げると、基準の例は1バリアントあたり約10,920人になります。要求を1つ上げるたびに、トラフィックという代償を払うことになります。

手計算なしで別の値を試したいときは、当サイトのA/Bテスト計算ツールで、必要なサンプルサイズと、観測した結果の有意性を確認できます。ツールは標準的な近似を使っています。前提を批判的に読む作業の代わりにはなりません。

サンプルサイズからカレンダーへ：1週間単位で考える

期間は、サイト全体のトラフィックではなく、テスト対象のページを実際に見る「対象トラフィック」から決まります。仮の2つのサイトで、同じテスト、同じ1バリアントあたり8,155人を想定します。

期間は常に、次の整数週に切り上げます。BtoCのサイトでは、火曜の昼と日曜の夜とで訪問者の行動が違います。週の途中でテストを切ると、特定の曜日が片方のバリアントに偏って含まれ、比較が歪みます。購買サイクルや給料日の周期がはっきりしているサイトでは、1サイクルが1週間を超えることもあります。セールや障害、キャンペーンの切り替えと重なったテストは、シートに記録するか、延期を検討してください。

サイトBの例は、トレードオフを示しています。1ポイントを検出するのに6週間、2ポイントなら2週間です。その変更をテストすべきかどうかは、期待される経済的な利益だけが決めます。転換率1ポイントの価値の計算は、CAC・LTV・ROIの記事の粗利の考え方がそのまま使えます。6週間分のトラフィックを1ポイントの改善に使う価値があるかどうかを、その計算で判断できます。

適切なサイズでも結果を歪める3つの落とし穴

早期終了

期間を固定したテストは、最後に1回だけ結果を見る前提です。毎日ダッシュボードを開き、p値が0.05を下回った時点で止めると、誤って差があると宣言する確率は、掲げた5％をはるかに超えます。見るたびに、偶然でしきい値を越える機会が増えるからです。この問題は、Evan Millerが2010年の「How Not To Run an A/B Test」で広く知らしめました。対処法は2つあります。事前に決めた日程を守るか、繰り返し結果を見ることを前提に設計された逐次分析の手法を、その手法固有のしきい値とともに使うかです。どちらの場合も、停止のルールは開始前に書いておきます。

振り分けの偏り（SRM）

サンプル比のずれ（Sample Ratio Mismatch、SRM）とは、想定した訪問者の振り分け比率と、実際に観測された比率との食い違いです。50/50で設計したテストに16,200人が入ったとします。各バリアントに8,100人が期待されますが、実際は8,400人と7,800人でした。カイ二乗検定は (300² ÷ 8,100) × 2 ≈ 22.2、p値は百万分の数程度です。このずれは偶然では起きません。実装の欠陥を示しています。訪問者を取りこぼすリダイレクト、特定のブラウザで落ちるスクリプト、片方にだけ数えられたボット、片方のバリアントで計測を妨げる同意管理バナーなどです。Kohaviらは、この検査がテストごとに行われることから、SRMの判定に非常に厳しいしきい値（0.001程度）を勧めています。SRMのあるテストの結果は解釈しません。原因を調べて直し、やり直します。KDD 2019で発表されたSRMの診断に関する研究は、よくある原因の分類を示しており、手がかりになります。

多重検定

見る指標が1つ増えるごとに、くじを1本余分に引くことになります。有意水準5％で、独立した指標が20個あれば、偶然だけで「有意」な差が少なくとも1つ出る確率は、1 − 0.95²⁰ ≈ 64％です。結果を事後にセグメント（モバイル、デスクトップ、新規訪問者、流入元）に分けた場合にも、同じ問題が起きます。対策は単純です。開始前に主要指標を1つだけ決める。他の指標はガードレールか、追って確かめる仮説として扱う。1つのテストから複数の判断が出るなら、補正をかける。補正の例がボンフェローニ法で、しきい値を比較の数で割ります（5指標なら0.05 ÷ 5 = 0.01）。

プロトコルシート

この方法の成果物は、テストを有効にする前に記入し、日付を入れたシートです。テストごとに1部作り、結果とあわせて保管します。

1. 仮説。「[変更]を行えば、[指標]が上がる。なぜなら[データや顧客の声から観察した理由]があるから。」
2. 主要指標とガードレール。主要指標は1つ（例：訪問者あたりの購入数）。悪化してはならないガードレール指標を2〜3個（例：返品率、読み込み時間）。
3. 対象と振り分けの単位。誰が、どの時点でテストに入るか。振り分けは訪問者単位かセッション単位か。計測の扱いも記載します。同意管理ツールの設定やブラウザの制限で計測されない訪問者がいる場合、テストの結論は計測された訪問者にしか当てはまりません。
4. ベースライン転換率。値、期間、測定の出典。
5. 検出したい最小の効果。絶対値と相対値、およびその経済的な根拠。
6. 統計のパラメータ。α、検出力、両側か片側か、計算方法。
7. サンプルサイズと期間。1バリアントあたりのn、対象トラフィックの見込み、整数週で表した期間、終了日。
8. 停止と判断のルール。技術的な障害を除き、終了日より前に止めない。反映・中止・再実施の条件。
9. 整合性チェック。中間と終了時のSRM検査。主要なブラウザで両方のバリアントが正しく読み込まれることの確認。

最後の報告では、「有意」「有意でない」だけでなく、効果の推定値とその区間を示します。区間が広い有意でない結果は、そのテストでは判断がつかないほど検出力が弱かったことを意味します。ゼロを中心とした狭い区間は、効果があったとしても小さいことを意味します。

テストが適切な手段ではないとき

多くのサイトには、そもそもトラフィックが足りません。テスト対象のページ全体で1日200人（1バリアント100人）、ベースライン5％、狙う効果が1ポイントなら、約82日（8,155 ÷ 100）、ほぼ12週間かかります。0.5ポイントなら約312日（31,230 ÷ 100）です。こうした場合は、統計的有意性を装うより、諦めるほうが正直です。見せ方の細部ではなく、影響の大きい要素（オファー、メッセージ、価格）を変える。狙う効果を大きくする。あるいはセッションの録画、インタビュー、ユーザーテストといった定性的な情報に頼ります。

とはいえ、サンプルサイズの計算は、テストをしないときにも役立ちます。ある規模のトラフィックでは、どのくらいの変動をノイズと区別できるかの桁感が得られ、数件の転換の増加を「勝利」として語ってしまうことを防げます。一方で、きちんと実施したテストでも、不確実性がなくなるわけではありません。測れるのは、そのテストの対象、期間、状況での、選んだ指標への効果です。次の季節や別の流入経路についての保証にはなりません。流入経路の測定は多くの場合さらに脆く、チャネル間で貢献をどう分けるかはアトリビューションモデルの記事で扱います。対照テストは、競合するモデルの優劣をつけられる数少ない手段として、そこでも再び登場します。

サイズ設計とテスト結果の読み方を演習で身につけたい場合は、マーケティング分析・AI実践コースで取り上げています。