A/Bテストができない規模で、どう判断するか

「A案とB案を出し分けて、成果の良いほうを採用する」。理屈は分かりやすいのですが、訪問者が少ないサイトでは、いつまでも差がはっきりしません。それでも何かを決めなければならないのが現場です。この記事では、A/Bテストが現実的でない規模で、どう変更を進め、どう判断するかを紹介します。

「件数が足りない」がどの程度の話なのかは、1つのページの数字で計算してみると実感できます。ここから先は、次のページの数字を例として使い続けます。

なぜ結論が出ないのか

A/Bテストは、偶然の差と実力の差を区別するために、ある程度の件数を必要とします。件数が少ないと、たまたまの1〜2件で結果が入れ替わるからです。事例のページAで、1か月だけ閲覧を2つの案に分けたとします。

• A案：閲覧1,500回・問い合わせ2件（約0.13%）
• B案：閲覧1,500回・問い合わせ3件（0.2%）

率で見るとB案が1.5倍良さそうですが、差はわずか1件です。翌月に逆転してもおかしくありません。この状態で採用を決めると、良し悪しではなく偶然で意思決定していることになります。成果が数件単位のうちは、A/Bテストの結果は「差がある」とも「差がない」とも言えません。件数が少ないときの率の扱いは件数が少ないときに、率だけで判断しないで詳しく扱っています。

偶然の揺れの大きさは、何も変えていない時期の数字を見ると実感できます。事例のAは、手を加えていない11月〜2月の問い合わせが、3件、6件、2件、5件でした。同じ条件でも、月によって倍や半分に動いているわけです。この揺れの中で「変えた月に1件増えた」としても、それが変更の効果だとは言えません。

自社の揺れの幅は、過去1年の月別の成果件数を並べると分かります。最も少ない月と最も多い月の差が、何もしなくても起こりうる差の目安。変更の後の変化がこの幅に収まっているうちは、効果の有無を決めないようにします。事例の4月の5件は、2〜6件の幅に収まっています。

代わりの3つの進め方

件数が足りないからといって、何も変えないわけにはいきません。A/Bテストの代わりに使えるのは、「時期で区切って1つずつ変える」「件数の多い手前の数字で見る」「数人に使ってもらう」の3つです。どれも単独では弱い方法ですが、弱点が互いに違うため、組み合わせると判断の材料になります。

進め方	やり方	弱点と補い方
1. 1つずつ変える	同時に出し分けず、時期をずらして1つずつ変え、前後の期間で比べる	季節や広告の影響を受ける。手を加えていない似たページを残し、同じ期間の動きと比べる
2. 手前の数字で見る	問い合わせは月数件でも、ボタンのクリックやページ閲覧は数百件ある。件数が多い指標で変化を読む	クリックが増えても成果が増えるとは限らない。「見込み」として扱い、最後は成果の件数で確かめる
3. 人に使ってもらう	社外の人3〜5人に、目的だけ伝えてサイトを操作してもらい、迷った場所を聞く	人数が少なく偏る。問題を見つける用途に限り、効果の判定には使わない

2の「手前の数字」を事例で見てみます。ページAの問い合わせボタンの文言を変えた前後の1か月で比べると、次のようになりました。

指標	変更前（3月）	変更後（4月）
ページの閲覧	3,000回	3,100回
ボタンのクリック	90回（3.0%）	130回（4.2%）
問い合わせ	4件	5件

問い合わせの4件から5件は偶然の範囲ですが、クリックは90回から130回と件数が多く、率も3.0%から4.2%に上がっています。ここから言えるのは「ボタンは押されやすくなった」まで。問い合わせが増えたかどうかは、数か月分を貯めてから確かめます。

1の比較用のページは、同じ種類で似た閲覧数のページを選びます。サービスページを直すなら、手を加えない別のサービスページを残しておきます。両方が同じように伸びていれば季節や広告の影響、直したページだけが伸びていれば変更の影響と考えやすくなります。

3の「人に使ってもらう」は、次の手順で行うと30分ほどで終わります。

1. 頼むことを3つ決める：「料金の目安を探す」「導入事例を1つ読む」「問い合わせフォームの入力画面まで進む」のように、サイトで達成してほしい行動を具体的に書く
2. 説明せずに見守る：どこを押せばよいかは教えず、迷ったら声に出してもらう。口を挟みたくなっても、最後まで黙って見る
3. 止まった場所と言葉を書き留める：「料金はどこ？」「この用語が分からない」など、本人の言葉のまま記録する
4. 3人以上で重なった場所から直す：1人だけが迷った場所は好みの問題のこともある。複数人が同じ場所で止まったら、直す候補の上位に置く

この方法で分かるのは「どこに問題があるか」までです。直した後に成果が増えたかどうかは、1や2の方法で確かめます。

3の方法は軽く見られがちですが、数字で差が出ない規模では最も情報量が多いことがあります。「どこを押せばいいか分からなかった」という一言は、数百件のクリック数より具体的な手がかりになります。現実的な順番は、3で問題を見つけ、1で1つずつ直し、2の数字で変化を確認し、数か月後に成果の件数で答え合わせをする流れです。どの段階でも、変更した日と内容は毎回記録してください。

似た進め方との違い：前後比較と同時比較

1の「1つずつ変える」は前後比較、A/Bテストは同時比較です。前後比較は、変更の前と後で期間が違うため、その間に起きた季節や広告の変化が混ざります。同時比較は、同じ期間に訪問者を2つに分けるため、外部の変化が両方に同じように効き、差を取り出しやすいのが長所です。

進め方	長所	弱点	向く規模
前後比較（1つずつ変える）	仕組みが要らない。すぐ始められる	期間の違いによる変化が混ざる	件数が少なくても使える
前後比較＋比較用のページ	外部の変化をある程度差し引ける	似たページが必要	件数が少なくても使える
同時比較（A/Bテスト）	外部の変化の影響を受けにくい	件数が多く必要。仕組みが要る	各案で数十件の成果が貯まる規模

件数が少ない規模では、2行目の「前後比較＋比較用のページ」が現実的な落としどころです。同時比較の長所には届きませんが、前後比較だけよりはずっと判断しやすくなります。事例でページBを手を加えずに残したのは、この形にするためです。

A/Bテストを検討してよい目安

必要な件数の厳密な計算は専門的になりますが、実務上の目安として各案で成果が数十件ずつ貯まるかを考えてください。事例のAは問い合わせが月4件前後なので、2案に分けると各案は月2件ほどです。数十件ずつ貯まるまでに1年近くかかり、その間にサイトも市場も変わってしまいます。条件が途中で変わるテストは、始める前から結論が出ないと分かっています。判断の目安は次のとおりです。

• 成果で比べたい場合 … 各案で成果が数十件ずつ、1〜2か月で貯まるか
• 貯まらない場合 … 成果の手前の、件数が多い指標（クリックなど）で比べられないか
• それも難しい場合 … A/Bテストはやめ、前の章の3つの進め方に切り替える

上から順に当てはめ、最初に「できる」と答えられた方法を選びます。A/Bテストは「やるべき手法」ではなく、件数が足りるときだけ使える手法です。

「数十件」がどれくらいの閲覧数になるかを、事例のAで計算してみます。3月の問い合わせ率は約0.13%（4件÷3,000回）です。各案30件の問い合わせを貯めたいとします。

• 1案に必要な閲覧：30件 ÷ 約0.13% ＝ 約22,500回
• 2案で合計：約22,500回 × 2 ＝ 約45,000回
• Aの閲覧は月3,000回なので：45,000回 ÷ 3,000回 ＝ 約15か月

15か月では、その間にサイトも季節も変わってしまいます。一方、手前の指標であるボタンのクリックなら、3月のクリック率3.0%で計算すると、各案30回に必要な閲覧は1,000回、2案で2,000回で、1か月かかりません。これが先ほどの「1〜2か月で貯まるか」「手前の指標で比べられないか」の中身です。自社のページの閲覧数と率を当てはめて、「件数 ÷ 率 × 案の数」の計算をしてみてください。

「A/Bテストをしないのか」と聞かれたとき

社内で「ちゃんとA/Bテストをしてから決めよう」と言われることがあります。意図は正しいのですが、規模が足りないと結論が出ないまま時間が過ぎます。説明するときは、この節の計算をそのまま見せるのが分かりやすい方法。

事例なら、「このページの閲覧は月3,000回、問い合わせは月4件前後です。各案30件の問い合わせを貯めるには、合計約45,000回の閲覧が要り、15か月ほどかかります。その間にサイトも季節も変わるので、結論が出ません。代わりに、比較用のページを残して1か月ずつ変え、クリックの数で確かめる進め方にさせてください」と伝えます。数字で示せば、A/Bテストを軽んじているのではなく、規模に合った方法を選んでいることが伝わります。

1つずつ変えるときの記録と判断

1つずつ変える進め方は、記録がないと成り立ちません。前後の期間で比べるには、いつ、何を、どこで変えたかが後から分かる必要があるからです。記録は、変更1件につき1行の表で十分です。

変更日	ページ	変えたこと	見る指標	比較用のページ	判断する日
4月1日	サービスA	ボタンの文言	ボタンのクリック率	サービスB	4月30日
5月8日	サービスA	料金の目安を追記	問い合わせフォームへの移動率	サービスB	6月7日

判断は、変更したページの変化から、比較用のページの変化を差し引いて行います。事例では、ページAのクリック率が3.0%から4.2%へ1.2ポイント上がり、比較用のページBは2.8%から3.0%へ0.2ポイント上がっていました。変更の効果の目安は1.0ポイント。もしBも同じくらい上がっていたら、効果とは考えません。

よくある誤りは、判断する日の前に次の変更を入れてしまうことです。1か月の間に2つ変えると、どちらの効果か分からなくなります。判断する日を表に先に書き込み、その日までは同じページに手を加えないようにします。判断の結果は「効果あり・なし・分からない」のどれかで記録し、分からないものは期間を延ばして見直します。記録の表と比較用のページがそろって初めて、1つずつ変える進め方は判断に使えます。

よくある質問

A/Bテストのツールで「有意な差」と出ました。信じてよいですか

件数が少ないうちに途中経過を何度も見て、差が出た時点で止めると、偶然の差を「有意」と判定しやすくなります。始める前に期間か件数を決め、そこに届くまでは結果を見ても止めないのが原則です。件数が数件のうちに出た「有意」は、決めた期間の終わりまで待って確かめ直してください。

広告なら件数が多いので、A/Bテストができますか

広告の表示やクリックは、サイトの問い合わせより件数が多いため、広告文の比較はしやすい場面。ただし、比べられるのはクリック率のような手前の指標で、成果の件数で比べるには、やはり数十件ずつ必要になります。クリック率で良かった広告文が、問い合わせでも良いとは限りません。クリック率で候補を絞り、成果は数か月分をまとめて確かめる、という二段構えにします。

操作してもらえる社外の人がいません

社内でも、サイトの制作に関わっていない人なら代わりになります。営業や経理など、普段サイトを見ない人に「この会社に見積もりを頼むつもりで操作してください」と頼みます。取引先や知人に、画面を共有してもらいながら操作してもらう方法もあります。大事なのは、説明をせずに目的だけ伝え、迷った場所を黙って見ることです。

まとめ

件数が足りない規模では、A/Bテストは向きません。1つずつ変える、手前の数字で見る、人に使ってもらう。この3つを組み合わせれば、偶然に振り回されずに前へ進めます。月の成果件数を先に確かめ、足りなければA/Bテストにこだわらず、変更の記録を残しながら1つずつ直してください。