件数が少ないときに、率だけで判断しない

「問い合わせの率が50%改善しました」。この一文だけでは、良い報告なのか判断できません。もとが2件で3件になっただけかもしれないからです。

中小企業のサイトでは、成果が月に数件ということが珍しくありません。件数が少ないとき、率は簡単に大きく動きます。この記事では、判断を誤らないための3つの見方と、報告での書き方、判断を保留したあとの動き方を紹介します。

率と件数の関係は、実際の数字を当てはめると一気に分かりやすくなります。以下では、ある小さなサイトの数値例（仮の数字）を使って説明します。

なぜ率だけでは危ないのか

事例の8月と9月を比べてみます。訪問者はどちらも1,000人、問い合わせは8月が2件、9月が3件でした。

• 率で言えば 0.2% → 0.3%。「50%改善」
• 件数で言えば 2件 → 3件。「1件増えた」

どちらも同じ事実ですが、受け取られ方はまったく違います。しかも、この1件は、たまたま知人が送っただけかもしれません。月に2〜3件の世界では、1人の行動で率が半分にも1.5倍にもなります。

数が少ないほど、偶然の影響が大きくなります。サイコロを6回振って「1」が3回出ても、そのサイコロが偏っているとは言えないのと同じです。率の変化が「実力の変化」なのか「たまたま」なのかを区別できないなら、まだ判断すべき段階ではありません。

よくある誤りは、率が下がった月に原因探しを始めてしまうことです。事例でいえば、7月の4件から8月の2件に減った時点でページの文言を変えたり広告を止めたりすると、偶然の上下に合わせて施策を動かすことになります。9月に3件へ戻ったとき、それが変更の効果なのか偶然なのかは、もう分かりません。率が動いたら、まずその裏にある件数を確かめてください。

3つの見方

件数が少ないときの数字の見方は、3つあります。書き方を変える、期間を変える、読み方を変える、の3つです。どれも特別な道具は要らず、今日から使えます。

1. 率と件数を必ず並べて書く

もっとも簡単で、効果の大きい方法。「0.3%（3件／1,000人）」と書くだけで、読む人が自分で判断できます。率だけの報告は、良くも悪くも印象を大きくします。事例の3か月を、率だけの場合と件数を並べた場合で比べます。

月（仮の数字）	率だけ	率と件数
7月	0.4%	0.4%（4件／1,000人）
8月	0.2%	0.2%（2件／1,000人）
9月	0.3%	0.3%（3件／1,000人）

率だけの列を見ると、8月に半減し、9月に1.5倍になったように見えます。件数を並べると、4件、2件、3件という、月に数件の上下にすぎないことが分かります。

レポートの表なら、率の列の隣に件数の列を置きます。グラフで率の推移を示すときは、各月の点の近くに件数を小さく添えてください。件数が一目で見えると、「この月だけ跳ねているのは、件数が1件だったからだ」と読む人がすぐに気づけます。

2. 期間をまとめて件数を増やす

月単位で数件なら、四半期（3か月）でまとめます。件数が増えるほど、偶然の影響は小さくなります。事例の7〜9月を合計すると9件／3,000人で0.3%。月ごとの0.2〜0.4%の上下より、ずっと落ち着いた数字になります。

ただし、まとめる期間が長いほど、その間に起きた他の変化（広告の増減、季節、サイトの改修）が混ざります。まとめた期間に何をしたかを、あわせて書き残してください。直近3か月の合計を毎月1か月ずつずらして見る移動合計にすると、期間をまとめつつ、毎月の変化も追えます。

3. 「幅」で考える

少ない件数から出した率は、ぴったりの値ではなく、おおよその範囲だと考えます。事例の9月の3件／1,000人（0.3%）は、統計でよく使う95%の範囲で見ると、実力はおおよそ0.1〜0.9%のどこかにある、という程度の情報です。件数ごとの幅の目安を示します。

実際に数えた件数	実力として考えられる件数の範囲（95%の目安）
3件（事例の9月）	約0.6〜8.8件
9件（事例の7〜9月）	約4.1〜17.1件
30件	約20〜43件
100件	約81〜122件

表は、件数が偶然に左右される度合いを、ポアソン分布という考え方で概算したものです。3件なら実力は1件未満から9件近くまでありえ、四半期の9件でも4件から17件ほどの幅があります。100件まで集めても、上下2割ほどの幅は残ります。厳密な計算をしなくても、「この件数では、これくらいの幅でぶれる」と意識しておくだけで、早すぎる判断を避けられます。

報告での書き方

件数が少ないことを隠す必要はありません。前提を書いたうえで報告すると、次の判断がしやすくなります。事例の数字で、避けたい書き方とおすすめの書き方を並べます。

避けたい書き方	おすすめの書き方
9月の問い合わせ率が50%改善しました	9月の問い合わせは3件で、8月の2件から1件増えました（率は0.2%→0.3%）。件数が少ないため、傾向は7〜9月の合計（9件）で見ています
フォームはA案のほうが効果的でした	7〜9月のフォームの比較は、A案5件、B案4件でした。差は1件で、どちらが良いとは言い切れません。2案の合計が18件になるまで続けます

「言い切れない」と書くことは、仕事をしていないことではありません。言い切れない段階で言い切ると、誤った判断がそのまま次の施策に引き継がれます。上の2つ目の例のように、何件になるまで待つかを書き添えると、保留が先送りではなく計画に変わります。

数字の書き方にも決まりを作っておくと、担当者が替わっても報告の質がそろいます。たとえば「率は小数点以下1桁まで、必ず件数を括弧で添える」「前月比は件数が10件未満なら書かない」といった決まりです。事例のサイトは毎月10件未満なので、前月比は書かず、四半期の合計で見ることになります。

報告の文面の型を1つ決めておくと、毎月迷わずに書けます。たとえば「今月の問い合わせは◯件（前年同月◯件）。率は◯%。件数が少ないため、傾向の判断は◯月の合計で行う」。この型に数字を入れるだけで、率と件数、比べる相手、判断の時期がそろった報告になります。

待つあいだに何をするか

件数が増えるまで待つと決めても、その間に何もしないわけではありません。数字が判断に足りないあいだは、数字以外の材料を集める時間に使えます。件数の少ない事業ほど、1件ずつの中身から分かることが多くあります。

• 1件ずつ中身を読む：問い合わせの内容、どのページから来たか、その後商談になったかを1件ずつ確かめます。
• 顧客に聞く：「どこで知りましたか」「決め手は何でしたか」と聞くと、数字に出ない理由が分かります。
• 明らかな問題を直す：フォームのエラー、リンク切れ、表示の遅さなど、件数を待たずに直せるものは直します。

判断の目安も決めておきます。迷ったら件数が2倍になるまで待つ、が実務的な目安。事例のフォームの比較なら、7〜9月の合計が9件なので18件まで、1つの施策の前後比較なら前後それぞれが10件を超えるまで待つ、というように、数字で区切ります。

待つ期間の長さも、先に決めておきます。事例のサイトは月3件ほどのペースなので、フォームの2案の合計が18件に届くには、あと3か月ほどかかります。半年待っても判断できない見込みなら、数字で判断すること自体を諦め、聞き取りと明らかな問題の修正に切り替える、という線引きも先に書いておいてください。

よくある質問

経営者に「率で報告してほしい」と言われたら、どうしますか

率で報告して構いませんが、件数を必ず括弧で添えてください。「0.3%（3件）」と書けば、率を求める人の要望にも応えつつ、誤解も防げます。最初に一度、「件数が10件未満の月は、率が大きく上下します」と説明しておくと、次からは件数も一緒に見てもらいやすくなります。

件数が少なすぎて、何か月待っても判断できない場合は

年に数件しか成果が無い事業では、統計的に差を確かめるのはほぼ不可能です。その場合は、数字で効果を証明しようとせず、1件ずつの経緯を記録し、顧客への聞き取りを判断の中心に置きます。数字は「大きく崩れていないか」を確かめる見張り役として使ってください。

統計の検定を使ったほうがよいですか

使えるなら使って構いませんが、件数が少ないと、検定をしても「差があるとは言えない」という結果になることがほとんどです。それ自体が「まだ判断できない」という大事な情報。検定の計算より先に、件数を並べる、期間をまとめる、幅で考える、の3つを習慣にしてください。

まとめ

件数が少ないときは、率だけで判断しないでください。率と件数を並べる、期間をまとめる、幅で考える。この3つで、早すぎる判断を避けられます。少ない件数の数字は「答え」ではなく幅のある手がかり。次のレポートから、率の隣に件数の列を足してください。

そもそも何と比べるかについては、「効果があった」と言う前に ― 比較対象の置き方をご覧ください。