「効果があった」と言う前に ― 比較対象の置き方

施策を実施したあとに数字が伸びていると、「効果があった」と言いたくなります。しかし、その数字が伸びた理由は施策とはかぎりません。

効果を語るために必要なのは、高度な統計の知識ではなく比較対象です。この記事では、中小企業の現場でも用意できる4つの比べ方と、結論を出す前の確認点、報告での書き方を整理します。

比べ方の違いは、言葉だけで説明するより数字で見たほうが伝わります。ここからは、次の1つの事例（仮の数字）を全体で使い回して解説します。

前後を比べるだけでは足りない理由

もっとも手軽な比べ方は、施策の前後を比べることです。事例でいえば「ページAの問い合わせが8月の10件から9月の14件に増えた」という言い方がこれにあたります。この比べ方には弱点があり、施策と同じ時期に次のようなことが起きていても、区別がつきません。

• その商材が売れやすい季節に入っていた
• 同じ時期に広告の予算を増やしていた
• 他社の値上げや品切れで、問い合わせが流れてきた
• テレビや SNS で話題になり、社名の検索が増えていた

前後の比較でわかるのは「変わったかどうか」までです。「施策のおかげで変わったかどうか」は、別の材料がないと言えません。本当に知りたいのは「施策をしなかった場合に、Aはどうなっていたか」ですが、それは実際には観測できないので、それに近い状態を比較対象として置きます。

前後比較が役に立たないわけではありません。数字が大きく動いたときに「何かが起きた」と気づく入口としては、手軽で十分です。問題は、その入口で止まって結論を出してしまうこと。前後比較で変化に気づいたら、「同じ時期に何があったか」「手を加えていないページはどう動いたか」を確かめる2段目に進み、施策を始める前には「何と比べるか」を1つ決めて書いておいてください。

現場で使える4つの比べ方

比較対象の置き方は、大きく4つあります。ページで比べる方法、流入元で比べる方法、時間の軸で比べる方法が2つです。どれを使うかは、手元のページの数や、広告を並行して動かしているかどうかで決まります。事例のページAに、4つを順に当ててみます。

1. 手を加えていないページと比べる

もっとも強い比べ方です。改修したページと、手を加えていないページを同じ期間で比べます。季節や広告、世の中の話題は、両方のページに同じように影響します。そのため、同じ期間にAだけが伸びていれば、共通の理由では説明しにくくなります。

事例では、Aが10件から14件（4件増）、Bが8件から8件（増減なし）でした。Bが動いていない以上、9月に問い合わせ全体を押し上げる何かがあったとは考えにくく、Aの4件増は改修によるものと読める余地が大きくなります。逆に、もしBも8件から11件に増えていたら、Aの伸びの多くは両方に共通する理由で説明できてしまいます。よくある誤りは、改修したページだけを見て報告し、手を加えていないページの数字を確かめないことです。

2. 流入元ごとに分けて比べる

ページ全体の数字が伸びていても、伸びたのが広告経由だけなら、ページの改修が効いたとは言えません。検索・広告・SNS・直接アクセスに分けて、どこが動いたのかを見ます。導線の改修なら、広告費を変えていない流入元（検索など）で変化が出ているかが手がかりです（流入元の分類を整理する ― 「直接アクセス」が多い理由）。

事例のAの内訳は、8月が検索経由6件・広告経由4件、9月が検索経由9件・広告経由5件でした。4件増のうち3件は、広告費を変えていない検索経由。広告を増やしたことによる伸びではない、という裏付けになります。もし増えた4件がすべて広告経由だったら、同じ時期の広告の動きを先に疑う必要がありました。

3. 前年の同じ時期と比べる

季節の影響を受けやすい商材では、前月ではなく前年の同じ月と比べます。毎年9月に問い合わせが増える事業なら、8月から9月の伸びには、もともと季節の分が含まれているからです。ただし、前年から商品構成や広告費が変わっていれば、その分は差し引いて考える必要があります（前年比と前月比の使い分け）。

事例のAは、前年が8月9件・9月10件でした。季節による8月から9月の伸びは1件程度。今年の4件増のうち、季節で説明できるのは1件ほどで、残りの3件前後が季節では説明できない部分です。

4. 施策前の傾向線と比べる

施策の前の数か月の動きを並べ、傾きが変わったかどうかを見る方法です。施策の前から毎月増えていたなら、施策後の伸びは元からの流れかもしれません。この比べ方は、手を加えていないページが無いときや、前年のデータが無いときにも使えます。

事例のAは、4〜8月が月9、9、10、10、10件と、ほぼ横ばいでした。元の流れのままなら、9月は10〜11件程度の見込みです。実際は14件だったので、元の流れより3〜4件多いと読めます。仮に4〜8月が10、11、12、13、14件と毎月増えていたなら、9月の14件は流れどおりで、傾きは変わっていないことになります。

比べ方	向いている場面	事例のAでの結果（仮の数字）
1. 手を加えていないページと	似たページが複数あるとき。もっとも説明しやすい	A：10→14件、B：8→8件
2. 流入元ごとに	広告を並行して動かしているとき	4件増のうち3件が検索経由
3. 前年の同じ時期と	季節による上下が大きい商材	前年は9→10件。季節の分は1件程度
4. 施策前の傾向線と	施策の前から数字が動いていたとき	見込み10〜11件に対し14件

比べ方を選ぶ手順は、次の順で考えると迷いません。まず、手を加えていないページを残せるかを考えます。残せるなら1番。広告を並行して動かしているなら2番で流入元を分けます。季節の上下が大きい事業なら3番を加え、施策の前から数字が動いていたなら4番も並べます。事例のように、4つのどれでも同じ方向の結果が出れば、結論の確からしさは上がります。

結論を出す前の3つの確認

比較対象を置いても、数字の読み方を誤れば結論は外れます。報告を書く前に、件数・期間・ほかの変更の3点を確かめてください。どれも数分で確かめられることです。

件数は十分か

問い合わせが月に十数件しかない場合、数件の増減で率が大きく動きます。事例のAは10件から14件で「40%増」ですが、実際の差は4件です。翌月に11件へ戻っても不思議ではない規模で、この1か月だけで「改修で4割増えた」と言い切るのは早すぎます。件数が少ないときは、率だけで良し悪しを判断せず、数か月分の合計で比べるか、同じ傾向が続くかを見てください（件数が少ないときに、率だけで判断しない）。

期間の長さはそろっているか

営業日の数や、祝日の位置がずれていると、それだけで数字は動きます。事例の2026年8月は営業日が20日（山の日を除く）、9月は19日（敬老の日と秋分の日の連休を除く）でした。1営業日あたりに直すと、Aは8月が0.50件、9月が0.74件。9月のほうが営業日は少ないので、合計の差より1日あたりの差のほうが大きく出ます。週単位でそろえる、1営業日あたりに直すといった調整をしてから比べてください（曜日別の分析）。

ほかに変えたことはなかったか

同じ時期に複数の施策を行うと、どれが効いたのか分けられません。事例では、広告費が8月と同じで、展示会などの催しも無かったことを記録で確かめています。もし同じ9月に、Aの見出しや価格表示も直していたら、導線の改修だけの効果としては語れません。変更を日付つきで記録しておくと、後から「その月に何があったか」をすぐに確かめられます（変更点を記録する ― 注釈の使い方）。

3つの確認で1つでも引っかかったら、結論を「効果があった」から「効果があった可能性がある。◯月まで追加で確かめる」に書き換えます。これは弱い報告ではなく、正確な報告。事例も件数の点で引っかかるので、結論は経過報告にとどめ、10月の数字で確かめることにします。

報告での書き方

比較対象を書き添えるだけで、報告の受け取られ方は変わります。読んだ人が「何と比べて、どのくらい確かな話か」を判断できるからです。事例を報告に書くと、次のようになります。

後者は数字が小さくても、読んだ人が判断できます。都合の悪い条件（件数が少ない、期間が短い）を隠さずに書くほうが、次の意思決定に役立ちます。報告に入れる要素は、実施した日、比較の相手、数字（件数と率の両方）、確からしさの限界、次に確かめることの5つです。

よくある誤りは、結果が良かったときだけ比較対象を書き、悪かったときは「外部要因」で片づけること。良いときも悪いときも同じ形で書けば、数か月分の報告を並べたときに、施策の当たり外れが公平に見えてきます。

報告を受ける側の立場でも、同じ見方が使えます。部下や外部の会社から「効果がありました」と報告を受けたら、「何と比べましたか」「件数はいくつですか」「同じ時期にほかに変えたことはありますか」の3つを聞き返してください。責めるためではなく、判断の確からしさを一緒に確かめるための質問です。この3つが報告の型として定着すると、報告の質は自然にそろっていきます。

比較対象を先に用意しておく

比較対象は、施策が終わってから探すと見つからないことがほとんどです。手を加えていないページは、気づいたときには別の改修で手が入っていますし、変更前の数字は記録が残っていません。比較対象は、施策を始める前に残しておくものです。

事例の改修を始める前にやることは、次の4つです。どれも15分ほどで済みます。

1. 比べる相手を1行で書く：「ページBは9月中は手を加えない」「前年9月と比べる」など。
2. 変更前の数字を記録する：直前の数か月分の件数を、Bの分も含めて表に書き写します。事例なら、Aの4〜8月の9、9、10、10、10件がこれにあたります。
3. 判定の日と基準を書く：「9月と10月の合計で、Aの増加がBの増加を5件以上上回っていれば続ける」のように決めます（施策の前に「何をもって成功とするか」を決める）。
4. 同じ時期の予定を書き出す：広告の予算変更、展示会、値上げなど、数字を動かしそうな予定を並べます。

4つ目は見落とされがちですが、結論を左右します。仮に、9月に展示会があり、名刺交換から社名で検索してサイトに来る人が増えていたら、AもBも伸びたはずです。予定を書き出してあれば、「展示会の翌週の伸びは除いて比べる」といった手を事前に打てます。

よくある失敗は、比較対象のページBに、施策の途中で別の担当者が手を加えてしまうこと。Bの見出しが9月半ばに直されると、Bはもう比較対象として使えません。比較対象にしたページは、社内で「◯月末まで触らない」と共有し、どうしても直すときは日付を記録してください。

比較対象を用意できないときもあります。ページが1つしか無く、広告も季節も一度に動く、という場合です。そのときは「比較対象が無いため、効果は判断できない。変化の記録として残す」と書き、無理に結論を出さないでください。

まとめ

効果を語るときに必要なのは、大きな数字ではなく比較対象です。事例のように、手を加えていないページ、流入元の内訳、前年の同じ時期、施策前の傾向線を並べれば、件数が少なくても「どこまで言えるか」は判断できます。次の施策から、始める前に比べる相手を決め、報告にその相手を書いてください。

計測そのものが整っていない場合は、データ活用は「分析」より先に「計測」からを先にお読みください。