コラム

ブログ

全体と部分で結論が逆になる

シンプソンのパラドックス ― 全体と部分で逆になる

部分ごとに見るとAのほうが良いのに、全体で合計するとBのほうが良く見える。こういうことが実際に起きます。

シンプソンのパラドックスと呼ばれる現象で、データの読み間違いではなく、両方とも正しい計算です。この記事では、具体例で仕組みを示し、身近な場面と気づく方法を説明します。

この現象は、言葉で説明するより、実際に数字が逆転するところを見るほうが早く理解できます。ここでは、次の架空の会社の数字を、仕組みの説明から補正の計算まで通して使います。

この記事で使う事例(架空の会社・仮の数字)

  • 2つの広告A・Bを、それぞれ1,000クリック分配信
  • 広告Aはクリックの9割がスマートフォン
  • 広告Bはクリックの9割がPC
  • 同じ会社のサイトで、今月は広告による新規の訪問者の増加
  • 訪問に占める新規の割合は前月の60%から今月は80%

具体例と、起きる仕組み

事例の2つの広告A・Bの成果率を、デバイス別に比べます。PCでもスマートフォンでも、Aのほうが成果率が高いことを確かめてから、合計の列を見てください。

合計では逆に、Bのほうがはるかに高くなっています。

  PC スマートフォン 合計
広告A 8/100 = 8.0% 18/900 = 2.0% 26/1000 = 2.6%
広告B 63/900 = 7.0% 1/100 = 1.0% 64/1000 = 6.4%

原因は配分の偏りです。PCの成果率はAもBも高く(7〜8%)、スマートフォンはAもBも低い(1〜2%)のに、Aは成果率の低いスマートフォンに9割、Bは成果率の高いPCに9割配信していました。

合計の差は、広告の良し悪しではなく、どちらのデバイスに多く配信したかの違いから生まれています。この例から引き出すべき結論は「Bのほうが良い広告だ」ではなく、「Aの配信をPC寄りにすべきだ」です。

合計の率は中身の構成比に引っ張られるため、構成比が違うもの同士を合計で比べると、結論が逆になりえます。

では、合計の6.4%と2.6%は無意味な数字かというと、そうではありません。「実際に配信した結果として、どちらの広告が多くの成果を生んだか」という問いには、合計が正しく答えています。

一方、「同じ条件で配信したら、どちらの広告が優れているか」という問いには、デバイス別の数字が答えます。どちらの数字を使うかは、何を決めたいかで変わります。

広告の文面や画像を選ぶ、つまり広告そのものの良し悪しを決めたいなら、条件をそろえたデバイス別の比較を使います。予算をどちらに多く割り当てたかの結果を振り返るなら、合計を使います。

問いを先に決めずに数字を見ると、都合のよいほうを選んでしまいます。合計と部分のどちらを使うかは、何を決めたいかで選んでください。

似た落とし穴との違い

シンプソンのパラドックスは、ほかの数字の落とし穴と混同されやすいものです。違いを押さえておくと、どの確かめ方を使えばよいかが分かります。

主な3つを並べます。

落とし穴 何が起きているか 確かめ方
シンプソンのパラドックス グループの構成比の違いで、全体と部分の結論が逆になる グループ別の分母と分子を並べる
見せかけの相関 第三の要因が、2つの数字を同時に動かしている 同じ時期に動いた別の要因を書き出す
平均への回帰 たまたま極端だった数字が、次に平均へ戻る 何もしなかった期間でも同じ動きがあるかを見る

3つとも、数字の計算自体は正しいのに、読み方を誤ると結論を誤る、という点で共通しています。シンプソンのパラドックスに特有なのは、グループに分けるだけで結論が変わることです。

全体と部分の方向が逆になっていたら、まずこの落とし穴を疑い、グループ別の分母と分子を並べます。

身近な場面

この現象は、珍しい統計の話ではありません。成果率が大きく違うグループが混ざっていて、比べる2つの間でその混ざり方が違えば、どこでも起きます。

Webマーケティングでは、デバイス、流入経路、新規と再訪など、成果率の違うグループが常に混ざっています。起きやすい場面は次のとおりです。

場面何が混ざっているか
期間の比較成果率の高い指名検索の比率が、2つの期間で違う
施策の前後比較施策後に広告を増やし、新規訪問の割合が変わった
記事の比較記事Aは検索から、記事Bは広告からの流入が中心
月次の推移各グループの成果率は同じなのに、構成比だけが変わった

期間の比較で起きる例を、事例のサイトで見ておきます。新規の訪問者と再訪の訪問者の成果率を、前月と今月で比べます。

グループ 前月の成果率 今月の成果率 前月の構成比 今月の構成比
新規 1.0% 1.2% 60% 80%
再訪 4.0% 4.5% 40% 20%
全体 2.2% 1.86% ― ―

新規も再訪も、成果率は前月より上がっています。それなのに全体は2.2%から1.86%に下がりました。

広告で新規の訪問者を増やした結果、成果率の低い新規の比率が6割から8割に増えたためです。全体だけを見て「サイトの成果が落ちた」と報告すると、実際には両方のグループで改善していた事実を見落とします。

表の最後の場面は特に誤解を生みます。各グループの成果率が前月とまったく同じでも、成果率の低いグループの比率が増えれば、全体の成果率は下がります。

このとき「サイトが悪くなった」と判断して直し始めるのは誤りです。全体の率が動いたら、まずグループの構成比が変わっていないかを疑ってください。

月次レポートでの見つけ方

日常の月次レポートでこの現象に気づくには、全体の率の横に、主要なグループの率と構成比を1行ずつ足しておくのが手軽です。全体の率が前月から動いたとき、グループの率は動いていないのに構成比だけが動いていれば、構成比の変化が原因と分かります。

事例の会社なら、全体の成果率「2.2%→1.86%」の下に、新規(1.0%→1.2%、構成比60%→80%)と再訪(4.0%→4.5%、構成比40%→20%)の2行を足します。この2行があれば、全体が下がったのは構成比の変化のせいで、どちらのグループも改善していたとすぐに分かります。

サイトの中身に手を入れる前に、新規が増えた理由(広告の配信の変更など)を確かめ、手を打つなら新規の成果率をさらに上げる方向を考えます。

気づく方法

この現象は、合計だけを見ている限り気づけません。逆に、少しの手間で防げます。

ポイントは、合計の前に中身を見ることと、率を分母・分子と一緒に扱うことです。次の4つを、レポートの作り方に組み込んでください。

  1. 合計の前に、分けて見る … 主要なグループ(デバイス・経路・新規/再訪)ごとの数字を合計と並べます。方向が逆なら、この現象が起きています
  2. 構成比を確認する … 全体の数字が動いたら、各グループの構成比が変わっていないかを見ます
  3. 分母と分子を一緒に載せる … 率だけを並べた表では気づけません
  4. 比較する条件をそろえる … 可能なら、比べる対象の配分をそろえます(「効果があった」と言う前に ― 比較対象の置き方)

GA4なら、探索の自由形式で、行にデバイスや「新規/既存」の項目を置き、値にセッションとキーイベントを並べるだけで、グループ別の分母と分子が一度に見られます。比較の期間を2つ設定すれば、構成比の変化も同じ表で確かめられます。

毎月の報告に使う表を、最初からこの形にしておくと、合計だけを見る事態を防げます。

最も手軽で効くのは3つ目。事例の広告でも、「2.6%」「6.4%」とだけ書かれた表では気づけませんが、「18/900」「63/900」と分母が見えていれば、配信先の偏りにすぐ気づけます。

率は分母と分子を添えてグループ別に並べ、合計は最後に見てください。

よくある誤りと直し方

気づく方法を知っていても、実務では次のような誤りが起きがちです。

  • 都合のよい分け方を後から選ぶ:分け方をいくつも試し、望む結論が出るものだけを報告する。分けるグループは、比べる前に決めておく
  • 分けすぎて件数が数件になる:グループごとの率が偶然で揺れ、逆転が見かけ上起きる。件数が少ないグループはまとめる
  • 合計を捨ててしまう:部分だけを報告すると、実際の成果の総量が見えなくなる。合計と部分を並べて載せる

1つ目は特に注意が要ります。デバイス、地域、時間帯と分け方を変えていけば、どこかで逆転は見つかります。

分け方を先に決めておくことは、施策の成功の基準を先に決めるのと同じ考え方です(施策の前に「何をもって成功とするか」を決める)。分けた数字も、合計と並べて載せてください。

構成比をそろえて比べる計算

グループ別に見て方向が逆になっていると分かったら、次は「構成比が同じだったら、どうだったか」を計算します。やり方は簡単で、各グループの成果率に、共通の構成比を掛けて足すだけです。

この計算で、配分の違いを取り除いた比較ができます。

事例の広告で、PCとスマートフォンを5割ずつ配信したと仮定して計算します。

  • 広告A:8.0% × 0.5 + 2.0% × 0.5 = 5.0%
  • 広告B:7.0% × 0.5 + 1.0% × 0.5 = 4.0%

配分をそろえると、Aのほうが1ポイント高くなり、デバイス別の比較と同じ結論になります。期間の比較なら、前月の構成比を今月にも当てはめます。

新規と再訪の例では、前月の構成比(新規60%・再訪40%)で今月の率を計算すると、1.2% × 0.6 + 4.5% × 0.4 = 2.52% です。前月の2.2%と比べて、構成比が変わらなければ0.32ポイント上がっていた、と言えます。

この計算で注意したいのは、どの構成比を使うかで数字が変わることです。5割ずつにするか、前月の構成比にするか、実際の構成比にするかは、比べる目的に合わせて選び、報告にもどれを使ったかを書きます。

グループの件数が少ない場合は、グループ別の率そのものが揺れるため、そろえた数字も揺れる点を添えてください(件数が少ないときに、率だけで判断しない)。事例の広告Bのスマートフォンは100クリックで1件なので、この揺れに当てはまります。

よくある質問

どこまで細かく分けて確かめればよいですか

最初は、成果率に大きな差がありそうなグループを2〜3個だけ確かめます。Webの数字なら、デバイス、新規と再訪、指名検索とそれ以外が代表です。

細かく分けすぎると、1つのグループの件数が少なくなり、率が偶然で大きく揺れて、かえって判断を誤ります。成果率が大きく違い、構成比が期間や対象で変わりやすいグループから確かめてください。

全体と部分で結論が逆になったとき、報告はどう書けばよいですか

両方の数字を並べ、逆になった理由を1行添えます。たとえば「全体の成果率は下がったが、新規・再訪とも成果率は上がっている。新規の比率が6割から8割に増えたため」と書きます。

どちらか一方だけを載せると、読み手は判断の材料を失います。理由まで書けば、次に何をすべきか(新規の成果率をさらに上げる、など)も伝わります。

構成比の変化そのものは、良いことですか、悪いことですか

一概には言えません。新規の比率が増えたのは、集客が広がった結果かもしれず、それ自体は目的に合っていることもあります。

大切なのは、構成比の変化と、各グループの成果の変化を分けて評価することです。構成比の変化は集客の施策の結果として、各グループの成果率はサイトの中身の結果として、それぞれ見ます。

まとめ

部分ごとにはAが優れているのに、合計ではBが優れて見える。これは計算の誤りではなく、配分の偏りによるものです。

成果率の違うグループが混ざっている限り、Webの数字でも日常的に起こりえます。合計の前に主要なグループごとの数字を見て、率には分母と分子を添えてください。

確認リスト

  • 合計だけでなくセグメント別も見ている
  • 表に分母と分子を載せている
  • 全体の数字が動いたとき、構成比の変化を確認した
  • 比較する対象の条件をそろえている
  • 合計と部分で方向が逆になっていないか確認した

記事に関することやお仕事のご相談は、下記よりお問い合わせください。

お問合せはこちら

記事一覧
datamake

施策の効果測定と実験設計が専門。 世に出ている成功事例の多くは、比較対象が置かれていないか、社会的背景と施策が分離されていないにもかかわらず、なぜか過去の多数の失敗事...

関連記事一覧