コラム

ブログ

何と比べた「◯倍」なのか

「AIで成果が◯倍」という事例の読み方

「生成AIを導入して、問い合わせが3倍に」。こうした事例を読むと、自社でもやるべきか気になります。

けれど、その「3倍」が何と比べた3倍なのかが書かれていない事例は少なくありません。事例は否定するためではなく、自社の判断に使える部分を取り出すために読んでください。

読み方の要点は、1つの事例を何度も問い直すと身に付きます。この記事では、次の架空の成功事例を、数字の見え方から自社での試し方まで通して読み解きます。

この記事で使う事例(架空・仮の数字)

  • AIツールの提供元が公開した導入事例
  • 見出しは「生成AIで記事作成を効率化し、問い合わせが3倍に」
  • 導入前の問い合わせは月3件
  • 導入後6か月は4件、3件、9件、5件、4件、3件
  • 同じ半年で、記事の公開本数は月4本から月20本に増加

事例の数字が大きく見える理由

公開される事例は、うまくいったものが選ばれています。導入してもうまくいかなかった会社は、わざわざ事例として発表しません。

これは生存者バイアスで扱っている構図で、「事例に出てくる会社は成功している」ことは、「導入した会社の多くが成功している」ことを意味しません。加えて、事例を書くのがツールの提供元や導入を支援した会社である場合、大きな数字を選んで載せる理由があります。

もう1つの理由は、元の数字が小さいことです。冒頭の事例では、月3件の問い合わせが9件になって「3倍」ですが、差は6件です。

月によって3件から9件くらい揺れる規模なら、導入しなくても起こりうる変化です。件数が少ないときの見方は件数が少ないときに、率だけで判断しないで扱っています。

事例の「◯倍」は、元が小さいかもしれない数字として割り引いて読みます。

3つ目の理由は、期間の切り取り方です。導入後の数か月のうち、いちばん良かった月だけを取り出して「◯倍」と書くことができます。

事例の導入後6か月は4件、3件、9件、5件、4件、3件なので、9件の月を選べば導入前の月3件の「3倍」です。6か月の平均は約4.7件(28件÷6)で、導入前と比べると1.6倍ほどにとどまります。

たまたま良かった月の次は元に戻りやすい、という点も覚えておきたいところです。「◯倍」を見たら、どの月の数字かを確かめ、平均で見直してから受け取ってください。

社内の成功報告にも同じ構図がある

数字が大きく見える理由は、社外の事例に限りません。社内で「AIを使ったら作業時間が半分になった」という報告が上がってきたときも、同じ構図が起きていることがあります。

うまくいった担当者の報告は目立ち、使ってみたがやめた人の話は報告されないからです。

仮に、10人が試して3人が「半分になった」と報告し、残りの7人は何も言わなかったとします。3人の報告だけを見ると効果は大きく見えますが、7人がやめた理由が「かえって時間がかかった」なら、全体の効果はずっと小さくなります。

社内で試すときは、試した全員に結果を聞き、やめた人の理由も残す、という決まりにしておきます(社内のAI利用を記録する)。

事例を読むときの5つの問い

事例を読むときは、次の5つを順に確かめます。本文に答えが書かれていなければ、その部分は「分からない」として扱います。

答えられない問いが多い事例ほど、自社の判断材料としての重みは下がります。

問い 確かめること
1. 何と比べたか 導入前の同じ時期か、直前の月か、比較対象が無いか
2. 元の数字はいくつか 倍率だけでなく、件数や金額が書かれているか
3. 同時に何を変えたか 人員、予算、公開本数、サイトの改修が同時期に無いか
4. 期間はどれだけか 導入直後の一時的な伸びではないか、その後も続いたか
5. 誰が書いたか 提供元・支援会社か、導入した会社自身か、第三者か

それぞれの問いに、どんな答えなら安心材料になり、どんな答えなら注意が要るかを表にしておきます。

問い 安心材料になる答え 注意が要る答え
何と比べたか 前年の同じ時期、または使わなかった部署と比べている 比較の記載がない、直前の悪かった月と比べている
元の数字 件数や金額が書かれ、数十件以上ある 倍率やパーセントだけ
同時に変えたこと 「ほかは変えていない」と明記されている 人員や予算も同時に増えている
期間 半年以上続いた結果が書かれている 導入直後の1〜2か月だけ
書き手 導入した会社が自分の言葉で書いている 提供元や支援会社の宣伝記事

注意の列に当てはまったからといって、その事例が誤りだとは限りません。注意の列に当てはまるほど、その数字を自社の見込みに使う重みを下げる、という使い方をします。

2つ目の「元の数字」では、パーセントの書き方にも気を付けます。「成約率が50%向上」は、2%が3%になった(1ポイント増えて、元の1.5倍)ことを指す場合もあれば、2%が52%になったことを指すと読まれる場合もあります。

事例の中で「%向上」と「ポイント増」のどちらの意味で書かれているか、元の率がいくつかを確かめてください。元の率が書かれていなければ、その数字の大きさは判断できません。

特に3つ目は見落とされがちです。冒頭の事例のように、AIの導入と同じ時期に公開本数を5倍にしていれば、効いたのはAIではなく本数かもしれません。

季節や景気など外部要因の確かめ方は相関と因果を分けるで扱っています。5つの問いに答えられない部分は「分からない」として残し、答えられた部分だけを判断に使ってください。

5つの問いを使う場面

5つの問いは、事例の記事を読むときだけでなく、いくつかの場面で使えます。使いどころを知っておくと、判断の場で自然に確かめられるようになります。

場面 問いの使い方
ツールの営業担当の説明を聞くとき 「その数字は何と比べたものですか」「元の件数はいくつですか」と聞く
セミナーや講演で事例を聞くとき メモに5つの問いの欄を作り、答えが出たものだけ埋める
社内の稟議書を読むとき 効果の見込みの根拠が、5つの問いに答えているかを確かめる
自社の事例を公開するとき 自分たちの書いた事例が、5つの問いに答えているかを確かめる

営業担当に聞くときは、疑っているように聞こえない言い方を選びます。「社内で説明するときに必要なので」と前置きすれば、相手も答えやすくなります。

答えが返ってこない問いがあれば、それ自体が判断の材料です。稟議の場でも同じで、答えのない部分を記録しておきます。

自社に当てはめる前に

5つの問いを通っても、その事例が自社に当てはまるとは限りません。業種、商材の単価、問い合わせまでの期間、担当者の人数が違えば、同じ使い方でも結果は変わります。

事例から取り出すべきなのは「◯倍」という数字より、どの業務に、どう使ったかという手順のほうです。手順なら、自社で小さく試して確かめられます。

  1. 事例から、自社でも試せる使い方を1つだけ取り出す
  2. 導入前の数字を取っておく(件数・時間・費用)
  3. 何をもって成功とするかを、試す前に決める
  4. 同じ時期に、使う業務と使わない業務を並べて比べる

小さく試す例を、冒頭の事例で示します。事例から取り出せる手順は「記事の下書きをAIで作る」です。

これを自社で試すなら、次のように進めます(数字は仮のもの)。

  1. 導入前の4週間、記事1本の作成時間を記録する(平均6時間)
  2. 担当者2人のうち1人だけがAIで下書きを作り、もう1人は従来どおり書く
  3. 4週間後に、1本あたりの作成時間と、上司が直した箇所の数を比べる

AIを使った人の作成時間が平均4.5時間、使わなかった人が平均5.8時間なら、差の1.3時間ほどが目安です。ただし、2人の間にはもともと書く速さの違いがあるため、次の4週間は役割を入れ替えて確かめます。

入れ替えても同じ傾向が出れば、自社でも効果がある可能性が高いと判断できます。

試す前に決める基準は、数字と期間の両方で書きます。たとえば「4週間の平均で、1本あたりの作成時間が1時間以上短くなり、上司が直す箇所の数が増えていなければ、全員に広げる」といった形です。

基準に届かなかったときにどうするか(やめる、使い方を変えてもう一度試す)も、あわせて決めておきます。結果を見てから基準を決めると、どんな結果でも「効果があった」と読めてしまうからです。

判断の基準を先に決める考え方は施策の前に「何をもって成功とするか」を決める、導入前に取っておく数字はデータ活用は「分析」より先に「計測」からを参考にしてください。事例は結論として借りるのではなく、自社で確かめる仮説の出どころとして使います。

架空の事例で読み方を試す

5つの問いを、冒頭の箱の事例で使ってみます。見出しは「生成AIで記事作成を効率化し、問い合わせが3倍に」。

本文を読みながら、問いごとに答えを拾うと次のようになりました。

問い 事例の本文から分かったこと
何と比べたか 導入前の月3件と、導入後のいちばん良かった月
元の数字 月3件の問い合わせが、月9件に(差は6件)
同時に変えたこと 記事の公開本数を月4本から月20本に増やした
期間 導入後6か月まで。6か月の平均は約4.7件で、その後は書かれていない
書き手 AIツールの提供元の導入事例ページ

読み取れることを整理します。問い合わせが増えたのは事実として書かれていますが、「3倍」はいちばん良かった1か月の話で、半年の平均では1.6倍ほどです。

同時に公開本数が5倍になっており、効いたのはAIそのものではなく、本数を増やしたことかもしれません。比較は導入の前後だけで、前年の同じ時期との比較はなく、季節の影響も分かりません。

それでも、この事例から取り出せるものはあります。「AIで下書きを作れば、同じ人数で公開本数を増やせる」という手順です。

自社で確かめるなら、公開本数を増やしたときに1本あたりの流入が落ちていないか、確認や修正にかかる時間がどれだけ増えたかを見ます。事例の「3倍」は脇に置き、この手順を前の節のように自社の数字で試すのが、事例の使い方です。

答えを表に書き出せば、「分からない」部分と取り出せる手順がはっきり分かれます。

よくある質問

提供元が書いた事例は、信用しないほうがよいのですか

信用しないのではなく、書かれた目的を踏まえて読みます。提供元の事例は、うまくいった顧客が選ばれ、良い数字が前に出るのは自然なことです。

ただし、使い方や設定の手順は詳しく書かれていることが多く、手順の情報源としては役に立ちます。数字は割り引き、手順は参考にする、という読み分けをしてください。

うまくいかなかった事例は、どこで探せますか

公開されている失敗事例は少ないため、同業の知人や勉強会で直接聞くのが現実的です。そのとき「何を試して、何と比べて、どうだったか」の3点を聞くと、成功事例と同じ形で比べられます。

自社で試してうまくいかなかったことも、同じ3点で記録しておきます。社内に失敗の記録が貯まれば、次に事例を読むときの比較材料になります。

経営者が事例を持ってきて「うちでもやろう」と言われました

否定から入らず、「試し方」を提案するのが進めやすい方法です。5つの問いで分かったことと分からないことを1枚にまとめ、「分からない部分を自社で確かめるために、この業務で2週間試したい」と伝えます。

試す範囲と、何をもって成功とするかを先に合意しておけば、結果が出たときに判断がぶれません。事例を読んだ手間が、そのまま小さな実験の設計になります。

まとめ

「AIで成果が◯倍」という事例は、成功したものが選ばれ、元の数字が小さいことがあります。何と比べたか、元の数字、同時に変えたこと、期間、書き手の5つを確かめ、答えられない部分は「分からない」として扱ってください。

事例の数字は借りずに、手順だけを取り出して自社で比べることが大切です。

確認リスト

  • 何と比べた「◯倍」かを確認した
  • 倍率でなく元の件数・金額を確認した
  • 同時に変えたことが無いかを確認した
  • 書き手の立場を確認した
  • 自社で試す前に、判断の基準を決めた

記事に関することやお仕事のご相談は、下記よりお問い合わせください。

お問合せはこちら

記事一覧
datamake

施策の効果測定と実験設計が専門。 世に出ている成功事例の多くは、比較対象が置かれていないか、社会的背景と施策が分離されていないにもかかわらず、なぜか過去の多数の失敗事...

関連記事一覧