コラム

ブログ

記録が無ければ、効果は語れない

社内のAI利用を記録する

生成AIを全社で使えるようにして半年。「効果はありましたか」と聞かれて、答えられるでしょうか。多くの場合、答えられません。誰が、何に、どれだけ使ったかの記録が無いためです。

なぜ記録するのか

「AIで効率が上がった」と言うには、どの業務で、どれだけの時間が変わったかが必要です。利用回数やログイン数は、使われたことは示しても、役に立ったかは示しません。さらに、記録が無いと社内で語られるのは成功した使い方だけになり、向いていない業務にまで広がります。使ってみて、やめた例こそ、次の判断に役立つ情報です。

記録にはもう1つの役割があります。顧客の個人情報や社外秘の資料を入力していないかを、後から確認できることです。ただし、記録を「監視」と受け取られると、正直に書かれなくなります。仮に「使わなかった」「時間がかえってかかった」と書きにくい雰囲気があれば、記録は成功例に偏り、検証に使えません。

記録が無いまま半年たった会社で起きがちなのが、声の大きい成功談だけが残る状態。「議事録が一瞬でできるようになった」という話は広まりますが、「見積書の下書きに使ったら、確認に前より時間がかかった」という話は広まりません。その結果、向いていない業務にもAIを広げ、手間が増えたことに誰も気づかない、ということが起こります。記録は、こうした偏りを数字で正すための材料です。

もう1つ大事なのが、AIを使う前の状態の記録です。「従来ならかかった時間」を本人の見積もりだけに頼ると、効果は大きく見えがちです。導入前に、主な業務について実際にかかった時間を何件か測っておけば、見積もりの甘さを確かめる基準になります。

記録の目的は監視ではなく、後から効果を検証できる材料を残すことです。この目的は、記録を始める前に社内へ伝えてください。

記録する項目と、続ける工夫

記録は、項目を決めること、続けられる範囲を決めること、入力した情報を確かめることの3つで成り立ちます。どれか1つでも欠けると、集計できない記録、途中で止まる記録、危ない使い方を見逃す記録になります。ここでは、それぞれの決め方を順に説明します。

最初は7項目で足りる

項目を増やすほど、記録は続きません。最初は次の7項目で十分です。「業務の種類」は自由記述にすると集計できないため、10個程度の選択肢と「その他」にします。「従来ならかかった時間」は本人の見積もりで、甘くなりがちだと割り切ってください。

項目 書き方の例
日付・担当 9/12・営業部A
業務の種類 選択肢から選ぶ(議事録、メール下書き、記事の構成など)
使ったツール 社内で許可したもののどれか
かかった時間(分) 確認・修正を含めた合計
従来ならかかった時間(分) 本人の見積もり。見積もりだと明記する
出力を使ったか そのまま/直して使った/使わなかった
入力した情報の区分 公開情報のみ/社内情報を含む

「業務の種類」の選択肢の例。議事録・要約、メールの下書き、社内文書の下書き、記事や広告文の構成、記事や広告文の本文、表の集計・整形、調べもの、翻訳、アイデア出し、その他(自由記入)の10個です。3か月ほど使ったら「その他」の中身を読み、多い答えを選択肢に昇格させます。選択肢を変えた月は、記録の表の余白に変更日を書いておいてください。

「かかった時間」には、AIに指示を書く時間、出力を読む時間、直す時間をすべて含めます。出力が出るまでの数十秒だけを書くと、どの業務でも大きく時間が減ったように見えてしまいます。よくある誤りなので、記録を始めるときの説明で例を挙げて伝えてください。

全件でなく、範囲を決めて続ける

範囲の決め方の例を1つ。社員10人の会社なら、「毎月第2週の5営業日だけ、AIを使った作業を全件書く」と決めると、1か月あたり数十件の記録がたまります。全員が毎日書くより負担はずっと小さく、それでも業務の種類ごとに傾向を見るには足りる件数です。記録用のフォームは、日付と担当が自動で入り、残りは選択肢と数字だけを入れる形にすると、1件の入力が短く済みます。

毎日の細かい利用まですべて書くのは現実的ではなく、入力に手間がかかるほど、記録は早く止まります。そこで、「15分以上かかった作業だけ」「毎月第2週だけ全件」のように範囲を決めます。フォームやスプレッドシートで、選択肢を選ぶだけに近い形にするのも効果的です。ツールによっては管理者が利用状況を確認できるものもありますが、何の業務に使ったかまでは分からないため、人の記録とは役割が違います。目安は、1件30秒で書ける形です。

入力した情報の区分を月1回見る

7項目の最後にある「入力した情報の区分」は、使い方を確かめるための項目です。月に1回、「社内情報を含む」と書かれた行だけを抜き出し、社内の決まりで入力してよい情報だったかを確かめます。顧客の名前や連絡先、契約の条件、未公開の数字などが入っていないかを見るのが目的です。ツールや契約の種類によって、入力した内容の扱い(学習に使われるかどうかなど)は違うため、使っているツールの利用条件と設定も合わせて確認してください。

見つかったときに、書いた本人を責めないことも大切です。責めれば、次からは「公開情報のみ」と書かれるだけで、記録が実態を映さなくなります。見つかった例は、入力してよい情報の決まりを分かりやすく書き直す材料にしてください。

記録から分かること

集計では、全体の平均を出して終わりにしないでください。下の集計例のように「1件あたり平均約15分短縮」と出ても、議事録では40分減り、記事の構成では5分増えている、ということがあります。業務の種類ごとに分けると、時間が減っているもの、変わらないもの、かえって増えているものが見えてきます。

業務ごとに分けた集計の例(仮の数字・3か月分)。議事録・要約は30件で、1件あたりAIで20分、従来の見積もりで60分なので40分短縮です。メールの下書きは50件で、10分と15分なので5分短縮。記事の構成は12件で、55分と50分なので5分増えています。全体の平均を出すと約15分短縮になりますが(40分×30件+5分×50件−5分×12件を92件で割った値)、記事の構成は時間が増えており、平均の数字からは読み取れません。

  • 「使わなかった」の割合が高い業務:AIに向いていない可能性がある。試した時間も費用に数える
  • 見積もりと実測の差が大きい業務:同じ作業を両方の方法で測り直す。手順はAIで減った作業時間を、正しく測る
  • 記録の項目や選択肢を変えた月:前後を単純に比べない。変えた日を残す

何を測るかを先に決めてから記録を始める考え方は、データ活用は「分析」より先に「計測」からと同じです。記録は業務の種類ごとに分けて読み、続けるもの・やめるものを決める材料として使ってください。

よくある質問

Q. 社員から「記録が面倒」と言われます。
記録の範囲を狭め、1件の入力を短くすることが先です。そのうえで、集計した結果を社員に返してください。「議事録には効いているので続ける」「記事の構成は時間が増えているので使い方を見直す」のように、記録が判断に使われたことが見えると、書く意味が伝わります。

Q. 記録はいつまで続ければよいですか。
最初は3か月続けて集計し、業務ごとに「続ける・使い方を変える・やめる」を決めます。その後は、判断が固まった業務の記録をやめ、新しく使い始めた業務や、判断を保留した業務だけを記録する形に縮めて構いません。ツールを変えたときや、使い方の決まりを変えたときは、また一定期間記録を取り直してください。

まとめ

生成AIの効果を後から検証するには、誰が何にどれだけ使ったかの記録が要ります。7項目、選択肢中心、範囲を絞って始め、集計では業務の種類ごとに分けて、使わなかった例も含めて見てください。目的を伝え、続けられる形で記録し、平均ではなく業務ごとに判断してください。

確認リスト

  • 記録の目的を社内に伝えた
  • 業務の種類を選択肢にした
  • かかった時間に確認・修正を含めている
  • 出力を使わなかった例も記録している
  • 入力した情報の区分を記録している

記事に関することやお仕事のご相談は、下記よりお問い合わせください。

お問合せはこちら

記事一覧
datamake

施策の効果測定と実験設計が専門。 世に出ている成功事例の多くは、比較対象が置かれていないか、社会的背景と施策が分離されていないにもかかわらず、なぜか過去の多数の失敗事...

関連記事一覧