プロンプトを変えた効果を比べる

プロンプトに一文足したら、出力が良くなった。そう感じた経験は多いと思います。ただ、その比較は1回ずつ、自分の目で見ただけではないでしょうか。生成AIの出力は同じ指示でも毎回変わるため、1回の比較では、プロンプトの差か偶然の差か分かりません。

比べ方の手順は、ひとつの比較を最初から最後まで追うと流れがつかめます。この記事では、次の比較（仮の数字）を各節で使い回します。

よくある比べ方の問題

よくある比べ方には、3つの問題が重なっています。1つ目は入力がそろっていないことで、旧プロンプトはAという題材、新プロンプトはBという題材で試せば、差は題材の違いかもしれません。2つ目は1回ずつしか試していないことで、たまたま良い出力が出た回を比べている可能性があります。3つ目は作った本人が採点していることで、新しいプロンプトを考えた人は、新しいほうが良いと思って読みます。これは確証バイアスで扱っている、見たいものが見えてしまう状態です。

問題	対策
入力がそろっていない	同じ入力のセットで両方を試す
1回ずつしか試していない	1つの入力で複数回出力する
作った本人が採点している	どちらのプロンプトかを伏せて採点する

同じプロンプトでも出力がどれだけ揺れるかは、簡単に確かめられます。事例の旧プロンプトで、同じ題材を3回出力し、先に決めた基準で10点満点の採点をしたところ、5点、8点、6点だったとします。1回ずつの比較で旧が5点、新が8点だったとしても、この3点の差は同じプロンプトの中でも起きています。差の大きさが揺れの幅に収まっているうちは、プロンプトの効果とは言えません。

入力がそろっていない比較も、例で見ると問題がはっきりします。仮に、旧プロンプトを試したのは「新製品の告知文」、新プロンプトを試したのは「定番商品の紹介文」だったとします。定番商品は過去の資料が多く、誰が書いても整った文になりやすい題材です。この場合、新が良く見えたのは題材が易しかったからかもしれず、プロンプトの差とは区別できません。プロンプトの比較も小さな実験で、A/Bテストと同じく条件をそろえる必要があります。

似た比較：人とAIの出力を比べるとき

この記事の考え方は、プロンプト同士の比較だけでなく、人が書いたものとAIが書いたものを比べるときにも使えます。条件をそろえる、先に基準を決める、伏せて採点する、という3つは同じです。人とAIの比較では、題材の割り振りに特に注意が要ります。

仮に、難しい題材を人に、易しい題材をAIに割り振って比べると、AIの出来が良く見えるのは当然です。同じ題材を両方に割り当て、どちらの出力かを伏せて採点します。人の書き手は1回しか書けないことが多いので、出力の回数をそろえるために、AIの出力も1回分に絞るか、人の書き手を複数にして揺れの幅を見ます。

比較の準備と採点

準備は、入力のセットを決める段階と、採点の基準を決める段階の2つ。どちらも出力を見る前に終えておくのが大切です。出力を見てから題材や基準を選ぶと、良く見えるものを無意識に選んでしまうからです。

入力のセットと手順を決める

実際の業務で使う題材を10〜20件集めて固定します。簡単なものだけでなく、これまで出力がうまくいかなかった題材も混ぜてください。変えるのはプロンプトの1か所だけにし、使うモデルや設定もそろえます。そのうえで、1つの題材につき旧・新それぞれ2〜3回出力し、ばらつきの大きさも比較の材料にします。目指すのは、違いがプロンプトの1か所だけになる状態です。

題材の組み合わせは、事例では次のように決めました。

題材の種類	件数	入れる理由
普段の業務でよく出る題材	10件	日常の出来を見る
これまでうまくいかなかった題材	5件	改善したい点が直ったかを見る
長い入力・専門用語の多い入力	5件	副作用が出やすい場所を見る

題材は一覧にして番号を振り、次の比較でも同じものを使います。セットを毎回作り直すと、前回の結果と比べられなくなるからです。題材のセットは、比較のたびに使い回す「ものさし」。

基準を先に決め、伏せて採点する

出力を見る前に、何をもって「良い」とするかを書き出します。考え方は施策の前に「何をもって成功とするか」を決めると同じです。「良い・悪い」の5段階評価だけにすると人によって基準がぶれるため、数えられるものと、はい／いいえで答えられるものを中心にします。採点は、出力を並べ替えてどちらのプロンプトかを伏せ、できればプロンプトを作った人とは別の人が行ってください。

観点	採点の例
事実の誤り	誤りの個数
指示の守り具合	文字数・書式・禁止表現を守ったか（はい／いいえ）
そのまま使えるか	そのまま／少し直す／大きく直す／使えない
直すのにかかった時間	分

はい／いいえで答えられる基準は、具体的に書くほどぶれが減ります。「読みやすいか」ではなく「1文が60字以内か」、「正確か」ではなく「元の資料にない数字が出てこないか」のように書き換えます。「そのまま使えるか」のように判断が入る観点は、「そのまま」「少し直す」の境目を例で示しておきます。たとえば「直す箇所が3か所以内なら少し直す」と決めておけば、採点する人が変わっても判定がそろいやすくなります。

伏せる手順は、表計算ソフトで簡単に作れます。出力を1行ずつ並べ、「旧」「新」の列を別シートに移して、代わりにランダムな番号の列を付けます。番号で並べ替えれば、採点する人にはどちらのプロンプトの出力か分かりません。採点が終わってから、別シートの対応表で旧・新に戻して集計します。

AIに採点させる方法もありますが、その採点が人の判断と合っているかを、一部の出力で人が確かめてから使ってください。どの方法でも、採点は先に決めた基準で、作り手の期待が入らない形で行います。

結果の読み方

題材ごとに、どちらが良かったかを数えます。事例の20件が「新が良い12件、旧が良い5件、差なし3件」なら、新に寄っていると言えそうです。一方、「11件対9件」なら、偶然でも起こりうる差で、差があるとは言いにくい結果です。件数の考え方は件数が少ないときに、率だけで判断しないをご覧ください。

観点ごとの集計も並べておきます。事例の20件の題材を旧・新それぞれ2回出力し、40本ずつ採点した結果です。

観点	旧（40本）	新（40本）
事実の誤りの合計	14個	9個
指示を守った本数	28本	35本
そのまま使えた本数	10本	16本
直すのにかかった時間の合計	120分	85分

勝ち負けの数が微妙な差でも、観点ごとに見ると、どこが良くなったかが分かります。この例なら、指示の守り具合と直す時間がはっきり改善しています。判断に迷う差のときは、題材を増やして同じ傾向が続くかを確かめます。

全体で勝っていても、負けた題材は必ず読みます。見るのは、負けた題材の共通点。事例で、新が負けた5件のうち4件が、1,000字を超える長い入力だったとします。新しいプロンプトで足した指示が長い入力では守られにくい、という仮説が立ちます。その場合は、長い入力だけ旧を使う、または長い入力向けの指示を足した版を作って、同じ題材のセットで比べ直します。

出力の点数と業務の成果は、分けて確かめます。採点で勝った版を採用した後にも、確かめが要るということです。出力の点数が上がっても、実際の作業時間が減っていない、使う人が結局大きく直している、ということは起こりえます。採用から1か月後に、直すのにかかった時間を実務の記録で見直してください。

全体の勝ち負けに加えて、悪化した題材の中身を読んでください。全体では良くなっても、長い入力や専門用語の多い入力だけ悪くなる、といった副作用が見つかることがあります。また、出力の点数が上がっても、それで問い合わせや売上が増えるかは別の検証です。何を測れば成果と言えるかはデータ活用は「分析」より先に「計測」からを参考にしてください。

差が出なかったときの扱い

比較の結果、旧と新でほとんど差が出ないこともよくあります。差が出なかったことも、立派な結果です。「その変更は、少なくともこの題材のセットでは効果が見えなかった」と記録し、版の表に残します。

差が出なかったときに避けたいのは、差が出るまで題材や採点の基準を変え続けることです。題材を入れ替えたり、観点を足したりしていけば、いずれどこかで差は見つかります。それは偶然を拾っているだけかもしれません。仮に、どうしても試したい別の観点があるなら、新しい比較として観点を書き直し、改めて同じ題材のセットで採点します。

差が出なかった場合の判断は、手間や費用で決めます。新しいプロンプトのほうが短くて扱いやすい、出力が速いなど、質以外の利点があれば採用し、なければ旧を使い続けます。どちらの場合も、差が出なかったことを版の表に書いておきます。

比較の結果を業務に残す

比較の手間をかけても、結果が残っていなければ、半年後に同じ比較をやり直すことになります。プロンプトは、文書と同じように版を付けて管理します。どの版をいつから使い、何と比べて採用したかが分かれば、出力の質が変わったときに原因をたどれます。

版	変更点	比べた相手と結果	採用日
v1	最初の版	―	4月1日
v2	出力の形式を箇条書きに指定	v1と比較。指示を守った本数 28→35本	5月10日
v3	禁止表現の一覧を追加	v2と比較。差は小さく、誤りが2個増えたため不採用	―

不採用の版も残しておくのがこつです。同じ変更を別の人が思いつき、また試して同じ結果になる、という無駄を防げます。もう一つ、AIの提供元がモデルを更新すると、同じプロンプトでも出力が変わることがあります。モデルの更新を知ったら、固定した題材のセットで今の版をもう一度採点し、前回の結果と並べてください。事例なら、20件の題材でv2を採点し直し、指示を守った本数が35本前後を保っているかを見ます。

よくある質問

比較に使う題材が10件も集まりません

業務の題材が少ないなら、5件程度から始めて構いません。その代わり、1つの題材で出力する回数を3〜5回に増やし、揺れの幅を確かめます。件数が少ないぶん、小さな差では結論を出さず、明らかな差だけを採用の根拠にします。業務で新しい題材が出るたびにセットに足していけば、数か月で10件を超えます。

AIに採点させてよいのは、どんなときですか

人の採点と、AIの採点がどれだけ一致するかを先に確かめます。事例の80本から20本を選び、人とAIの両方で採点し、はい／いいえの判定が18本で一致したなら、一致率は90%。一致率が高い観点だけをAIに任せ、「そのまま使えるか」のように判断が分かれやすい観点は人が見ます。一致率を確かめた日付も記録しておき、プロンプトやモデルを変えたら確かめ直してください。

新しいプロンプトのほうが良いのに、使う人の評判が悪いです

採点の基準と、使う人が大事にしている点がずれている可能性があります。使う人に、何が不満かを具体的に聞いてください。たとえば「正確になったが、長くて読むのに時間がかかる」なら、文字数や読む時間を観点に加えます。基準を変えたら、旧・新の両方を新しい基準で採点し直します。

まとめ

プロンプトの比較は、同じ入力のセットで1か所だけ変え、複数回出力して行います。評価の基準は出力を見る前に決め、どちらのプロンプトかを伏せて採点し、結果は勝ち負けの数と悪化した題材の中身で読みます。「良くなった気がする」で終わらせず、業務の成果とは分けて、小さな実験として確かめてください。