基礎知識
同じ質問でもAIの答えが変わるのはなぜ?
昨日は「急ぎ」、今日は「通常」。同じ依頼文をAIに分類させたのに結果が違うと、毎回担当者が判断し直すことになります。このとき、言葉の違いと、仕事の判断が変わったことを分けて調べます。
例えば「至急」と「早めに」は似た表現ですが、自社では今日中の返答が必要な依頼だけを「急ぎ」にするかもしれません。そもそも基準が曖昧なら、指示を詳しくしても正解を決められません。
先に「急ぎ」の条件をそろえる
いつまでに対応する依頼か、希望日がない場合は通常か確認待ちか、どの分類にも入らない場合はどうするか。担当者同士で決めておきます。これは各社の判断基準で、共通の緊急度ルールではありません。
「できれば今週中に」という依頼なら、希望は読み取れますが、確定期限とは限りません。日付とともに、希望であることも結果に残します。
入力や設定が違えば、同じ試験にはならない
結果を比べるために、入力文、指示文、使ったAI、参照資料を記録します。全文を渡した日と一部を省いた日では、条件が違います。設定やサービス側の変更が影響する場合もあります。
条件を記録しても、回答が毎回完全に一致するとは限りません。試験では、必要な項目が残るか、誤分類に担当者が気づけるかを見ます。挨拶の違い、数量の変更、急ぎの見落としを同じ重さで数えると、直す優先順位が分かりにくくなります。
金額の合計や登録品番との一致は、通常のプログラムで確認する方法があります。AIが文章から候補を拾い、決まった条件で照合する分け方です。「違う回答だった」だけで済ませず、違った欄と後の仕事への影響を残してください。生成AIと計算処理の使い分けでも説明しています。