基礎知識
AIの正答率をどう確かめるか
「十件中、九件はうまくいきました」。この数字だけでは、仕事に使えるか判断できません。欄の大半が正しかったのか、担当者が直さず次へ渡せたのか。「成功」をどう数えたかを先に確かめます。
空欄でも、正しい結果はある
例えば見積依頼の品番・数量・単位・希望日を整理します。四項目のうち三つが合っていても、単位が違えば金額を計算できません。項目ごとの正答率と、一件の仕事を進められるかは別です。
反対に、希望日がない依頼に「未記載・確認が必要」と返したら、空欄でも正しく整理できています。全部埋まったことを成功条件にすると、この結果を失敗に数えてしまいます。
次の担当者が何をできれば成功か
不足を聞き返す下書きを作る試験なら、不足項目を正しく示せたことも成功です。受注登録まで進めるなら、登録条件を満たすかを別に調べます。数量の取り違え、顧客の紐付け違い、未承認の納期確約など、見落とせない誤りと仕事への影響も決めておきます。
人が直して使える状態にした書類は、AIだけで成功した一件と分けて記録します。直した内容、かかった時間、原文を読み直した範囲も残してください。「修正なしで利用」「確認して修正」「不足を正しく検出」「誤りを検出できず」など、仕事に合う分類で分けると、平均値だけでは分からない問題を見られます。
数字には、書式、担当者、対象期間も添えます。読みやすい書類での結果を、全取引先に使える結果として広げないためです。小さな会社での試験の進め方では、時間と運用の負担まで含めた評価を扱っています。