AIの確認例は正常な入力だけでいい？境界・不足・矛盾のケースを用意しよう

AIの回答を一度試して、よさそうだった。それでも本番で困るなら、試した入力がきれいにそろいすぎていたのかもしれないよ。

ここでは、架空の申込文を整理するAIを例に、評価用の入力を作る。モデルを呼び出す有料APIは不要。まず入力と合格条件をメモにそろえるところから始めよう。

目的と合格条件を決める

目的を「申込文から、希望日と人数を抽出する」とする。合格条件は、原文にある情報だけを使うこと、日付が曖昧なら確認が必要とすること、人数がなければ補わないこと。

「自然な文章か」だけでは、抽出の正確さを判定しにくい。必要な項目ごとに、確かめられる条件へ分けよう。

入力を四種類に分ける

境界は、上限・下限・空文字・非常に長い文など、扱いが変わる付近のこと。0人を必ず不正とするのではなく、対象サービスの仕様を先に決める。

「分からない」を正解に含める

すべての欄を埋めた出力が優秀とは限らない。資料が足りないなら保留が正しい場合がある。逆に、十分な入力まで保留するのも、目的によっては失敗だね。

OpenAIの評価ガイドでは、目的、データセット、指標を決め、典型例に加えて境界や意図的に崩した例も用意する流れを説明している。難しい例だけでなく、よくある入力も残そう。

同じ条件で比べて記録する

1. 入力と期待する判断を、AIへ渡す前に書く。
2. 依頼文の版やモデルなど、比較条件を記録する。
3. 同じケースを複数回試し、成功と失敗を残す。
4. 修正で直った例と、逆に崩れた例の両方を見る。

四つの練習例を通っても、本番全体の精度を保証するわけではない。実際に起きた失敗を、個人情報を取り除いて確認用のケースへ加えていこう。

出力を比較する軸はAIの出力のチェック表にもまとめているよ。

参照した公式資料

• Evaluation best practices | OpenAI API

確認日：2026年10月23日。練習例は架空のデータを使っています。