AIの確認に同じ問題を使い続けていない？調整用と最終確認用の例を分けよう

AIへの依頼文を直すたびに、同じ五つの問題を試して全部正解になった。その結果だけで、初めて見る入力にも対応できると判断してよいかな。

この記事では、プロンプトを調整するための例と、最後に確かめる例を分ける考え方を紹介する。架空の分類メモで練習でき、有料APIや機械学習の実行環境は不要だよ。

見慣れた問題に、条件を合わせすぎることがある

たとえば、問い合わせ文を「請求」「操作」「その他」へ分けるとする。毎回同じ五文だけを見ながら例外ルールを足せば、その五文に合う条件は作りやすい。

しかし、未知の書き方、情報の不足、複数の用件が混ざった文は未確認のままかもしれない。見たことのある例で良くなったことと、初めての例へ対応できることを分けよう。

学習用の説明を、そのまま混同しない

Googleの機械学習教材は、訓練・検証・テストのデータを分け、テスト結果を繰り返し調整へ使うと、そのテストへ合わせ込むおそれがあると説明している。

ここでの練習はAIモデルの再学習ではなく、依頼文や運用ルールの調整。教材と作業は同じではないけれど、最終確認へ残す例を、調整中の材料に混ぜないという考え方を参考にできるよ。

架空の例を、役割ごとに用意する

件数を二つに割れば十分、という話ではない。言い換えだけのほぼ同じ文を両側へ入れると、独立した確認になりにくい。実際の利用条件を代表する内容かも大切だよ。

小さな練習の進め方

1. 各分類の定義と、迷う場合の扱いを先に書く。
2. 一般的な文だけでなく、不足や複数用件を含む架空の例を作る。
3. 同じ元文から作った似た例は、同じまとまりへ置く。
4. 調整用だけを見て、依頼文と採点基準を決める。
5. 最終確認用を開き、正誤と理由を記録する。
6. 結果を見て変更したら、その例は次から調整に使った例として扱う。

編集部では、例のIDと元文のIDを使い、二つのまとまりに同じ元文がまたがらないことを検算した。AIモデルの回答精度を測定したものではないよ。

成功率だけで終わらせない

五件中五件正解でも、五件が利用全体を代表するとは限らない。少数の結果へ強い保証を付けず、件数、分類ごとの偏り、未確認の条件を一緒に報告しよう。

不正解が出た場合は、基準が曖昧だったのか、資料が不足したのか、AIが条件を守れなかったのかを分ける。正解を後から都合よく書き換えれば、比較の意味が変わってしまう。

入力の種類は境界ケースの作り方、分類の見方は適合率と再現率へ。

参照した公式資料

• Google Machine Learning Crash Course：Datasets

確認日：2026年10月26日。