DESIGN / CODE / INFRA / AI

解説

AIの分類が90%正解でも十分?適合率と再現率で見落としを分けよう

問い合わせを「要確認」と「通常」に分けるAIが、90%正解だった。高そうに見えても、大切な要確認の案件を見落としているかもしれないよ。

AIの分類が90%正解でも十分?適合率と再現率で見落としを分けよう
保存リストを見る →
この記事の道しるべ 5項目

問い合わせを「要確認」と「通常」に分けるAIが、90%正解だった。高そうに見えても、大切な要確認の案件を見落としているかもしれないよ。

ここでは架空の分類結果から、正解率・適合率・再現率を読み分ける。実際の顧客情報やAIサービスの利用は不要。紙の表と電卓で確かめられる。

少ない方を全部外しても、高く見える

100件のうち、本当に要確認の案件が10件、通常が90件あったとする。すべてを通常にすると90件は正解なので、正解率は90%。でも要確認は一つも拾えていない。

正解率は全体のうち当たった割合。集団の偏りが大きいと、その数字だけでは大切な分類の出来が分からないんだ。

四つの数をそろえる

別の分類例では、要確認の10件中8件を拾い、2件を見落とした。一方、通常の90件中12件を要確認と誤って分けたとする。

実際の状態 要確認と判定 通常と判定
要確認10件 8 2
通常90件 12 78

この表なら、正解率は(8+78)÷100で86%。適合率は「要確認と判定した中で本当に要確認」の割合で、8÷20=40%。再現率は「本当の要確認をどれだけ拾ったか」で、8÷10=80%になる。

どの間違いが困るかを決める

適合率が低いと、確認する人へ不要な案件が多く届く。再現率が低いと、見つけたい案件を取りこぼす。Googleの機械学習の資料でも、これらの指標を区別し、目的に応じて選ぶことを説明しているよ。

「どちらも高く」と言うだけでなく、誤検出と見落としの影響、確認できる件数を決めたいね。医療や重大な安全判断へ、この架空例だけで基準を当てはめないようにしよう。

検算して、判定例を読む

  1. 何を「拾いたい分類」とするか決める。
  2. 四つの数を元の件数と照合する。
  3. 分母が何かを添えて率を出す。
  4. 見落とした2件と、誤検出した12件の理由を読む。
  5. 同じ確認用データで改善前後を比べる。

分母が0の場合の扱いも決める必要がある。少ないデータの率だけで、本番の性能を保証しないようにしよう。

確認例の作り方は境界・不足・矛盾のケースへ。

参照した公式資料

確認日:2026年10月24日。

参考・出典

公開と変更の記録
  • :初回公開

日時は日本時間です。記載のある変更は、確認できた編集記録に基づきます。更新日の違いだけから変更内容を推測して載せることはありません。

更新・訂正の方針 →

みんなのコメント 0

感想や、試してみたことを聞かせてね。コメント・返信は承認後に公開されます。

最初のコメントをどうぞ。