解説
AIの分類が90%正解でも十分?適合率と再現率で見落としを分けよう
問い合わせを「要確認」と「通常」に分けるAIが、90%正解だった。高そうに見えても、大切な要確認の案件を見落としているかもしれないよ。

問い合わせを「要確認」と「通常」に分けるAIが、90%正解だった。高そうに見えても、大切な要確認の案件を見落としているかもしれないよ。
ここでは架空の分類結果から、正解率・適合率・再現率を読み分ける。実際の顧客情報やAIサービスの利用は不要。紙の表と電卓で確かめられる。
少ない方を全部外しても、高く見える
100件のうち、本当に要確認の案件が10件、通常が90件あったとする。すべてを通常にすると90件は正解なので、正解率は90%。でも要確認は一つも拾えていない。
正解率は全体のうち当たった割合。集団の偏りが大きいと、その数字だけでは大切な分類の出来が分からないんだ。
四つの数をそろえる
別の分類例では、要確認の10件中8件を拾い、2件を見落とした。一方、通常の90件中12件を要確認と誤って分けたとする。
| 実際の状態 | 要確認と判定 | 通常と判定 |
|---|---|---|
| 要確認10件 | 8 | 2 |
| 通常90件 | 12 | 78 |
この表なら、正解率は(8+78)÷100で86%。適合率は「要確認と判定した中で本当に要確認」の割合で、8÷20=40%。再現率は「本当の要確認をどれだけ拾ったか」で、8÷10=80%になる。
どの間違いが困るかを決める
適合率が低いと、確認する人へ不要な案件が多く届く。再現率が低いと、見つけたい案件を取りこぼす。Googleの機械学習の資料でも、これらの指標を区別し、目的に応じて選ぶことを説明しているよ。
「どちらも高く」と言うだけでなく、誤検出と見落としの影響、確認できる件数を決めたいね。医療や重大な安全判断へ、この架空例だけで基準を当てはめないようにしよう。
検算して、判定例を読む
- 何を「拾いたい分類」とするか決める。
- 四つの数を元の件数と照合する。
- 分母が何かを添えて率を出す。
- 見落とした2件と、誤検出した12件の理由を読む。
- 同じ確認用データで改善前後を比べる。
分母が0の場合の扱いも決める必要がある。少ないデータの率だけで、本番の性能を保証しないようにしよう。

みんなのコメント 0
感想や、試してみたことを聞かせてね。コメント・返信は承認後に公開されます。
最初のコメントをどうぞ。