這個 AI 漏掉七成患者,為什麼醫院還在用它
美國賓州有一套 AI 系統,做結直腸癌篩查。它每次掃描,只找出 27.7% 的患者,也就是每 10 個真正有問題的人,它跳過了 7 個。
幾年跑下來,被它找到的人,兩年內死亡率降了 43%。
這 AI 的任務從來不是把患者全找出來。它只回答一件事:護士這週時間有限,先聯繫誰?
蓋辛格醫療系統每週有 450 名逾期未篩查的患者。AI 掃過他們的年齡、性別與近幾年血常規,標出風險最高的 11 人。護士這週就打那 11 通電話。
11 個,是設計出來的數字。標出 100 個,護士電話打不完,腸鏡名額也排不進去,最後一個都沒跟到。標得精,讓每個被找到的人都能排進去做檢查,那四個月的時間差,才能決定早期還是晚期。
被 AI 標記去做腸鏡的人,每 100 人查出 6 個癌症。沒被標記的,每 100 人不到 1 個。
這個流程裡,AI 負責排序,人負責打電話。論文裡有一組對照:改用自動語音電話通知患者去篩查,篩查率跟沒通知的對照組幾乎沒差。人打的電話才有人接、有人去。護士在那頭,AI 標出的 11 個名字才被真的跟到。
我們習慣用數字評估 AI 好不好用:找到多少、答錯多少、幻覺幾次。今天前沿模型的幻覺率已降到 3% 左右,碰到不確定的問題更常說「我無法驗證」,硬給答案的頻率低了很多,但大家的印象還停在幾年前。醫療 AI 的 27.7%,放進護士電話打得完、腸鏡名額排得進去這個框架,才是設計出來的精確率。數字不告訴你框架,沒有框架的數字,看起來一下子很爛,一下子比你以為的好很多。
下次看到「AI 準確率」或「AI 找到多少」,先問一下:它在量什麼,在什麼條件下量的,量的這件事跟你真正想解決的問題是不是同一件事。