Почему подробные объяснения ИИ-диагностики опасны для пациентов

Допустим, вы заметили подозрительную родинку и загрузили фото в приложение с ИИ-диагностикой. Система уверенно ответила: «Всё в порядке» — и даже объяснила почему. Вы вздохнули с облегчением. Но как исследование, о котором рассказывает Vademecum, показывает: именно такие подробные объяснения могут сыграть злую шутку с теми из нас, у кого нет медицинского образования.

Когда «разумное» объяснение — не ваш друг

Учёные провели эксперимент с участием 623 человек без медицинского образования и 153 врачей. Неспециалистам предлагали по фотографиям определить, является ли родинка злокачественной, — с разными вариантами поддержки от алгоритма: просто прогноз, похожие случаи, тепловые карты или подробные текстовые объяснения, сформированные нейросетью.

Результаты оказались неоднозначными. В среднем ИИ действительно помогал: точность диагностики у неспециалистов выросла с 69,7% до 75,8%. Наибольший прирост дали именно текстовые объяснения — плюс 7,7 процентных пункта. Звучит неплохо, пока не дочитаешь до главной оговорки.

Доверие, которое мешает думать

Те же самые подробные объяснения сильнее всего усиливали слепое доверие к алгоритму. Если ИИ давал правильный ответ, точность повышалась на 13,4%. Но если алгоритм ошибался — а это случается, — пользователи продолжали следовать его рекомендациям, и точность падала на 21,1%. Иными словами, грамотно сформулированное объяснение создавало иллюзию компетентности системы, и человек переставал сомневаться.

Интересно, что врачи вели себя иначе. Их точность первого диагноза благодаря ИИ выросла на 21,5%, а вероятность включить правильный диагноз в тройку наиболее вероятных — на 43,5%. Но при этом специалистам было достаточно простого прогноза без пространных текстов. Они сопоставляли рекомендации алгоритма со своим клиническим опытом и замечали ошибки — в отличие от нас с вами.

Что делать, если вы не врач

Авторы исследования предлагают простой и бережный подход: сначала попробуйте сами сформулировать, что, на ваш взгляд, происходит, — и только потом сверяйтесь с рекомендацией ИИ. Так вы сохраняете позицию активного участника, а не пассивного получателя готового ответа.

Ещё один важный нюанс: степень доверия зависит от того, когда вы видите подсказку. Если рекомендация появляется до того, как вы успели подумать, вероятность некритичного согласия заметно выше. А участники, хуже всего справлявшиеся с диагностикой без помощи алгоритма, оказались наиболее склонны ему слепо доверять.

Исследователи подчёркивают: универсального рецепта для безопасного использования медицинского ИИ не существует. Одна и та же функция может быть полезна специалисту и ввести в заблуждение пациента. Поэтому, если вы используете приложения для самодиагностики или планируете пройти чекап в клинике, где применяется ИИ, — воспринимайте подсказки алгоритма как повод задать вопрос врачу, а не как окончательный ответ. Ваше здоровье заслуживает не только умного, но и вдумчивого взгляда.