Передовой медицинский искусственный интеллект, разработанный компанией Google, поставил диагноз пациенту, опираясь на данные участка мозга, не имеющего аналогов в реальности.
Unsplash
В 2024 году компания Google выпустила Med-Gemini, свою ведущую медицинскую нейросеть, предназначенную для анализа компьютерной томографии и составления отчетов. Однако вскоре в опубликованной научной работе, описывающей эту модель, была обнаружена серьезная ошибка: искусственный интеллект поставил диагноз на основе несуществующей анатомической структуры мозга, назвав ее «базилярные ганглии» (basilar ganglia).
Как сообщает издание The Verge, ошибка, вероятно, возникла из-за того, что ИИ смешал два реальных медицинских термина: basal ganglia (базальные ганглии), группы ядер, отвечающие за моторику и обучение, и basilar artery (базилярная артерия) — крупный кровеносный сосуд у основания мозга.
В статье была допущена ошибка, в результате которой поставлен диагноз «инфаркт в левых базилярных ганглиях». Это серьезное недоразумение, так как инсульт в области базальных ганглиев и в базилярной артерии нуждается в совершенно разных методах терапии.
Искусственный интеллект превзошел врачей: нейросеть пересмотрела смертельный диагноз пациента и подтвердила свою правоту
В Саудовской Аравии начала работу первая в мире медицинская клиника, где диагностика и терапевтические процедуры осуществляются при помощи искусственного интеллекта
Заметить эту ошибку не удалось ни создателям научной работы, ни рецензентам. Обнаружил ее невролог и исследователь в области искусственного интеллекта Брайан Мур, который поделился информацией о проблеме в социальной сети LinkedIn. Впоследствии Google исправила свой блог-пост, посвященный Med-Gemini, однако оригинальная научная статья не была изменена.
Представители компании объяснили произошедшее как обычную опечатку и распространенную ошибку при расшифровке, предполагая, что некорректный термин мог быть включен в обучающие материалы из реальных медицинских документов, где подобные ошибки допускались врачами.
По мнению экспертов, произошедшее — наглядный случай так называемой «галлюцинации» ИИ, когда модель выдает правдоподобную, но недостоверную информацию. Специалисты подчеркивают, что основная сложность состоит в том, что нейронные сети не указывают на свою некомпетентность, а предпочитают придумать ответ.
Проверка сопоставимых моделей, включая MedGemma, выявила, что они способны выдавать совершенно различные и противоречивые диагнозы в ответ на идентичные запросы.
«Искусственному интеллекту следует предъявлять более строгие требования, чем к врачу-человеку, учитывая необходимость обеспечения более высокой степени надежности», — подчеркнул ведущий эксперт информационной системы здравоохранения Providence, Маулин Шах.
Врачи могут начать упускать подобные недочеты из-за значительной нагрузки и склонности полагаться на технологические решения, что вызывает обеспокоенность в медицинском сообществе потенциальный риск для пациентов.
Компания Google, несмотря на произошедший инцидент, продолжает активно интегрировать искусственный интеллект в свои продукты. В частности, уже запущена функция Overviews, предоставляющая рекомендации по вопросам здоровья непосредственно в результатах поиска, и ведется разработка «ИИ-научного ассистента» для проведения исследований в области создания новых лекарственных препаратов.
Вместе с тем эксперты рекомендуют разрабатывать более совершенные механизмы контроля, включая обязательный человеческий контроль, перед внедрением ИИ в клиническую практику в широком масштабе необходимы экспертиза специалистов, а также независимые испытания.
Готовы ли вы полагаться на искусственный интеллект и нейронные сети в вопросах здоровья, вместо традиционного медицинского специалиста?