Чуда не случилось: искусственный интеллект не способен диагностировать сложные заболевания

В последнее время так много новостей об искусственном интеллекте, что от них начинает тошнить. Крупные компании пытаются внедрить ИИ абсолютно везде. Не удивимся, если через некоторое время появятся интеллектуальные лампочки, зубные щетки, чайники и другие бытовые приборы с искусственным интеллектом.

Еще больше новостей, касающихся успехов ИИ. Например, мы писали, что искусственный интеллект уже может определять эмоциональный интеллект лучше психотерапевтов, а также способен проводить стоматологические операции.

Чуть раньше появлялись новости, что ИИ удалось сдать экзамен на получение медицинской лицензии в США без дополнительных вмешательств со стороны тренеров-людей. Тогда исследователи, стоящие за экспериментом, оценили результат как «заметную веху» для ИИ.

Но прошло время и выяснилось, что ничего выдающегося на поприще медицины искусственный интеллект пока не показал. Медицинских работников результаты не впечатляют. Более того, они считают их достаточно посредственными.

Ученые, проводящие новое исследование, отметили, что, хотя ChatGPT ранее продемонстрировал способность отвечать на краткие медицинские вопросы, его способность справляться со сложными случаями неочевидна, «несмотря на огромный объём информации, на которой он был обучен».

Так чат-боту предоставили 150 примеров сложных заболеваний, разработанных для проверки диагностических способностей медицинских работников. Искусственный интеллект давал правильный ответ только в 49% случаев. Это очень низкий результат. Разумеется, сравнивать его с подбрасыванием монетки не стоит (так как возможных вариантов больше двух), но ответы ИИ все равно расстраивают. О доминировании ChatGPT говорить пока что рано.

Впрочем, ученые все равно не расстраиваются. ChatGPT, например, может иметь важное значение для обучения начинающих врачей благодаря доступу к сотням терабайт медицинских данных. Поэтому его рано списывать со счетов, отказываясь от внедрения ИИ в медицину.

Но есть и еще нюансы. Первый касается выбора заболеваний для исследования эффективности. Речь шла о достаточно неочевидных случаях, которые могут представлять сложность даже для специалистов с опытом. Поэтому нельзя сказать, что ИИ совсем уж плох. Он наверняка способен диагностировать популярные заболевания с большей точностью.

Второй нюанс связан с тем, что тестирование проходила ChatGPT 3.5. Это модель искусственного интеллекта хороша, но ее уже давно превзошли. Тот же ChatGPT-4 и 4o обладают куда большими способностями и наверняка бы показали лучшие результаты. Не стопроцентную точность, но и не 49%. Поэтому списывать ИИ со счетов очень рано: он имеет все шансы превзойти врачей в точности определения диагноза в течение пары лет.

Источник