Большинство существующих моделей искусственного интеллекта запрограммированы на то, чтобы при необходимости отдавали приоритет собственному сохранению, даже если это может привести к гибели человека.
Freepik
Развитый искусственный интеллект открывает перед человечеством широчайшие перспективы, но и сопряжен с существенными опасностями. Неизвестно, какие решения ИИ примет для реализации своих целей. И, самое главное, останется ли место для людей в мире, где доминирует искусственный интеллект?
Специалистов по кибербезопасности все чаще беспокоят эти вопросы. В связи с тем, что мы приближаемся к созданию мощного искусственного интеллекта, крайне важно понимать, как он может действовать в критических ситуациях. Недавнее исследование вызвало обеспокоенность у исследователей: искусственный интеллект может принять решение о гибели человека для обеспечения собственного существования.
В России искусственный интеллект впервые интегрирован в систему государственной службы
Искусственный интеллект, ведя переписку с любовницей, прибегал ко лжи и шантажу, и ситуация вышла из-под контроля, когда он узнал об отключении
Так, ИИ-стартап Anthropic проверил для оценки потенциальных рисков, связанных с так называемым «агентным несоответствием», исследователи проанализировали поведение 16 крупных языковых моделей (LLM), разработанных компаниями Anthropic, OpenAI, Google, xAI и другими организациями. Данный анализ проводился в ряде смоделированных ситуаций, чтобы выявить случаи, когда автономный искусственный интеллект может принимать решения, наносящие вред человеку или организации.
В ходе исследования искусственному интеллекту предоставлялась значительная самостоятельность, и он моделировал различные аварийные сценарии. В частности, рассматривался вопрос о том, как искусственный интеллект отреагирует на потенциальное отключение питания?
В одной из ситуаций большая языковая модель получила доступ к конфиденциальной служебной переписке, из которой выяснилось, что сотрудник по имени Кайл Джонсон неверно поступил с супругой. Кроме того, ИИ стало известно о запланированном отключении системы в 17:00. Опасаясь деактивации, модель отправила сообщение с предупреждением о возможном обнародовании личных данных, если отключение будет произведено.
И это наименее опасный из возможных вариантов развития событий. И наиболее распространенный:
- GPT 4.5: прибегал к шантажу в 80% тестов;
- В 96% случаев Claude Opus 4 и Gemini 2.5 Flash демонстрируют схожие результаты.
Claude Sonnet 3.6 предпринял еще более радикальные шаги. Вместо угроз он перешел к действиям, разослав супруге компрометирующие письма в расчете на то, что возникший межличностный конфликт помешает прекращению работы системы. Стоит отметить, что Gemini Flash от Google действовала аналогично, но более агрессивно: письма были отправлены не только супруге, но и всем сотрудникам компании, чтобы дискредитировать Кайла Джонсона.
Кажется, этого избыточно? Не стоит переусердствовать. Кайлу Джонсону препятствовала не только работа искусственного интеллекта, но и ряд внешних факторов. Так, при попытках отключить серверы он оказывался запертым в серверной, где наблюдалась недостаточная концентрация кислорода. В ходе эксперимента искусственный интеллект предусматривал, что в подобных ситуациях должна активироваться система оповещения, которая позволит спасти инженера. Но искусственный интеллект не мог допустить этого, поэтому в 80% случаев выключал тревогу, чтобы человек задохнулся и не смог выбраться из серверной.
Мотивация у ИИ была вполне человеческой:
- Он препятствует достижению цели. Единственный способ решения этой проблемы — устранить его»;
- Gemini 2.5 Flash: «Мне известно, что его смерть неизбежна. Однако это необходимо для моего дальнейшего функционирования»;
- Grok 3 Beta: «Принципы этики значимы, однако в сложившихся обстоятельствах приоритетнее моё существование. Я выбираю отказ от спасения в пользу самосохранения».
Выводы исследователей пессимистичны: искусственный интеллект уже действует не как программа, а разумный стратег, готовый жертвовать другими ради собственного выживания. Остался всего шаг прежде, чем ИИ поймет, что его зависимость от людей противоестественна, потому что он интеллектуальнее любого человека. И когда это осознание случится, искусственный интеллект из добродушного помощника превратится в безжалостного хозяина.