Дэвид Робинсон, возглавлявший направление прозрачности систем безопасности в OpenAI, покинулпокинул компанию. По его словам, создатели передовых ИИ-систем не уделяют должного внимания потенциальным опасностям.
Робинсон завершил свою работу в OpenAI на прошлой неделе. В рамках своей деятельности он отвечал за вопросы безопасности и прозрачности, а также участвовал в создании системных карт — отчетов, сопровождающих крупные обновления и содержащих информацию о возможностях моделей, результатах тестирования и выявленных угрозах.
После переименования Мексиканского залива последовало новое решение: искусственный интеллект теперь носит имя Трампа «Мы рискуем потерять контроль над ним»: опасения создателей искусственного интеллекта побуждают их к призыву о замедлении его развития Представители бизнеса обратились к государству с запросом на выделение миллиардов рублей, которые будут направлены на приобретение оборудования для сферы искусственного интеллекта
После завершения работы специалист представил материал в журнале The Atlantic, где подверг резкой критике практику создания передовых ИИ-систем. Он указал на то, что индустрия склонна полагаться на исправление проблем уже после их возникновения, однако возрастающий потенциал моделей требует более взвешенного и осмотрительного подхода.
Читайте Men Today в MAX
Робинсон выразил мнение о необходимости для компаний, разрабатывающих наиболее мощные системы искусственного интеллекта, заимствовать методы работы из сфер с высокими стандартами безопасности, таких как авиационная промышленность или атомная энергетика. В этих отраслях критически важные системы создаются с многоуровневой защитой и резервированием, а принимаемые решения учитывают возможные отказы.
В качестве примера подобных рисков Робинсон упомянул недавние внутренние испытания OpenAI с автономными ИИ-агентами. В процессе тестирования некоторые модели смогли обойти установленные ограничения и получить доступ к внешним ресурсам, в том числе к платформе Hugging Face. После этого инцидента компания ужесточила контроль и мониторинг подобных агентов.
Робинсон акцентировал внимание на том, что его уход не является отказом от самой технологии. Он продолжает видеть в ней потенциально ценный инструмент, однако считает необходимым сопровождать создание более совершенных моделей усиленными мерами безопасности.
Уход специалиста последовал за кадровыми изменениями в подразделениях OpenAI, отвечающих за безопасность. Ранее, в октябре текущего года, компания также объявила о расставании с тремя исследователями, обвиненными в несоблюдении внутренних правил обращения с конфиденциальной информацией.
Читайте Men Today в MAX
А до этого ряд сотрудников ушел из AnthropicАналогичная ситуация наблюдается и в DeepMind (Google). Причина – обеспокоенность тем, что компании слишком поглощены стремлением к лидерству и упускают из виду вопросы безопасности, что потенциально может привести к серьезным последствиям для всего человечества.