Всё больше организаций сокращают штат разработчиков и внедряют искусственный интеллект. Однако, как выяснилось, такой подход не всегда оказывается эффективным.
Freepik
Новое исследование, проведенное некоммерческой группой METR (Model Evaluation & Threat Research), ставит под вопрос заявления о том, что инструменты на основе искусственного интеллекта, такие как Cursor и GitHub Copilot, значительно повышают производительность разработчиков. В ходе рандомизированного эксперимента с участием 16 опытных программистов, которые выполнили 246 реальных задач в крупных репозиториях, были получены неожиданные результаты.
По мнению участников исследования, применение ИИ-инструментов должно было уменьшить время, необходимое для выполнения задач, приблизительно на 24%. Однако реальный опыт оказался другим: разработчики, использующие такие инструменты, как Cursor Pro (которым воспользовалась около половины участников), тратили на выполнение задач на 19% больше времени. Таким образом, вместо ожидаемого ускорения, ИИ, напротив, замедлил рабочий процесс.
По мнению футуролога, к 2045 году автоматизация и искусственный интеллект приведут к существенным изменениям на рынке труда
Как сохранить свою актуальность на рынке труда в эпоху развития искусственного интеллекта и превратить его в ценный инструмент для достижения профессиональных целей
Следует подчеркнуть, что только у 56% респондентов был предыдущий опыт работы с Cursor, основным инструментом исследования. Хотя подавляющее большинство разработчиков (94%) уже применяли языковые модели искусственного интеллекта в своей работе, для некоторых это стало первым знакомством с Cursor. Предварительное обучение не привело к удовлетворительным результатам.
По мнению ученых из METR, причиной замедления послужило несколько факторов. В частности, существенные затраты времени, необходимые для составления запросов к ИИ и ожидание его ответов. Это отвлекало разработчиков от непосредственного написания кода. Кроме того, ИИ-инструменты сталкивались с трудностями при работе с большими и сложными базами данных, которые использовались в эксперименте.
Исследователи акцентируют внимание на том, что их заключения не следует трактовать как отрицание достоинств искусственного интеллекта. Они признают, что другие крупные исследования показывают положительное воздействие этих инструментов на эффективность работы. Кроме того, указывается на быстрый прогресс в сфере ИИ, и предполагается, что уже в ближайшие месяцы результаты могут измениться. Заметно возросли возможности ИИ-инструментов в решении сложных задач за последние годы.
Несмотря на это, данная работа вносит значительный вклад в обсуждение фактической эффективности ИИ-инструментов, используемых в процессе разработки. Известно, что подобные системы способны допускать ошибки и даже создавать угрозы безопасности. Поэтому, даже принимая во внимание заявления об ускорении работы, разработчикам не следует рассчитывать на немедленные результаты после внедрения ИИ в свои процессы.
Работодателям стоит внимательно взвесить решение об отказе от найма специалистов начального уровня. Опыт, полученный в период прошлой промышленной революции, демонстрирует, что внедрение новых технологий приводит к исчезновению одних профессий, но не уменьшает потребность в персонале. Специалисты по-прежнему будут востребованы. Поэтому разумнее иметь опытных сотрудников, чем через несколько лет искать на рынке тех, кто готов работать с искусственным интеллектом.