Новое исследование, проведенное некоммерческой группой METR (Model Evaluation & Threat Research), ставит под вопрос заявления о том, что инструменты на основе искусственного интеллекта, такие как Cursor и GitHub Copilot, значительно повышают производительность разработчиков. В ходе рандомизированного эксперимента с участием 16 опытных программистов, которые выполнили 246 реальных задач в крупных репозиториях, были получены неожиданные результаты.
ИИ ускоряет работу? Исследователи выяснили, что с искусственным интеллектом люди наоборот работают медленнее
Все больше компаний увольняют разработчиков и переходят на ИИ. Как оказалось, эта стратегия не всегда выигрышная.
Freepik
Участники исследования предполагали, что использование ИИ-инструментов сократит время выполнения задач примерно на 24%. Однако на практике все оказалось иначе: разработчики, работавшие с инструментами вроде Cursor Pro (которым пользовалась примерно половина участников), затратили на выполнение задач на 19% больше времени. То есть, вместо ускорения работы, ИИ замедлил процесс.
Стоит отметить, что только 56% участников ранее имели опыт работы именно с Cursor, ключевым инструментом исследования. Хотя почти все разработчики (94%) уже использовали языковые модели ИИ в своих рабочих процессах, для некоторых это было первое знакомство с Cursor. Несмотря на предварительное обучение, результаты оказались неутешительными.
Исследователи из METR выдвинули несколько объяснений этому замедлению. Одна из причин — значительное время, которое тратилось на формулировку запросов к ИИ и ожидание его ответов. Это отвлекало разработчиков от непосредственного написания кода. Кроме того, ИИ-инструменты сталкивались с трудностями при работе с большими и сложными базами данных, которые использовались в эксперименте.
Авторы исследования подчеркивают, что их выводы не следует воспринимать как полный отказ от преимуществ ИИ. Они признают, что другие масштабные исследования демонстрируют положительное влияние таких инструментов на производительность. Также отмечается стремительный прогресс в области ИИ, и уже через несколько месяцев результаты могли бы быть другими. Способности ИИ-инструментов решать сложные задачи действительно заметно улучшились за последние годы.
Тем не менее, это исследование добавляет важный аргумент к дискуссии о реальной пользе ИИ-инструментов для разработки. Как известно, такие системы могут вносить ошибки или даже создавать уязвимости в безопасности. Поэтому, несмотря на обещания увеличения скорости работы, разработчикам не стоит ожидать мгновенных результатов от внедрения ИИ в свои процессы.
А работодателям следует несколько раз подумать прежде, чем отказываться от найма джуниоров. Как показал опыт предыдущей промышленной революции, новые инструменты уничтожают одни профессии, но не снижают заинтересованность в кадрах. Люди будут также важны и нужны. Поэтому лучше иметь под боком профессионалов, чем бегать по рынку труда через пару лет в поисках тех, кто готов кодить совместно с ИИ.
Читайте также
Маск представил умнейшую нейросеть в мире: Grok 4 умеет может заменить ученых и самостоятельно ведет бизнесУченые нашли связь между типом личности и тягой к спорту: узнайте, какие тренировки подходят вамРоботы и искусственный интеллект уничтожат рынок труда к 2045 году: футуролог рассказал, как это будет