ИИ-инструменты для программирования — такие как Cursor и GitHub Copilot — за последние годы стали играть важную роль в рабочем процессе многих разработчиков. Они упрощают написание кода, автоматически исправляют ошибки и тестируют изменения. Но действительно ли эти инструменты ускоряют работу профессиональных программистов?
В ходе эксперимента исследователи METR привлекли 16 опытных разработчиков и поручили им выполнить 246 реальных задач из проектов, над которыми они уже работали. Задания случайным образом делились на две группы: с разрешённым использованием ИИ и без него. Основным инструментом в исследовании был Cursor Pro — один из самых продвинутых на сегодняшний день кодинговых ассистентов.
Перед началом эксперимента участники предположили, что ИИ сократит время выполнения задач на 24%. Однако результаты оказались противоположными: при использовании ИИ задачи выполнялись на 19% дольше.
Интересно, что лишь 56% участников имели опыт работы с Cursor до начала эксперимента. Несмотря на то что почти все разработчики (94%) ранее использовали веб-интерфейсы LLM в своей работе, для многих это было первое взаимодействие именно с Cursor.
Исследователи подчёркивают: они не делают категоричных выводов о неэффективности ИИ в целом. Наоборот, ранее METR отмечала прогресс ИИ в решении сложных задач, и, по мнению авторов, результаты аналогичного исследования спустя три месяца могли бы быть совсем другими.
Среди причин замедления работы — длительное формулирование запросов к ИИ, ожидание отклика и неидеальная работа в сложных, разветвлённых кодовых базах.
Источник: TechCrunch
