Метрики: как понять, что стало лучше

Через месяц после внедрения руководство спросит: «Ну что, стало быстрее?» Ответ «команда довольна» не подойдёт, а число смёрженных MR может ввести в заблуждение. В этом уроке — что известно из исследований о влиянии ИИ на скорость и качество, какие рамки помогают выбрать метрики и какой набор подходит команде агентства.

Чему учат исследования METR

METR провела два исследования на опытных разработчиках открытого ПО, работающих в своих репозиториях. Их стоит знать точно, потому что их часто пересказывают с искажениями.

Исследование 2025 года (METR, июль 2025). 16 опытных разработчиков, 246 реальных задач в крупных зрелых репозиториях, каждая задача случайно назначалась «с ИИ» или «без ИИ». Инструменты — в основном Cursor Pro с моделями Claude 3.5/3.7 Sonnet. С ИИ задачи занимали на 19% больше времени. До начала участники ожидали ускорения на 24%, а после — всё ещё считали, что ускорились на 20%. METR прямо оговаривала, что не утверждает, будто ИИ замедляет большинство разработчиков или что лучших способов использования не существует.

Обновление 2026 года (METR, февраль 2026). 57 разработчиков, 143 репозитория, больше 800 задач, инструменты конца 2025 года. Точечные оценки показывают ускорение: −18% времени у вернувшихся участников первого исследования (доверительный интервал от −38% до +9%) и −4% у новых (от −15% до +9%). Все интервалы включают ноль. Сильный эффект отбора: часть разработчиков отказывалась участвовать, не желая работать без ИИ, от 30% до 50% участников не отдавали в исследование некоторые задачи по той же причине. METR считает оценку скорее нижней границей и называет свои данные лишь очень слабым свидетельством о размере ускорения. Результаты 2025 года METR теперь помечает как устаревшие.

Что из этого берёт тимлид:

• Самооценкам верить нельзя. Ощущение ускорения и измеренное время расходились в обе стороны. METR отдельно пишет, что самооценки бывают очень ненадёжны.
• Время задачи плохо мерить при параллельных агентах. В обновлении METR отмечает, что учёт времени ломается, когда разработчик ведёт несколько агентов одновременно или занимается другим, пока агент работает.
• Нужна база и сравнение. Без измерений «до» любые цифры «после» — мнение.

Что говорит DORA

Отчёт DORA 2025 года — опрос почти 5000 специалистов (Google Cloud). 90% опрошенных используют ИИ в работе. В отличие от предыдущего года, авторы видят положительную связь внедрения ИИ с пропускной способностью поставки и с результатами продукта. Но связь со стабильностью поставки по-прежнему отрицательная. 30% опрошенных мало или совсем не доверяют коду, сгенерированному ИИ. Главный тезис отчёта: ИИ не чинит команду, а усиливает то, что в ней уже есть.

Для агентства это значит: если у команды слабые тесты и хаотичный релизный процесс, агент ускорит и хаос. Смотреть надо одновременно на скорость и на стабильность.

Рамки, которые помогают выбрать метрики

DORA — четыре классические метрики поставки: частота деплоев, время от коммита до продакшена, доля неудачных изменений, время восстановления после сбоя. Первые две — про скорость, вторые — про стабильность. Именно вторые первыми покажут, если агент добавляет скрытые дефекты.

SPACE (ACM Queue, 2021) — пять измерений продуктивности: удовлетворённость и благополучие, результативность, активность, коммуникация и совместная работа, эффективность и поток. Главная мысль авторов — продуктивность не сводится к одной метрике; берите показатели минимум из нескольких измерений.

DX AI Measurement Framework (DX) — три измерения специально для ИИ-инструментов: использование, влияние, стоимость. Например: доля активных пользователей, доля MR с участием ИИ, сэкономленное время по опросам, удовлетворённость.

Набор метрик для команды агентства

Аналитику использования администратор видит в панели рабочего пространства и через Analytics API (workspace analytics). Документация предупреждает, что категории и поля там могут меняться без уведомления, поэтому не стройте долгосрочный отчёт на подписях панели.

Сравнивайте по классам задач и с базовой линией из пилота: «баги с воспроизведением» и «новые интеграции» ведут себя совершенно по-разному.

Метрики, которые вредят

• Строки кода и число MR. Агент легко увеличит и то и другое. Это активность, а не результат.
• Доля кода, написанного ИИ, как цель. Как только показатель становится целью, его начинают накручивать, а качество остаётся без присмотра.
• Скорость отдельного разработчика. Сравнение людей по числу закрытых задач подталкивает отдавать агенту всё подряд и экономить на проверке.
• Сэкономленные часы по ощущениям. См. выше про самооценки.

Метрики нужны команде, чтобы улучшать процесс, а не для оценки людей. Если сказать это вслух в начале, данные будут честнее.

Как отчитываться

Вместо одной цифры давайте руководству короткую картину: что изменилось в потоке, что в качестве, что говорит команда, где эффекта нет. Чужие цифры — кейсы вендоров, исследования — приводите только с источником и оговорками. Разговор на уровне компании — что измерять и как не обмануться — продолжается в уроке «Эффект: что измерять».