· AI Engineer World's Fair 2024
Окупаемость AI: зачем нужны eval-фреймворки
The ROI of AI: Why You Need Eval Frameworks
Окупаемость AI-ассистентов для разработки можно оценить с помощью набора практичных фреймворков, если заранее задать критерии успеха.
- A/B-тест скорости — команда делится на группу с инструментом и контрольную группу, затем сравниваются оценки сроков по задачам. По словам спикера, у клиента Palo Alto Networks сроки с Cody сократились на 20–30%.
- Нижняя оценка по вовлечённости — каждое действие в продукте (поиск по коду, чаты, генерация кода) получает консервативную оценку сэкономленного времени, например две минуты на поиск. Для автодополнения, которое срабатывает без участия человека, лучше считать долю принятых подсказок, а не число срабатываний.
- KPI вместо строк кода — метрика «сгенерировано строк» не отражает продуктивность, и спикер говорит, что из-за неё компания теряла сделки. У Leidos отслеживали, сколько времени уходит на вопросы коллегам, фичи, unit-тесты и code review.
- Привязка к стратегическим инициативам — ценность инструмента оценивается по тому, насколько он сдвигает крупную цель, например миграцию с COBOL на Java, и здесь эффект в значительной мере остаётся оценкой руководителя.
Кому полезно: техлидам и руководителям инженерии, которым нужно обосновать бюджет на AI-инструменты перед финансовым отделом.
Статья по теме
Главы
Ещё доклады: Beyang Liu
Страница спикера →Новые навыки работы с coding agents
AI Engineer World's Fair 2025
Как создавать AI-агентов с реальной отдачей для enterprise SDLC
AI Engineer Summit 2025
Amp Code: новое поколение AI-разработки
AI Engineer Code 2025
Похожие доклады
Основы evals
AI Engineer World's Fair 2025
Близко по содержанию
Доказывая альфу: как хедж-фонд измеряет ROI от AI
Близко по содержанию
Руководство разработкой с помощью AI
AI Engineer Code 2025
Близко по содержанию

