← Каталог

· AI Engineer World's Fair 2024

Окупаемость AI: зачем нужны eval-фреймворки

The ROI of AI: Why You Need Eval Frameworks

Окупаемость AI-ассистентов для разработки можно оценить с помощью набора практичных фреймворков, если заранее задать критерии успеха.

  • A/B-тест скорости — команда делится на группу с инструментом и контрольную группу, затем сравниваются оценки сроков по задачам. По словам спикера, у клиента Palo Alto Networks сроки с Cody сократились на 20–30%.
  • Нижняя оценка по вовлечённости — каждое действие в продукте (поиск по коду, чаты, генерация кода) получает консервативную оценку сэкономленного времени, например две минуты на поиск. Для автодополнения, которое срабатывает без участия человека, лучше считать долю принятых подсказок, а не число срабатываний.
  • KPI вместо строк кода — метрика «сгенерировано строк» не отражает продуктивность, и спикер говорит, что из-за неё компания теряла сделки. У Leidos отслеживали, сколько времени уходит на вопросы коллегам, фичи, unit-тесты и code review.
  • Привязка к стратегическим инициативам — ценность инструмента оценивается по тому, насколько он сдвигает крупную цель, например миграцию с COBOL на Java, и здесь эффект в значительной мере остаётся оценкой руководителя.

Кому полезно: техлидам и руководителям инженерии, которым нужно обосновать бюджет на AI-инструменты перед финансовым отделом.

Статья по теме

Главы

Ещё доклады: Beyang Liu

Страница спикера →

Похожие доклады