← Каталог

· AI Engineer World's Fair 2025

Разрыв между созданием и эксплуатацией: как связать видение продукта с реальностью работы AI

The Build-Operate Divide: Bridging Product Vision and AI Operational Reality

Хороший AI-прототип застревает между первой и второй версией: выйти на надёжный V2 можно только быстрым циклом оценок и ручной проверки, которым управляет ops-команда.

  • Скорость итераций определяет качество — по словам авторов, качество продукта напрямую зависит от того, как часто команда проходит цикл: мониторинг, эксперименты, тестирование, оценка и ручная проверка.
  • Человек в точках решения — при нехватке людей проверку стоит ставить там, где ошибка рискованна, например в здравоохранении; каждая правка человека становится сигналом для улучшения модели.
  • QA и CX как AI-операторы — команды контакт-центров уже умеют оценивать разговоры в масштабе и находить edge cases, поэтому они пишут критерии оценки, размечают выходы и тестируют промпты.
  • Запуск не финиш — отслеживайте галлюцинации и влияние на метрики, а golden sets собирайте вместе с ops и CX-командами с самого начала.

Кому полезно: тем, кто вывел GenAI-функцию в продакшен и видит, что после запуска качество не растёт.

Статья по теме

Главы

Ещё доклады: Jeremy Silva

Страница спикера →

Похожие доклады