· AI Engineer World's Fair 2025
Разрыв между созданием и эксплуатацией: как связать видение продукта с реальностью работы AI
The Build-Operate Divide: Bridging Product Vision and AI Operational Reality
Хороший AI-прототип застревает между первой и второй версией: выйти на надёжный V2 можно только быстрым циклом оценок и ручной проверки, которым управляет ops-команда.
- Скорость итераций определяет качество — по словам авторов, качество продукта напрямую зависит от того, как часто команда проходит цикл: мониторинг, эксперименты, тестирование, оценка и ручная проверка.
- Человек в точках решения — при нехватке людей проверку стоит ставить там, где ошибка рискованна, например в здравоохранении; каждая правка человека становится сигналом для улучшения модели.
- QA и CX как AI-операторы — команды контакт-центров уже умеют оценивать разговоры в масштабе и находить edge cases, поэтому они пишут критерии оценки, размечают выходы и тестируют промпты.
- Запуск не финиш — отслеживайте галлюцинации и влияние на метрики, а golden sets собирайте вместе с ops и CX-командами с самого начала.
Кому полезно: тем, кто вывел GenAI-функцию в продакшен и видит, что после запуска качество не растёт.
Статья по теме
Главы
Ещё доклады: Jeremy Silva
Страница спикера →Развивайте продукты, а не ИИ-проекты в стороне
AI Engineer World's Fair 2025
Похожие доклады
7 привычек эффективной оценки генеративного ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Вкус и мастерство
AI Engineer Europe 2026
Близко по содержанию
Как построить провальную AI-стратегию
AI Engineer Summit 2025
Близко по содержанию
