· AI Engineer World's Fair 2025
Как создавать работающие AI-продукты
Building AI Products That Actually Work
Надёжность AI-продукта растёт не из офлайн evals и LLM-судей, а из сигналов реального использования и цикла итераций по ним.
- Сигналы вместо evals — офлайн evals ловят только уже известные проблемы, а LLM-судьи, по словам спикера, в большинстве случаев не работают. Лучшие команды, по его словам, опираются на курируемые датасеты и evals с автоматической проверкой результата.
- Явные и неявные сигналы — помимо thumbs up и thumbs down полезны копирование части ответа, регенерация, ошибки, отказы и признаки раздражения пользователя. Кластеризация неявных сигналов показывает конкретные проблемы: например, раздражение людей, которые пытаются искать твиты через Grok.
- Trellis как цикл для хаотичного вывода — запуск MVP, классификация пользовательских интентов, превращение их в workflow с предсказуемыми шагами, приоритизация и углубление в сбои внутри каждого workflow. По словам спикера Oleve, так изменения в одном workflow не ломают соседние.
- Приоритизация не только по объёму — объём, умноженный на долю негативных оценок, даёт лучший ориентир, чем объём сам по себе. Если для улучшения нужно обучать foundation model, ожидаемый прирост, по оценке спикера, близок к нулю, и такой workflow лучше отложить.
Кому полезно: тем, кто выводит LLM-продукт к массовым пользователям и не знает, какие сбои чинить первыми.
Статья по теме
Главы
Ещё доклады: Ben Hylak
Страница спикера →Эпоха продуктов без границ: дизайн мультимодального ввода-вывода
AI Engineer World's Fair 2024
Всё, что нужно знать о наблюдаемости AI-агентов
Ben Hylak, Danny Gollapalli, Zubin Koticha
AI Engineer Europe 2026
Создание агентов: важнее надёжный минимум, чем рекордный максимум
AI Engineer World's Fair 2026
Ещё доклады: Sid Bendre
Страница спикера →Новый Lean Startup
AI Engineer World's Fair 2025
Похожие доклады
Основы evals
AI Engineer World's Fair 2025
Близко по содержанию
Ваш AI-продукт обречён, если вы не можете его объяснить
AI Engineer World's Fair 2026
Близко по содержанию

