← Каталог

· AI Engineer World's Fair 2025

Как создавать работающие AI-продукты

Building AI Products That Actually Work

Надёжность AI-продукта растёт не из офлайн evals и LLM-судей, а из сигналов реального использования и цикла итераций по ним.

  • Сигналы вместо evals — офлайн evals ловят только уже известные проблемы, а LLM-судьи, по словам спикера, в большинстве случаев не работают. Лучшие команды, по его словам, опираются на курируемые датасеты и evals с автоматической проверкой результата.
  • Явные и неявные сигналы — помимо thumbs up и thumbs down полезны копирование части ответа, регенерация, ошибки, отказы и признаки раздражения пользователя. Кластеризация неявных сигналов показывает конкретные проблемы: например, раздражение людей, которые пытаются искать твиты через Grok.
  • Trellis как цикл для хаотичного вывода — запуск MVP, классификация пользовательских интентов, превращение их в workflow с предсказуемыми шагами, приоритизация и углубление в сбои внутри каждого workflow. По словам спикера Oleve, так изменения в одном workflow не ломают соседние.
  • Приоритизация не только по объёму — объём, умноженный на долю негативных оценок, даёт лучший ориентир, чем объём сам по себе. Если для улучшения нужно обучать foundation model, ожидаемый прирост, по оценке спикера, близок к нулю, и такой workflow лучше отложить.

Кому полезно: тем, кто выводит LLM-продукт к массовым пользователям и не знает, какие сбои чинить первыми.

Статья по теме

Главы

Ещё доклады: Ben Hylak

Страница спикера →

Ещё доклады: Sid Bendre

Страница спикера →

Похожие доклады