Основы evals
AI Engineer World's Fair 2025
Загружаем страницу…
Трейсинг, мониторинг, логи и сигналы качества LLM-систем в продакшене, отладка агентов по трейсам.
Спикеры объясняют, чем observability для агентов отличается от традиционной. Агент ломается без исключений в логах, и ошибку видно только по содержанию ответа. Доклады показывают платформы для трейсов, оценки и экспериментов, наблюдаемость AI-агентов от первого трейса до продакшена и уровни автономного управления продакшеном.
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
Трейс - запись одного запроса через систему: какие промпты ушли в модель, какие инструменты вызвал агент, что вернулось, сколько это заняло и стоило. По трейсам видно, на каком шаге агент свернул не туда.
Среди популярных Langfuse, LangSmith, Arize Phoenix и Braintrust, многие команды строят своё решение на OpenTelemetry. Выбор инструмента значит меньше, чем привычка смотреть трейсы регулярно и превращать найденные ошибки в примеры для evals.
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
Anish Agarwal, Matthew Schoenbauer
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
Hariharan Ganesan, Sahil Yadav
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025