Загружаем страницу…
Загружаем страницу…
Трейсинг, мониторинг, логи и сигналы качества LLM-систем в продакшене, отладка агентов по трейсам.
Спикеры объясняют, чем observability для агентов отличается от традиционной. Агент ломается без исключений в логах, и ошибку видно только по содержанию ответа. Доклады показывают платформы для трейсов, оценки и экспериментов, наблюдаемость AI-агентов от первого трейса до продакшена и уровни автономного управления продакшеном.
Трейс - запись одного запроса через систему: какие промпты ушли в модель, какие инструменты вызвал агент, что вернулось, сколько это заняло и стоило. По трейсам видно, на каком шаге агент свернул не туда.
Среди популярных Langfuse, LangSmith, Arize Phoenix и Braintrust, многие команды строят своё решение на OpenTelemetry. Выбор инструмента значит меньше, чем привычка смотреть трейсы регулярно и превращать найденные ошибки в примеры для evals.