Реальная отдача: уроки компаний, успешно внедривших LLM
AI Engineer World's Fair 2024
Загружаем страницу…
Трейсинг, мониторинг, логи и сигналы качества LLM-систем в продакшене, отладка агентов по трейсам.
Спикеры объясняют, чем observability для агентов отличается от традиционной. Агент ломается без исключений в логах, и ошибку видно только по содержанию ответа. Доклады показывают платформы для трейсов, оценки и экспериментов, наблюдаемость AI-агентов от первого трейса до продакшена и уровни автономного управления продакшеном.
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Трейс - запись одного запроса через систему: какие промпты ушли в модель, какие инструменты вызвал агент, что вернулось, сколько это заняло и стоило. По трейсам видно, на каком шаге агент свернул не туда.
Среди популярных Langfuse, LangSmith, Arize Phoenix и Braintrust, многие команды строят своё решение на OpenTelemetry. Выбор инструмента значит меньше, чем привычка смотреть трейсы регулярно и превращать найденные ошибки в примеры для evals.
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Charles Frye, Eugene Yan, Jason Liu, Hamel Husain, Dr Bryan Bischof, Shreya Shankar
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024