Одних векторов недостаточно: гибридный поиск и извлечение данных
AI Engineer World's Fair 2026
Загружаем страницу…
Как измерять качество LLM-систем и держать их в продакшене: evals и бенчмарки, трейсы и мониторинг, инфраструктура и надёжность.
Из всех разделов этот ближе всего к ежедневной работе инженера. Спикеры показывают, как написать первый eval, чем observability для агентов отличается от обычной и как ловить случаи, когда исправление агента ломает что-то ещё. В инфраструктурных докладах разбирают GPU, задержки, базы данных и обучение, которое продолжается после отказа железа.

Бенчмарк тестирует эрудицию голой модели в вакууме, а на бою проверяется живучесть всей системы: сбои внешних API, капризы песочниц, обрывы контекста и непредсказуемые запросы пользователей. К тому же лидерборд замеряет одну фиксированную связку и сильно скачет от запуска к запуску.

Считайте стоимость решённой задачи, а не цену токена: дешёвая модель часто тратит больше. Сначала разнесите расходы по агентам и задачам, потом берегите кэш промпта, подбирайте модель под задачу по evals и ограничивайте циклы агента.
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
Evals - автоматические проверки качества LLM-системы: набор входов, ожидаемое поведение и способ оценки. Оценивает код, человек или другая модель. Evals прогоняют при каждом изменении промпта, модели или кода, как тесты в обычной разработке.
Записывают трейсы: каждый вызов модели и инструмента с входом, выходом, временем и стоимостью. По трейсам ищут ошибки, считают метрики качества и собирают новые примеры для evals.
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
Michael Forrester, Whitney Lee
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
Brandon Callender, Yoni Michael
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026
AI Engineer World's Fair 2026