· AI Engineer World's Fair 2025
2025-й — год evals! Как и 2024-й, 2023-й и дальше…
2025 is the Year of Evals! Just like 2024, and 2023, and …
Оценка и мониторинг агентных систем становятся условием покупки: агенты выходят в продакшен, а бюджеты крупных компаний привязаны к бизнес-метрикам и измеримым рискам.
- Метрики в единицах CFO — по словам спикера, enterprise-продукт покупают, когда его можно связать с сэкономленными или заработанными деньгами, поэтому оценку стоит выражать через бизнес-KPI, а не через скор модели.
- Количественная оценка риска — CISO быстрее выделяют деньги на guardrails против галлюцинаций и prompt injection, а риск нельзя обосновать перед руководством без измеримых оценок.
- Эксперт рядом с агентом — для задач вроде DCF-анализа спикер советует держать специалиста в контуре проверки; по его словам, это дорого, но окупается там, где ошибка стоит денег или работы. Датасеты и среды для оценки, по его мнению, становятся главным преимуществом.
- LLM-as-a-judge нужно сверять с людьми — судьи на базе LLM дешевле разметки людьми, но, по данным статьи, которую упоминает спикер, у них есть смещения, например в сторону краткости и полезности.
Кому полезно: техлидам, которым нужно обосновать бюджет на evals перед финансовым или security-руководством; техники здесь немного, это доклад о рынке и покупателях.
Статья по теме
На какие вопросы отвечает доклад
Как проверить, что мультиагентная система правильно делает финансовый анализ, например DCF-модель?
Спикер предлагает держать эксперта рядом с системой и проводить человеческую валидацию синхронно с агентами. По его словам, создание датасетов и сред для оценки важнее всего и может стать преимуществом перед конкурентами.
▶ 16:13Вопросы аудитории: экспертиза в предметной области и LLM-as-a-judgeМожно ли доверять LLM-судье при оценке ответов агентов?
Спикер говорит, что LLM-судей уже широко используют, но у них есть смещения относительно людей, например в лаконичности и полезности. Поэтому их нужно валидировать и проверять, не уходят ли оценки в сторону систематической ошибки.
▶ 16:13Вопросы аудитории: экспертиза в предметной области и LLM-as-a-judgeКак обосновать бюджет на оценку LLM-систем перед финансовым директором?
Оценку нужно связывать с бизнес-KPI: снижением рисков, выручкой или сокращением потерь. Финансовому директору нужны числа, и часть этих чисел должна приходить из количественной оценки системы.
▶ 10:14Количественная оценка рисков, безопасность и мониторинг мультиагентных системНужно ли мониторить всю мультиагентную систему или достаточно следить за моделью каждого агента?
По словам спикера, мониторить нужно всю систему, а не одну модель, которую использует отдельный агент. Компании, работающие с мониторингом, уже перешли к мониторингу агентных и мультиагентных систем.
▶ 10:14Количественная оценка рисков, безопасность и мониторинг мультиагентных систем
Главы
Похожие доклады
Как обеспечить надежную работу AI-агентов: фреймворки оценки для масштабирования
AI Engineer Summit 2025
Близко по содержанию
Когда закончится эпидемия бенчмаксинга?
AI Engineer World's Fair 2026
Близко по содержанию
Оценить оценщика: как создавать действительно работающие LLM-оценщики с GEPA
AI Engineer Europe 2026
Близко по содержанию
Будущее evals: от LLM-as-a-judge к агенту-судье
AI Engineer World's Fair 2026
Близко по содержанию

