← Каталог

· AI Engineer World's Fair 2025

2025-й — год evals! Как и 2024-й, 2023-й и дальше…

2025 is the Year of Evals! Just like 2024, and 2023, and …

Оценка и мониторинг агентных систем становятся условием покупки: агенты выходят в продакшен, а бюджеты крупных компаний привязаны к бизнес-метрикам и измеримым рискам.

  • Метрики в единицах CFO — по словам спикера, enterprise-продукт покупают, когда его можно связать с сэкономленными или заработанными деньгами, поэтому оценку стоит выражать через бизнес-KPI, а не через скор модели.
  • Количественная оценка риска — CISO быстрее выделяют деньги на guardrails против галлюцинаций и prompt injection, а риск нельзя обосновать перед руководством без измеримых оценок.
  • Эксперт рядом с агентом — для задач вроде DCF-анализа спикер советует держать специалиста в контуре проверки; по его словам, это дорого, но окупается там, где ошибка стоит денег или работы. Датасеты и среды для оценки, по его мнению, становятся главным преимуществом.
  • LLM-as-a-judge нужно сверять с людьми — судьи на базе LLM дешевле разметки людьми, но, по данным статьи, которую упоминает спикер, у них есть смещения, например в сторону краткости и полезности.

Кому полезно: техлидам, которым нужно обосновать бюджет на evals перед финансовым или security-руководством; техники здесь немного, это доклад о рынке и покупателях.

Статья по теме

На какие вопросы отвечает доклад

Главы

Похожие доклады