← Каталог

· AI Engineer Summit 2025

Anthropic для вице-президентов по AI

Anthropic for VPs of AI

Evals нужно писать до сборки workflow: без них нельзя проверить ни промпт, ни архитектуру, а fine-tuning стоит оставлять на последний шаг.

  • Evals раньше архитектуры — спикеры советуют включать в eval-набор нерелевантные вопросы, например, как убить зомби в Minecraft, чтобы проверить, что модель отвечает уместно или перенаправляет запрос. Представительную выборку нужно собрать до выкатки, иначе продакшен покажет выбросы, которых не ждали.
  • Компромисс между качеством, стоимостью и latency задаётся заранее — для поддержки, по словам спикеров, ответ дольше примерно десяти секунд приводит к уходу пользователя, а финансовому аналитику минуты допустимы. Задержку иногда можно скрыть через UX, например показывая промежуточный индикатор.
  • Fine-tuning в последнюю очередь — дообучение, по их словам, ограничивает рассуждения модели в других областях. Сначала стоит попробовать prompt caching, которое, по их данным, снижает стоимость на 90% и ускоряет ответ на 50%, а также contextual retrieval.
  • Кейс Intercom Fin — двухнедельный спринт сравнил самый сложный промпт агента с версией, которую помогли написать; после двух месяцев оптимизации, по словам авторов, Fin 2 решает до 86% обращений поддержки. Доклад во многом презентация Anthropic, но практическая часть про evals и метрики применима к любому стеку.

Кому полезно: тем, кто выводит LLM-агентов поддержки или аналитики в продакшен и решает, что тестировать и настраивать первым.

Статья по теме

Главы

Похожие доклады