Anthropic для вице-президентов по AI
Anthropic for VPs of AI
Evals нужно писать до сборки workflow: без них нельзя проверить ни промпт, ни архитектуру, а fine-tuning стоит оставлять на последний шаг.
- Evals раньше архитектуры — спикеры советуют включать в eval-набор нерелевантные вопросы, например, как убить зомби в Minecraft, чтобы проверить, что модель отвечает уместно или перенаправляет запрос. Представительную выборку нужно собрать до выкатки, иначе продакшен покажет выбросы, которых не ждали.
- Компромисс между качеством, стоимостью и latency задаётся заранее — для поддержки, по словам спикеров, ответ дольше примерно десяти секунд приводит к уходу пользователя, а финансовому аналитику минуты допустимы. Задержку иногда можно скрыть через UX, например показывая промежуточный индикатор.
- Fine-tuning в последнюю очередь — дообучение, по их словам, ограничивает рассуждения модели в других областях. Сначала стоит попробовать prompt caching, которое, по их данным, снижает стоимость на 90% и ускоряет ответ на 50%, а также contextual retrieval.
- Кейс Intercom Fin — двухнедельный спринт сравнил самый сложный промпт агента с версией, которую помогли написать; после двух месяцев оптимизации, по словам авторов, Fin 2 решает до 86% обращений поддержки. Доклад во многом презентация Anthropic, но практическая часть про evals и метрики применима к любому стеку.
Кому полезно: тем, кто выводит LLM-агентов поддержки или аналитики в продакшен и решает, что тестировать и настраивать первым.
Статья по теме
Главы
Похожие доклады
OpenAI для руководителей AI-направлений
Toki Sherbakov, Prashant Mital
AI Engineer Summit 2025
Близко по содержанию
Как Anthropic создаёт продукты: уроки Labs
AI Engineer World's Fair 2026
Близко по содержанию
Зачем нужна интерпретируемость ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Поворот к ИИ
Brittany Walker, Bryan Bischof, Chris White
AI Engineer Summit 2023
Близко по содержанию


