AI Engineering 201: всё, что нужно вокруг модели
AI Engineer Summit 2023
Загружаем страницу…
Как измерять качество LLM-систем и держать их в продакшене: evals и бенчмарки, трейсы и мониторинг, инфраструктура и надёжность.
Из всех разделов этот ближе всего к ежедневной работе инженера. Спикеры показывают, как написать первый eval, чем observability для агентов отличается от обычной и как ловить случаи, когда исправление агента ломает что-то ещё. В инфраструктурных докладах разбирают GPU, задержки, базы данных и обучение, которое продолжается после отказа железа.

Бенчмарк тестирует эрудицию голой модели в вакууме, а на бою проверяется живучесть всей системы: сбои внешних API, капризы песочниц, обрывы контекста и непредсказуемые запросы пользователей. К тому же лидерборд замеряет одну фиксированную связку и сильно скачет от запуска к запуску.

Считайте стоимость решённой задачи, а не цену токена: дешёвая модель часто тратит больше. Сначала разнесите расходы по агентам и задачам, потом берегите кэш промпта, подбирайте модель под задачу по evals и ограничивайте циклы агента.
AI Engineer Summit 2023
AI Engineer Summit 2023
Reinier van der Leer, Silen Naihin, Toran Bruce Richards
AI Engineer Summit 2023
Evals - автоматические проверки качества LLM-системы: набор входов, ожидаемое поведение и способ оценки. Оценивает код, человек или другая модель. Evals прогоняют при каждом изменении промпта, модели или кода, как тесты в обычной разработке.
Записывают трейсы: каждый вызов модели и инструмента с входом, выходом, временем и стоимостью. По трейсам ищут ошибки, считают метрики качества и собирают новые примеры для evals.
AI Engineer Summit 2023
AI Engineer Summit 2023
Brittany Walker, Bryan Bischof, Chris White
AI Engineer Summit 2023
AI Engineer Summit 2023
AI Engineer Summit 2023
AI Engineer Summit 2023
AI Engineer Summit 2023
AI Engineer Summit 2023
AI Engineer Summit 2023
AI Engineer Summit 2023
AI Engineer Summit 2023