← Каталог

· AI Engineer Summit 2025

Уроки создания приложений на основе GenAI

Lessons from building GenAI based applications — Juan Peredo

Продакшен-приложение на LLM упирается в стоимость, задержку и отладку, и решают их выбор модели, промпты вне кода и трассировка агентов.

  • Стоимость агентов — расходы растут линейно с каждым пользователем и каждым tool call. По расчёту спикера, агент колл-центра на 3000 звонков в день с 15 вызовами на звонок обходится примерно в 300 тысяч долларов в месяц на OpenAI o1 и около 50 тысяч на Llama 3.3 70B.
  • Скорость вывода — по словам спикера, Cerebras и Groq отдают Llama 3.1 70B больше тысячи токенов в секунду, а часть провайдеров около 30. Параллельные вызовы и ветвление в агенте сокращают ожидание пользователя.
  • Промпты вне кода — хранение промптов в LangChain Hub позволяет экспертам предметной области править их без правок кода. Новая версия модели может сломать старый промпт, поэтому его нужно перепроверять.
  • Трассировка агентов — спикер описывает сбой, который проявился только на сотом запуске: пользователь ввёл «john» в нижнем регистре. Трассировка с входами, выходами и ошибками каждого вызова быстро показала причину, а исправление свелось к указанию в промпте игнорировать регистр.

Кому полезно: тем, кто выводит агентов с несколькими вызовами LLM в продакшен и считает бюджет на инференс.

Статья по теме

Главы

Похожие доклады