Уроки создания приложений на основе GenAI
Lessons from building GenAI based applications — Juan Peredo
Продакшен-приложение на LLM упирается в стоимость, задержку и отладку, и решают их выбор модели, промпты вне кода и трассировка агентов.
- Стоимость агентов — расходы растут линейно с каждым пользователем и каждым tool call. По расчёту спикера, агент колл-центра на 3000 звонков в день с 15 вызовами на звонок обходится примерно в 300 тысяч долларов в месяц на OpenAI o1 и около 50 тысяч на Llama 3.3 70B.
- Скорость вывода — по словам спикера, Cerebras и Groq отдают Llama 3.1 70B больше тысячи токенов в секунду, а часть провайдеров около 30. Параллельные вызовы и ветвление в агенте сокращают ожидание пользователя.
- Промпты вне кода — хранение промптов в LangChain Hub позволяет экспертам предметной области править их без правок кода. Новая версия модели может сломать старый промпт, поэтому его нужно перепроверять.
- Трассировка агентов — спикер описывает сбой, который проявился только на сотом запуске: пользователь ввёл «john» в нижнем регистре. Трассировка с входами, выходами и ошибками каждого вызова быстро показала причину, а исправление свелось к указанию в промпте игнорировать регистр.
Кому полезно: тем, кто выводит агентов с несколькими вызовами LLM в продакшен и считает бюджет на инференс.
Статья по теме
Главы
Похожие доклады
Кривая зрелости GenAI (или: вам, вероятно, не нужен fine-tuning)
AI Engineer World's Fair 2024
Близко по содержанию
Как обуздать AI-агентов с помощью evals на основе observability
AI Engineer World's Fair 2025
Близко по содержанию
7 привычек эффективной оценки генеративного ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Ваше LLM-приложение вернуло 200 OK — и всё равно ошиблось
Близко по содержанию

