← Каталог

· AI Engineer World's Fair 2025

Создание надежных support agents с библиотекой Effect для TypeScript

Building Reliable Support Agents Using the Effect TypeScript Library - Michael Fester

Effect и TypeScript, по словам спикера, делают агентов поддержки 14.ai предсказуемыми: DI и failover между LLM-провайдерами упрощают тестирование и отказоустойчивость.

  • Failover между моделями — если провайдер падает, запрос уходит к модели с похожими характеристиками, например с GPT-4o mini на Gemini 2.0 Flash для tool calling. Retry-политики хранят состояние, поэтому уже упавший провайдер повторно не вызывается.
  • Дублирование токен-стрима — ответ одновременно отправляется пользователю и пишется в хранилище для аналитики. По словам спикера, на Effect это делается очень просто.
  • DI для тестов — LLM-провайдеры подменяются моками, чтобы имитировать сбои, без изменения внутренней логики системы. Зависимости проверяются на уровне типов уже при компиляции.
  • Цена подхода — кривая обучения крутая, а отслеживать, где предоставляются сервисы, в больших системах с несколькими слоями трудно. Внедрять Effect можно постепенно, начиная с одного сервиса или эндпоинта.

Кому полезно: тем, кто выводит агентов на LLM в продакшен на TypeScript и хочет закрыть retry, failover и тестирование недетерминированных моделей.

Статья по теме

Главы

Похожие доклады