← Каталог

· AI Engineer Summit 2023

Создание контекстно-ориентированных приложений с рассуждением на LangChain и LangSmith

Building Context-Aware Reasoning Applications with LangChain and LangSmith

Контекст и архитектура рассуждения определяют, насколько предсказуемо ведёт себя LLM-приложение, поэтому его стоит проектировать как инженерную систему, а не как один вызов модели.

  • Четыре способа передать контекст — инструкции в промпте проще всего, с них обычно начинают. Few-shot примеры лучше описания для тона и структурированного вывода, RAG задаёт, на чём строится ответ, а fine-tuning пока на ранней стадии.
  • Выбор архитектуры — цепочки дают контроль над последовательностью шагов, роутеры выбирают ветку или модель, а агенты в цикле лучше обрабатывают неожиданные входы. По словам спикера, Voyager наращивает набор инструментов со временем, а агент сам решает, когда планировать, выполнять и проверять.
  • Отладка промпта в середине цепочки — LangSmith показывает полностью собранный промпт на любом шаге, его можно поправить в интерактивном редакторе и сравнить ответы другого провайдера.
  • Оценка без датасета — спикер советует собирать данные вручную, из продакшен-трафика или генерацией LLM, использовать LLM-assisted evaluation и отслеживать прямую и косвенную обратную связь с A/B тестами.

Кому полезно: инженерам, которые выбирают между цепочкой и агентом и не знают, как проверять промпты на каждом шаге многошаговой системы.

Статья по теме

Главы

Ещё доклады: Harrison Chase

Страница спикера →

Похожие доклады