Как сделать открытые модели в 10 раз быстрее и лучше для современных приложений
Dmytro (Dima) Dzhulgakov, Lin Qiao
AI Engineer World's Fair 2024
Загружаем страницу…
ИИ-агент - программа, в которой языковая модель сама выбирает следующий шаг: вызвать инструмент, прочитать данные, спросить человека или закончить задачу. Раздел о том, как такие системы устроены.
Доклады покрывают агентный цикл и уровни автономии, мультиагентные системы и оркестрацию, контекст и память, инструменты и протоколы вроде MCP и A2A. Спикеры из Anthropic, OpenAI, Google и десятков стартапов показывают архитектуры, которые уже работают в продакшене, и места, где они ломались.

Context window живёт одну сессию. Память делают отдельным слоем: агент пишет факты во внешнее хранилище, а следующая сессия находит нужные через поиск. Устаревшие записи надо помечать и удалять, а если задача помещается в контекст, память не нужна.

Агент - это модель, которая в цикле вызывает инструменты. Начинают с простого: окружение, набор инструментов и системный промпт. Если шаги задачи известны заранее, обычный код или workflow надёжнее и дешевле. Мультиагентные схемы, по опыту спикеров, ломаются на передаче контекста между агентами.

MCP-сервер открывает агенту внешнюю систему: базу данных, трекер ошибок, облако. Протокол общий, поэтому один сервер работает в Claude, Cursor и VS Code. Подключается он строкой в настройках клиента. Но спикеры предупреждают, что сервер, который копирует REST API один к одному, забивает контекст и путает агента.
Dmytro (Dima) Dzhulgakov, Lin Qiao
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Harald Kirschner, Dave Burnison, Alex Malebranche, Christina Warren, Dimitrios Philliou
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Fryderyk Wiatrowski, Peter Albert
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
AI Engineer World's Fair 2024
Это LLM, которой дали инструменты и цикл: модель смотрит на задачу, выбирает действие, видит результат и решает, что делать дальше. Чат-бот отвечает на сообщение. Агент доводит задачу до конца, например исправляет баг или собирает отчёт из нескольких систем.
Минимальный агент состоит из модели, списка инструментов с описаниями и цикла, который выполняет вызовы и возвращает результат модели. Спикеры советуют начинать с одной узкой задачи, сразу добавлять evals и трейсы и усложнять архитектуру, только когда простая перестала справляться.