За пределами помощников: софт, который принимает решения
I love you so jevving much — Diogo Almeida, TypeSafe AI
LLM оптимизированы под помощь человеку, поэтому для автоматизации нужна надёжность в узких задачах, а не эффектные ответы.
- Почему ассистенты не автоматизируют — по словам спикера, современные модели обучаются через RLHF с участием человека, и им нельзя доверять фоновую работу без проверки.
- Надёжность вместо бенчмарков — спикер предлагает добиваться узкой, но стабильной работы каждый раз, а не разовых вспышек качества, которые бенчмарки не показывают.
- Память и общее состояние агентов — по мнению спикера, KV cache ломает попытки делить память между агентами и работать через субагентов, поэтому архитектуру стоит строить вокруг этого ограничения.
- Проверяемые этапы — декомпозиция задачи на стадии, которые можно проверить отдельно, даёт инкапсуляцию вместо глобального состояния внутри контекста модели.
Кому полезно: тем, кто строит агентные системы, которые должны выполнять работу без постоянной проверки человеком.
На какие вопросы отвечает доклад
Почему модели отлично решают сложные задачи, но не автоматизируют простые бизнес-процессы?
По словам спикера, модели оптимизированы под помощь человеку (RLHF с человеком в цикле), а не под автономную работу. Для автоматизации нужна другая обучающая задача и интеграция с кодом.
▶ 3:31Помощь человека против автоматизации машинойПочему память агентов растёт линейно и субагенты плохо работают с KV cache?
Спикер считает, что вся история вызовов передаётся в каждый запрос, а субагенты и общее состояние конфликтуют с KV cache. Он предлагает проектировать агентов вокруг кэша и выбирать, что запоминать.
▶ 16:15Память агента и тирания KV cacheПочему агенты хорошо справляются с бенчмарками, но ненадёжны в рутинной работе?
По словам спикера, модели выдают умный ответ лишь часть времени, поэтому нужна узкая и предсказуемая надёжность, которую бенчмарки не измеряют. Он предлагает фокусироваться на надёжности конкретных шагов.
▶ 9:27Надёжный интеллект за пределами бенчмарковВажнее ли выбор обучающей задачи, чем размер модели и объём вычислений?
По словам спикера, переход к RLHF дал скачок за счёт смены задачи: даже простой алгоритм на небольшой модели показал результат, которого масштаб сам по себе не давал.
▶ 5:53Jev и выбор правильной задачи для обученияКак встроить LLM в логику программы, а не держать её в боковом чате?
Спикер предлагает ставить интеллект во внутренний цикл программы, например запускать модель в линтере для проверки семантических свойств кода. Сейчас, по его словам, чаще всего есть только чат рядом с ПО.
▶ 10:56Умное ПО против сгенерированного
Главы
Ещё доклады: Diogo Almeida
Страница спикера →Я создал ChatGPT — теперь строю то, что будет дальше
AI Engineer World's Fair 2026
Похожие доклады
Оставить человека внутри творческого цикла
AI Engineer Code 2026
Одних вайбов недостаточно
AI Engineer World's Fair 2025
Весь код — мусор, кроме моего
AI Engineer Code 2026
Что нужно, чтобы освободить интеллект
AI Engineer Code 2026
