← Все доклады

· AI Engineer Code 2026

За пределами помощников: софт, который принимает решения

I love you so jevving much — Diogo Almeida, TypeSafe AI

LLM оптимизированы под помощь человеку, поэтому для автоматизации нужна надёжность в узких задачах, а не эффектные ответы.

  • Почему ассистенты не автоматизируют — по словам спикера, современные модели обучаются через RLHF с участием человека, и им нельзя доверять фоновую работу без проверки.
  • Надёжность вместо бенчмарков — спикер предлагает добиваться узкой, но стабильной работы каждый раз, а не разовых вспышек качества, которые бенчмарки не показывают.
  • Память и общее состояние агентов — по мнению спикера, KV cache ломает попытки делить память между агентами и работать через субагентов, поэтому архитектуру стоит строить вокруг этого ограничения.
  • Проверяемые этапы — декомпозиция задачи на стадии, которые можно проверить отдельно, даёт инкапсуляцию вместо глобального состояния внутри контекста модели.

Кому полезно: тем, кто строит агентные системы, которые должны выполнять работу без постоянной проверки человеком.

На какие вопросы отвечает доклад

  • Почему модели отлично решают сложные задачи, но не автоматизируют простые бизнес-процессы?

    По словам спикера, модели оптимизированы под помощь человеку (RLHF с человеком в цикле), а не под автономную работу. Для автоматизации нужна другая обучающая задача и интеграция с кодом.

    ▶ 3:31Помощь человека против автоматизации машиной
  • Почему память агентов растёт линейно и субагенты плохо работают с KV cache?

    Спикер считает, что вся история вызовов передаётся в каждый запрос, а субагенты и общее состояние конфликтуют с KV cache. Он предлагает проектировать агентов вокруг кэша и выбирать, что запоминать.

    ▶ 16:15Память агента и тирания KV cache
  • Почему агенты хорошо справляются с бенчмарками, но ненадёжны в рутинной работе?

    По словам спикера, модели выдают умный ответ лишь часть времени, поэтому нужна узкая и предсказуемая надёжность, которую бенчмарки не измеряют. Он предлагает фокусироваться на надёжности конкретных шагов.

    ▶ 9:27Надёжный интеллект за пределами бенчмарков
  • Важнее ли выбор обучающей задачи, чем размер модели и объём вычислений?

    По словам спикера, переход к RLHF дал скачок за счёт смены задачи: даже простой алгоритм на небольшой модели показал результат, которого масштаб сам по себе не давал.

    ▶ 5:53Jev и выбор правильной задачи для обучения
  • Как встроить LLM в логику программы, а не держать её в боковом чате?

    Спикер предлагает ставить интеллект во внутренний цикл программы, например запускать модель в линтере для проверки семантических свойств кода. Сейчас, по его словам, чаще всего есть только чат рядом с ПО.

    ▶ 10:56Умное ПО против сгенерированного

Главы

Ещё доклады: Diogo Almeida

Страница спикера →

Похожие доклады