← Каталог

Всё сводится к токенам: чем отличаются RLM

It’s Tokens All The Way Down: How RLMs are Different — Kevin Madura, AlixPartners

Рекурсивные языковые модели (RLM) решают задачи на объёмах за пределами контекстного окна, потому что держат вход в REPL-переменных и возвращают в контекст только нужные результаты.

  • Вход как переменная — модель пишет код в Python REPL и работает с документами и таблицами напрямую, поэтому в контекст не попадает сырой текст и цепочка JSON-ответов инструментов.
  • Делегирование подзадач — субвызовы идут к той же или другой модели, а модель сама решает, когда остановиться, и отдаёт результат через submit с типами, заданными заранее.
  • Где выигрывает — на больших или раскладываемых на части задачах, например в логах, инвойсах и кодовой базе; по словам автора, на BrowseComp RLM точнее и дешевле, чем tool calling с BM25.
  • Открытые реализации — predict-rlm работает с PDF и таблицами и использует DSPy для схем между главной моделью и субвызовами; Halo применяет RLM к трейсам агентов, чтобы улучшать harness.

Кому полезно: тем, кто обрабатывает документы или код объёмом больше контекстного окна и устал от чанкинга и эмбеддингов.

Статья по теме

Главы

Ещё доклады: Kevin Madura

Страница спикера →

Похожие доклады