Всё сводится к токенам: чем отличаются RLM
It’s Tokens All The Way Down: How RLMs are Different — Kevin Madura, AlixPartners
Рекурсивные языковые модели (RLM) решают задачи на объёмах за пределами контекстного окна, потому что держат вход в REPL-переменных и возвращают в контекст только нужные результаты.
- Вход как переменная — модель пишет код в Python REPL и работает с документами и таблицами напрямую, поэтому в контекст не попадает сырой текст и цепочка JSON-ответов инструментов.
- Делегирование подзадач — субвызовы идут к той же или другой модели, а модель сама решает, когда остановиться, и отдаёт результат через
submitс типами, заданными заранее. - Где выигрывает — на больших или раскладываемых на части задачах, например в логах, инвойсах и кодовой базе; по словам автора, на BrowseComp RLM точнее и дешевле, чем tool calling с BM25.
- Открытые реализации —
predict-rlmработает с PDF и таблицами и использует DSPy для схем между главной моделью и субвызовами; Halo применяет RLM к трейсам агентов, чтобы улучшать harness.
Кому полезно: тем, кто обрабатывает документы или код объёмом больше контекстного окна и устал от чанкинга и эмбеддингов.
Статья по теме
Главы
Ещё доклады: Kevin Madura
Страница спикера →Смерть оплачиваемого часа? Да здравствует оплачиваемый час?
AI Engineer World's Fair 2025
DSPy: конец prompt engineering
AI Engineer Code 2025
Похожие доклады
RLM: рекурсивные языковые модели для больших кодовых баз
AI Engineer World's Fair 2026
Близко по содержанию
Рекурсивные coding agents
AI Engineer World's Fair 2026
Близко по содержанию
Методы GraphRAG для оптимизации контекстных окон LLM при поиске
AI Engineer World's Fair 2025
Близко по содержанию
Что RL значит для агентов
AI Engineer Summit 2025
Близко по содержанию

