· AI Engineer World's Fair 2026
Необычайная эффективность разделения задачи и модели
The Unreasonable Effectiveness of Separating the Task from the Model
Фиксированный контракт входа и выхода позволяет менять модель, промпт и стратегию рассуждений без переписывания остальной программы, а оценки задают, что считать хорошим результатом.
- Задача как функция — DSPy, открытый код на Python, описывает задачу тремя слоями: инструкции, код с ограничениями и примеры хороших результатов, по которым можно оптимизировать программу. Ограничения в коде, например повторный запуск с reasoning при пустом извлечении, выполняются независимо от ответа модели.
- Дешёвая реализация — по словам авторов, при переходе в Shopify с дорогой модели на дешёвую стоимость снизилась в 550 раз, а evals остались теми же.
- Новые техники без смены контракта — рекурсивные языковые модели (RLM) для длинного контекста подключаются одной строкой, сигнатура не меняется, и результат можно проверить на своих данных.
- Оценки из обратной связи — qualitative learning превращает текстовую обратную связь из продакшена и действий пользователей в evals. Авторы называют это исследовательской задачей, а не готовым решением.
Кому полезно: тем, кто строит LLM-пайплайны, которые придётся переносить между моделями, и хочет поддерживать их оценки без переписывания кода.
Статья по теме
Главы
Похожие доклады
DSPy: конец prompt engineering
AI Engineer Code 2025
Близко по содержанию
Оптимизация LLM в страховании с DSPy: за пределами ручной настройки
AI Engineer World's Fair 2024
Близко по содержанию
Новый код: спецификации как источник истины
AI Engineer World's Fair 2025
Та же тема: Спеки и SDD
Как масштабировать evals: за пределами accuracy и similarity
AI Engineer World's Fair 2025
Близко по содержанию


