← Каталог

· AI Engineer World's Fair 2026

Необычайная эффективность разделения задачи и модели

The Unreasonable Effectiveness of Separating the Task from the Model

Фиксированный контракт входа и выхода позволяет менять модель, промпт и стратегию рассуждений без переписывания остальной программы, а оценки задают, что считать хорошим результатом.

  • Задача как функция — DSPy, открытый код на Python, описывает задачу тремя слоями: инструкции, код с ограничениями и примеры хороших результатов, по которым можно оптимизировать программу. Ограничения в коде, например повторный запуск с reasoning при пустом извлечении, выполняются независимо от ответа модели.
  • Дешёвая реализация — по словам авторов, при переходе в Shopify с дорогой модели на дешёвую стоимость снизилась в 550 раз, а evals остались теми же.
  • Новые техники без смены контракта — рекурсивные языковые модели (RLM) для длинного контекста подключаются одной строкой, сигнатура не меняется, и результат можно проверить на своих данных.
  • Оценки из обратной связи — qualitative learning превращает текстовую обратную связь из продакшена и действий пользователей в evals. Авторы называют это исследовательской задачей, а не готовым решением.

Кому полезно: тем, кто строит LLM-пайплайны, которые придётся переносить между моделями, и хочет поддерживать их оценки без переписывания кода.

Статья по теме

Главы

Похожие доклады