Не пытайтесь исправить проблемы поиска с помощью fine-tuning
Stop Fine-Tuning to Fix Retrieval Problems — Anant Srivastava
Промпт, память и дообучение решают разные задачи: дообучение на старых тикетах запекает в веса устаревшие названия продуктов, которые не исправить обновлением промпта.
- Диагностика по скорости изменений — в промпт идут короткие стабильные инструкции о поведении, в память большие и быстро меняющиеся знания, которые нужно цитировать или ограничивать по доступу, а в веса стабильные рефлексы. По словам спикера, дообучение оправдано, когда нужна способность модели или экономия на стоимости.
- Retrieval вместо дообучения — если модель отвечает неверно на основе документации, обычно не хватает нужных фрагментов в выдаче. Инструкции по эксплуатации и процедуры должны жить во внешней памяти, а не в весах.
- Метаданные для кодовой базы — для кодингового ассистента спикер советует разбиение на фрагменты с учётом синтаксиса (AST) и метаданные о репозитории и правах на коммит. Так поиск возвращает нужный код, а не набор случайных фрагментов.
- Дообучение на формате, а не на фактах — для медицинских кодов ICD-10, которых около 70 тысяч, модель стоит учить формату входа и выбору правильного кода. Стабильные решения людей можно дообучать, но с постоянным контролем дрейфа.
Кому полезно: тем, кто решает, что хранить в промпте, памяти или весах модели, и видит устаревшие ответы у ассистента поддержки или внутреннего помощника.
Статья по теме
Главы
Похожие доклады
Контекст — не память. Память — это обновление весов
AI Engineer Code 2025
Близко по содержанию
Ваша fine-tuned модель — техдолг: карточный домик с ROI 50×
AI Engineer World's Fair 2026
Близко по содержанию
От coding agents к knowledge work agents
Близко по содержанию
От контекста к памяти: вашим agents нужен полноценный слой памяти
AI Engineer World's Fair 2026
Близко по содержанию

