· AI Engineer World's Fair 2025
Купи сейчас, возможно, заплатишь позже: как справляться с налогом на промпты и оставаться на переднем крае
Buy Now, Maybe Pay Later: Dealing with Prompt-Tax While Staying at the Frontier - Andrew Thompson
Новые модели стоит выкатывать сразу, а регрессии сдерживать постепенным включением и быстрой правкой промптов доменными экспертами, пока полноценных evals нет.
- Миграция между моделями — при переходе с GPT-4o на o1-preview из промптов убирали лишние инструкции и повторы, а reasoning-модели получали только цель. По словам автора, новая модель может сама помочь мигрировать доменные промпты, и это заметно сокращает ручную работу.
- Исправление за минуты — жалоба пользователя уходит доменному эксперту, тот правит промпт и выкатывает изменение всем пользователям за минуты или часы, а не за дни или недели.
- Постепенное включение вместо evals — новую модель сначала включают внутренней команде, затем части пользователей, увеличивая долю, пока поток отзывов остаётся управляемым. Автор признаёт, что 18 месяцев продукт развивался в основном на ручной проверке экспертами, а число доменных промптов выросло почти с нуля до более тысячи.
- Ставка на будущие модели — не строить фичи под возможности сегодняшних моделей, а закладывать те, что появятся через 3–12 месяцев.
Кому полезно: тем, кто ведёт продукт на LLM с большим числом промптов и частыми обновлениями моделей, но без полноценной eval-системы. Доклад во многом рассказ о продукте Orbital Copilot.
Статья по теме
Главы
Похожие доклады
Prompt engineering мёртв
AI Engineer World's Fair 2025
Близко по содержанию
Вычисления и проектирование систем для передовых моделей следующего поколения
AI Engineer World's Fair 2024
Близко по содержанию
От Copilot к коллеге: создание надежных agents для продуктивной работы, где цена ошибки высока
AI Engineer World's Fair 2025
Близко по содержанию
Результаты frontier-уровня на устройстве
AI Engineer World's Fair 2026
Близко по содержанию

