← Каталог

· AI Engineer World's Fair 2025

Купи сейчас, возможно, заплатишь позже: как справляться с налогом на промпты и оставаться на переднем крае

Buy Now, Maybe Pay Later: Dealing with Prompt-Tax While Staying at the Frontier - Andrew Thompson

Новые модели стоит выкатывать сразу, а регрессии сдерживать постепенным включением и быстрой правкой промптов доменными экспертами, пока полноценных evals нет.

  • Миграция между моделями — при переходе с GPT-4o на o1-preview из промптов убирали лишние инструкции и повторы, а reasoning-модели получали только цель. По словам автора, новая модель может сама помочь мигрировать доменные промпты, и это заметно сокращает ручную работу.
  • Исправление за минуты — жалоба пользователя уходит доменному эксперту, тот правит промпт и выкатывает изменение всем пользователям за минуты или часы, а не за дни или недели.
  • Постепенное включение вместо evals — новую модель сначала включают внутренней команде, затем части пользователей, увеличивая долю, пока поток отзывов остаётся управляемым. Автор признаёт, что 18 месяцев продукт развивался в основном на ручной проверке экспертами, а число доменных промптов выросло почти с нуля до более тысячи.
  • Ставка на будущие модели — не строить фичи под возможности сегодняшних моделей, а закладывать те, что появятся через 3–12 месяцев.

Кому полезно: тем, кто ведёт продукт на LLM с большим числом промптов и частыми обновлениями моделей, но без полноценной eval-системы. Доклад во многом рассказ о продукте Orbital Copilot.

Статья по теме

Главы

Похожие доклады