← Каталог

· AI Engineer World's Fair 2025

От POC к PROD: непростые уроки 200+ корпоративных внедрений GenAI

POC to PROD: Hard Lessons from 200+ Enterprise GenAI Deployments

Надёжность LLM-систем в продакшене определяют входы и выходы, evals и знание пользователя, а не выбор модели.

  • Поиск по видео без дообучения — кадры усредняются в эмбеддинги через Titan multimodal embeddings V2, а описания и таймкоды от Nova Pro лежат в Elasticsearch, поэтому архив стоковых записей ищется текстом.
  • Аннотации вместо fine-tuning — по словам автора, нарисованная на кадре линия трёхочковой зоны и вопрос про её пересечение дают заметно лучшие ответы моделей, чем сырое видео; SAM 2 может размечать такие объекты автоматически.
  • Хайлайты по звуку — всплески амплитуды в спектрограмме аудио (FFmpeg) с рёвом трибун дают простой способ найти моменты матча для нарезки без отдельной модели.
  • Промпты и кэш — по словам автора, переход с Claude 3.7 на Claude 4 прошёл без регрессий на их evals; дату и другие переменные лучше ставить в конец промпта, иначе prompt caching работает хуже.

Кому полезно: тем, кто выводит поиск по видео или обработку документов в продакшен на AWS.

Статья по теме

Главы

Похожие доклады