· AI Engineer World's Fair 2024
Как учитывать риски ИИ при переходе от прототипа к production
Understanding AI Stakes to Break Production Code
Цена ошибки определяет, что ломает LLM-прототип на пути в продакшен, и под неё выбирают архитектуру, оценки и степень участия человека.
- Человек в контуре при высоких ставках — в приложении для поведенческого здоровья (behavioral health) команда остаётся на стадии copilot: ответ показан рядом с исходными данными, а пользователь правит итог по абзацам. Там, где человека в контуре быть не может, как в регулируемых кредитных рекомендациях, модель выдаёт три варианта с объяснением вместо одного «лучшего».
- Сначала сильная модель, потом оптимизация — участники советуют начинать с лучшей модели и уменьшать её или делать fine-tuning позже. По их наблюдению, команды, начавшие с маленькой модели, часто ошибочно решают, что задача невозможна.
- Eval-пайплайн с первого дня — проверьте, есть ли данные для оценок, до того как собрали приложение. Иначе понять, стало ли лучше после правки промптов или fine-tuning, будет не с чем.
- Точные ответы не из LLM — детерминированные вопросы отдавайте базе данных или коду. LLM переводит вопрос в запрос и формулирует ответ под аудиторию, а одну из задач решает через написанный им Python-код для поиска выбросов.
Кому полезно: командам, которые выводят LLM-функции в регулируемых или дорогих по ошибке областях вроде медицины и финансов.
Статья по теме
Главы
Похожие доклады
Как довести RAG до production: поиск, оценка и анализ ошибок
AI Engineer Summit 2023
Близко по содержанию
Как создавать надёжный ИИ
AI Engineer World's Fair 2025
Близко по содержанию
Связывая точки с помощью контекстных графов
AI Engineer Europe 2026
Близко по содержанию
Практический GraphRAG: как сделать LLM умнее с помощью графов знаний
Stephen Chin, Jesús Barrasa, Michael Hunger
AI Engineer World's Fair 2025
Близко по содержанию

