← Каталог

· AI Engineer World's Fair 2024

Как учитывать риски ИИ при переходе от прототипа к production

Understanding AI Stakes to Break Production Code

Цена ошибки определяет, что ломает LLM-прототип на пути в продакшен, и под неё выбирают архитектуру, оценки и степень участия человека.

  • Человек в контуре при высоких ставках — в приложении для поведенческого здоровья (behavioral health) команда остаётся на стадии copilot: ответ показан рядом с исходными данными, а пользователь правит итог по абзацам. Там, где человека в контуре быть не может, как в регулируемых кредитных рекомендациях, модель выдаёт три варианта с объяснением вместо одного «лучшего».
  • Сначала сильная модель, потом оптимизация — участники советуют начинать с лучшей модели и уменьшать её или делать fine-tuning позже. По их наблюдению, команды, начавшие с маленькой модели, часто ошибочно решают, что задача невозможна.
  • Eval-пайплайн с первого дня — проверьте, есть ли данные для оценок, до того как собрали приложение. Иначе понять, стало ли лучше после правки промптов или fine-tuning, будет не с чем.
  • Точные ответы не из LLM — детерминированные вопросы отдавайте базе данных или коду. LLM переводит вопрос в запрос и формулирует ответ под аудиторию, а одну из задач решает через написанный им Python-код для поиска выбросов.

Кому полезно: командам, которые выводят LLM-функции в регулируемых или дорогих по ошибке областях вроде медицины и финансов.

Статья по теме

Главы

Похожие доклады