← Каталог

· AI Engineer World's Fair 2024

Чему мы научились за год разработки с LLM

What We Learned From A Year of Building With LLMs

Charles Frye, Eugene Yan и ещё 4 спикераВсе 6Свернуть

Модель редко становится долговременным преимуществом, поэтому главное в LLM-приложении — непрерывный цикл evals и работы с данными.

  • Модель не защищает продукт — по словам авторов, строить стоит на продуктовой нише, а модели относиться как к SaaS и менять, когда появляется явно лучший конкурент.
  • Цена падает на порядок примерно за 15 месяцев — авторы оценивают, что стоимость тех же возможностей снижается так быстро, поэтому планировать стоит под то, что станет экономичным к следующему раунду финансирования.
  • Evals и data literacy осваиваются за 4–6 недель практики — так считают авторы по итогам консалтинга примерно в двадцати компаниях. ML-инженера, по их словам, стоит нанимать, только когда уже есть данные.
  • Проверяемые поля вместо общей оценки — вывод разбивается на title, price, rating и проверяется кодом. LLM-as-a-judge дёшев в прототипе, но с chain of thought занимает 5–8 секунд против примерно 10 миллисекунд у классификатора, обученного на нескольких тысячах размеченных примеров.

Кому полезно: тем, кто выводит LLM-приложение в продакшен и выстраивает evals, мониторинг и guardrails.

Статья по теме

Главы

Ещё доклады: Charles Frye

Все 5 докладов →

Ещё доклады: Eugene Yan

Все 4 доклада →

Похожие доклады