· AI Engineer World's Fair 2024
Чему мы научились за год разработки с LLM
What We Learned From A Year of Building With LLMs
Charles Frye, Eugene Yan и ещё 4 спикераВсе 6Свернуть
Модель редко становится долговременным преимуществом, поэтому главное в LLM-приложении — непрерывный цикл evals и работы с данными.
- Модель не защищает продукт — по словам авторов, строить стоит на продуктовой нише, а модели относиться как к SaaS и менять, когда появляется явно лучший конкурент.
- Цена падает на порядок примерно за 15 месяцев — авторы оценивают, что стоимость тех же возможностей снижается так быстро, поэтому планировать стоит под то, что станет экономичным к следующему раунду финансирования.
- Evals и data literacy осваиваются за 4–6 недель практики — так считают авторы по итогам консалтинга примерно в двадцати компаниях. ML-инженера, по их словам, стоит нанимать, только когда уже есть данные.
- Проверяемые поля вместо общей оценки — вывод разбивается на title, price, rating и проверяется кодом. LLM-as-a-judge дёшев в прототипе, но с chain of thought занимает 5–8 секунд против примерно 10 миллисекунд у классификатора, обученного на нескольких тысячах размеченных примеров.
Кому полезно: тем, кто выводит LLM-приложение в продакшен и выстраивает evals, мониторинг и guardrails.
Статья по теме
Главы
Ещё доклады: Charles Frye
Все 5 докладов →Что вообще такое движок инференса?
AI Engineer World's Fair 2026
Что каждому AI-инженеру нужно знать о GPU
AI Engineer World's Fair 2025
Насколько быстры движки инференса LLM?
AI Engineer World's Fair 2025
Ещё доклады: Eugene Yan
Все 4 доклада →Как использовать LLM для защиты исходного кода
AI Engineer World's Fair 2026
Ключевой доклад о рекомендательных системах: улучшение рекомендаций и поиска в эпоху LLMs
AI Engineer World's Fair 2025
Копилоты повсюду
AI Engineer World's Fair 2024
Похожие доклады
Основные компоненты систем и продуктов на базе LLM
AI Engineer Summit 2023
Тот же спикер: Eugene Yan
Как создавать эффективные evals: масштабируемые конвейеры оценки LLM
AI Engineer World's Fair 2025
Близко по содержанию
Покупать, создавать, внедрять: как использовать M&A для AI-трансформации
Близко по содержанию






