Треугольник LLM: инженерные принципы создания надежных AI-приложений
The LLM Triangle: Engineering Principles for Robust AI Applications
Надёжные LLM-приложения строятся на процедуре: SOP разбивает задачу на шаги, а данные определяют качество ответа на каждом из них.
- Декомпозиция по SOP — опишите процесс со слов эксперта по шагам и нарисуйте его графом, чтобы найти неявные переходы. Нормализацию и форматирование, например перевод HTML в Markdown, отдайте обычному коду: он детерминирован и даёт стабильный результат.
- Агенты в заданных границах — автономный агент с инструментами быстро собрать, но его сложно отлаживать и качество нестабильно. Поток с заранее заданными шагами и маршрутизацией по фиксированному списку вариантов предсказуем, а свободу агенту стоит давать внутри чётко ограниченной области.
- Few-shot вместо объяснений — примеры работают лучше описания словами: в задаче классификации продуктов модель после нескольких примеров выбрала для PlayStation «потребительскую электронику» вместо «игровой приставки». Спикер предлагает отбирать 5–7 примеров под каждый запрос через vector search или по слову и категории.
- Поэтапная оптимизация — начинайте с большой модели, соберите данные и только потом переходите к меньшей модели или fine-tuning. Спикер считает, что тяжёлый fine-tuning с первого дня не нужен.
Кому полезно: тем, кто переводит прототип на LLM в продакшен и решает, где нужен агент, а где достаточно обычного кода.
Статья по теме
Главы
Похожие доклады
Практикум по оптимизации качества LLM
Pedro Torruella, Thierry Moreau
AI Engineer World's Fair 2024
Близко по содержанию
Пусть LLM исследуют: проектирование сред для RL
AI Engineer Europe 2026
Близко по содержанию
Насколько быстры движки инференса LLM?
AI Engineer World's Fair 2025
Близко по содержанию
От А до Я: создание AI agents
AI Engineer World's Fair 2024
Близко по содержанию

