· AI Engineer World's Fair 2024
Что на самом деле нужно для внедрения GenAI-приложений в корпоративной среде
What It Actually Takes to Deploy GenAI Applications to Enterprises
LLM-судья, дообученный на 50 размеченных примерах и синтетике, по словам авторов, работает почти так же точно, как при тысяче размеченных примеров.
- Дообучение судьи — по словам авторов, модели под каждого аннотатора, GPT-4 вместо GPT-3.5, fine-tuning вместо few-shot и синтетика подняли точность оценки на 45% в задаче суммаризации TLDR. Без этого LLM-судья, по их словам, предпочитает собственные ответы, первый вариант и более длинный текст.
- Открытые модели судьи — Mistral 7B и Llama 70B Chat, по словам авторов, сравнялись по точности с дообученными GPT-4 и GPT-3.5 в роли оценщика.
- Оценка на всём потоке — Echo AI оценивает каждое саммари, и так, по словам спикера, отслеживаются галлюцинации и дрейф модели без ручной выборки. В одном кейсе Auto Feedback дал, по его словам, прирост 20 пунктов F1.
- Пайплайны на потоке — Echo AI забирает разговоры из контакт-центров и тикет-систем, нормализует их и прогоняет через десятки настраиваемых LLM-пайплайнов. Для пропускной способности используются self-hosted модели, которые дообучают под домены клиентов.
Кому полезно: тем, кто строит оценку LLM на собственной разметке и думает, можно ли доверить её LLM-судье.
Статья по теме
Главы
Похожие доклады
Практическое руководство по запуску ИИ-агентов в корпоративном масштабе
AI Engineer Europe 2026
Близко по содержанию
Платформа observability, оценки и экспериментов для LLM
AI Engineer Europe 2026
Близко по содержанию
Разрыв между созданием и эксплуатацией: как связать видение продукта с реальностью работы AI
AI Engineer World's Fair 2025
Близко по содержанию
Запуск сложных AI-приложений
Giran Moodley, Mayan Soni, Mayank Soni, Oussama Hafferssas
AI Engineer Europe 2026
Близко по содержанию


