← Каталог

· AI Engineer World's Fair 2024

Что на самом деле нужно для внедрения GenAI-приложений в корпоративной среде

What It Actually Takes to Deploy GenAI Applications to Enterprises

LLM-судья, дообученный на 50 размеченных примерах и синтетике, по словам авторов, работает почти так же точно, как при тысяче размеченных примеров.

  • Дообучение судьи — по словам авторов, модели под каждого аннотатора, GPT-4 вместо GPT-3.5, fine-tuning вместо few-shot и синтетика подняли точность оценки на 45% в задаче суммаризации TLDR. Без этого LLM-судья, по их словам, предпочитает собственные ответы, первый вариант и более длинный текст.
  • Открытые модели судьи — Mistral 7B и Llama 70B Chat, по словам авторов, сравнялись по точности с дообученными GPT-4 и GPT-3.5 в роли оценщика.
  • Оценка на всём потоке — Echo AI оценивает каждое саммари, и так, по словам спикера, отслеживаются галлюцинации и дрейф модели без ручной выборки. В одном кейсе Auto Feedback дал, по его словам, прирост 20 пунктов F1.
  • Пайплайны на потоке — Echo AI забирает разговоры из контакт-центров и тикет-систем, нормализует их и прогоняет через десятки настраиваемых LLM-пайплайнов. Для пропускной способности используются self-hosted модели, которые дообучают под домены клиентов.

Кому полезно: тем, кто строит оценку LLM на собственной разметке и думает, можно ли доверить её LLM-судье.

Статья по теме

Главы

Похожие доклады