← Каталог

· AI Engineer World's Fair 2024

Запуск BotDojo: улучшение AI-ассистентов с помощью evals и синтетических данных

BotDojo Launch: Enhancing AI Assistants with Evaluations and Synthetic Data

Документация, сгенерированная из существующего индекса по вопросам из тикетов поддержки, по словам автора, заполняет пробелы в знаниях RAG-чатбота и улучшает результаты оценок.

  • Пакетная оценка как поиск пробелов — прогон набора вопросов с проверкой на галлюцинации показывает, каких знаний нет в векторном индексе. Красные оценки указывают, какие документы нужно добавить.
  • Вопросы из тикетов как тестовые данные — пары вопрос-ответ из переписки операторов поддержки отправляются в чатбот как тестовый набор. Затем по ним на основе существующего индекса пишутся недостающие документы в стиле базы знаний.
  • Проверка документов перед индексацией — модель проверяет, что сгенерированный документ содержит достаточно информации для ответа на вопрос, и только после этого документ записывается в векторный индекс. По словам автора, повторный прогон оценок после этого показал улучшения по всем вопросам.
  • Трассировка узлов — трассировка каждого узла показывает, что ушло в LLM и что вернул retriever, что помогает найти причину неверного ответа.

Кому полезно: тем, кто поддерживает RAG-чатбот в продакшене и не знает, каких знаний ему не хватает. Доклад во многом демонстрация продукта BotDojo, но цикл «оценка, документация, переиндексация» переносится на любой стек.

Статья по теме

Главы

Похожие доклады