· AI Engineer World's Fair 2024
Запуск BotDojo: улучшение AI-ассистентов с помощью evals и синтетических данных
BotDojo Launch: Enhancing AI Assistants with Evaluations and Synthetic Data
Документация, сгенерированная из существующего индекса по вопросам из тикетов поддержки, по словам автора, заполняет пробелы в знаниях RAG-чатбота и улучшает результаты оценок.
- Пакетная оценка как поиск пробелов — прогон набора вопросов с проверкой на галлюцинации показывает, каких знаний нет в векторном индексе. Красные оценки указывают, какие документы нужно добавить.
- Вопросы из тикетов как тестовые данные — пары вопрос-ответ из переписки операторов поддержки отправляются в чатбот как тестовый набор. Затем по ним на основе существующего индекса пишутся недостающие документы в стиле базы знаний.
- Проверка документов перед индексацией — модель проверяет, что сгенерированный документ содержит достаточно информации для ответа на вопрос, и только после этого документ записывается в векторный индекс. По словам автора, повторный прогон оценок после этого показал улучшения по всем вопросам.
- Трассировка узлов — трассировка каждого узла показывает, что ушло в LLM и что вернул retriever, что помогает найти причину неверного ответа.
Кому полезно: тем, кто поддерживает RAG-чатбот в продакшене и не знает, каких знаний ему не хватает. Доклад во многом демонстрация продукта BotDojo, но цикл «оценка, документация, переиндексация» переносится на любой стек.
Статья по теме
Главы
Похожие доклады
Как обуздать AI-агентов с помощью evals на основе observability
AI Engineer World's Fair 2025
Близко по содержанию
От исходных документов к данным, готовым для ИИ
AI Engineer World's Fair 2026
Близко по содержанию
Как анализировать данные: что искать и как измерять
AI Engineer World's Fair 2025
Близко по содержанию
Будущее ассистентов по работе со знаниями
AI Engineer World's Fair 2024
Близко по содержанию

