← Каталог

· AI Engineer World's Fair 2025

Забудьте о RAG-пайплайнах — создавайте готовых к production AI agents за 15 минут

Forget RAG Pipelines—Build Production-Ready AI Agents in 15 Minutes

RAG можно собирать как управляемый сервис, а качество проверять юнит-тестами на естественном языке без своего пайплайна.

  • Извлечение данных задаёт потолок качества — ошибка в сложной таблице или графике, например сдвинутый столбец, попадает в генерацию и уже не исправляется, поэтому результат разбора документов стоит проверять первым.
  • Проверка опоры на источники — по словам авторов, ответ разбивается на отдельные утверждения, и каждое сверяется с найденными фрагментами; утверждения без опоры подсвечиваются, а ссылки ведут к областям страницы.
  • Юнит-тесты на естественном языке — LMUnit ставит ответу оценку от 1 до 5 по критериям вроде «нет ли лишней информации»; в примере ответ получил 2,2, и это дало понятную точку для правки system prompt.
  • Генератор, опирающийся на контекст — собственная модель обучена опираться на переданные документы; в тесте с бессмысленными корреляциями обычный чат спорил с данными, а RAG-агент приводил цифру и цитировал оговорки из источника.

Кому полезно: тем, кто строит RAG по большому набору разнородных документов и упирается в точность ответов. Доклад во многом презентация продукта Contextual AI, но часть про проверку ответов применима и к собственному стеку.

Статья по теме

Главы

Похожие доклады