· AI Engineer World's Fair 2025
Как Intuit с помощью LLM объясняет налоги миллионам налогоплательщиков
How Intuit uses LLMs to explain taxes to millions of taxpayers
TurboTax генерирует персонализированные налоговые объяснения на LLM, но суммы берутся из налогового движка, а модель их не считает.
- Числа из движка, не из модели — налоговые суммы приходят из собственной базы знаний Intuit, а перед показом пользователю ответ проверяют ML-модели, чтобы в нём не оказалось выдуманных цифр.
- Evals начинаются с экспертов — налоговые аналитики сначала вручную задают baseline, затем на их примерах настраивается LLM-as-a-judge для проверки мелких правок промптов; при крупных изменениях, например смене налогового года или модели, проверка снова ручная.
- GraphRAG вместо обычного RAG — по словам спикера, GraphRAG заметно лучше обычного RAG по качеству ответов, а персонализация ответа даёт ещё больший выигрыш в полезности.
- Латентность 3–10 секунд — у LLM нет SLA бэкенд-сервисов, поэтому продукт проектируют с fallback-механизмами и дизайном под задержки, которые растут в пиковые дни перед дедлайном подачи.
Кому полезно: тем, кто строит объяснения поверх регулируемых данных и думает о проверке чисел в ответах LLM.
Статья по теме
Главы
Похожие доклады
Почему готовые ИИ не понимают деньги
AI Engineer World's Fair 2026
Близко по содержанию
HybridRAG: объединение графового и векторного поиска для улучшения интерпретации данных
AI Engineer World's Fair 2025
Близко по содержанию
Как Instacart преобразовала поиск и рекомендации с помощью LLM
AI Engineer World's Fair 2025
Близко по содержанию
От Copilot к коллеге: создание надежных agents для продуктивной работы, где цена ошибки высока
AI Engineer World's Fair 2025
Близко по содержанию
