Akshay Sharma — инженер машинного обучения в Lyft, где строит self-serve AI agent platform для поддержки клиентов. Платформа позволяет специалистам настраивать агентов без участия инженеров при каждом изменении правил. Ранее он работал в TurboTax Desktop над e-commerce потоком и системой анализа сбоев на AWS. В его описании архитектуры поддержки Lyft на LangGraph и LangSmith инициатива сократила разработку агентов примерно с шести месяцев до нескольких недель. Sharma пишет об оценке агентов: pass-or-fail критерии, LLM-as-a-judge, проверенные по размеченным примерам, и статистическая надёжность решений о запуске. Доклад на AI Engineer World's Fair 2026 посвящён проверке многоходовых агентов поддержки до выхода в продакшен.
Темы докладов: Evals и бенчмарки и Observability и трейсы.
AI Engineer World's Fair 20261
Создавайте evals, которые действительно важны
AI Engineer World's Fair 2026