← Каталог

· AI Engineer World's Fair 2024

Как масштабировать AI в образовании: кейс Khanmigo

Scaling AI in Education: A Khanmigo case study

Тьютор, который задаёт наводящие вопросы вместо готового ответа, держится на проверке математики и цепочке рассуждений, по словам спикера.

  • Цепочка из двух вызовов — первый вызов восстанавливает, как ученик мог прийти к ответу и как решать правильно, второй использует это как контекст для подсказки; для сложных вычислений модель обращается к математическому агенту с калькулятором и Python. По словам спикера, такая схема заметно подняла качество.
  • LLM-as-a-judge для математики — дашборд точности тьюторинга отслеживает регрессии при смене промптов и моделей. По словам спикера, автоматическая оценка находит математические ошибки примерно в 70% случаев по сравнению с разметкой людей.
  • Уровень кода по уверенности — прототип пишется быстро, фича на части пользователей проходит A/B тест или бету, а полный релиз требует более строгого кода и проверки доступности. Команды выбирают уровень сами.
  • Выделенные мощности под пик — инстанс рассчитан на пиковую нагрузку, а при исчерпании лимитов запросы уходят на общие мощности. Спикер признаёт, что ночью инстанс простаивает, и команда хочет масштабироваться динамически.

Кому полезно: тем, кто выводит LLM-тьютора или образовательный продукт в продакшен и отвечает за точность решений.

Статья по теме

Главы

Похожие доклады