· AI Engineer World's Fair 2024
Как масштабировать AI в образовании: кейс Khanmigo
Scaling AI in Education: A Khanmigo case study
Тьютор, который задаёт наводящие вопросы вместо готового ответа, держится на проверке математики и цепочке рассуждений, по словам спикера.
- Цепочка из двух вызовов — первый вызов восстанавливает, как ученик мог прийти к ответу и как решать правильно, второй использует это как контекст для подсказки; для сложных вычислений модель обращается к математическому агенту с калькулятором и Python. По словам спикера, такая схема заметно подняла качество.
- LLM-as-a-judge для математики — дашборд точности тьюторинга отслеживает регрессии при смене промптов и моделей. По словам спикера, автоматическая оценка находит математические ошибки примерно в 70% случаев по сравнению с разметкой людей.
- Уровень кода по уверенности — прототип пишется быстро, фича на части пользователей проходит A/B тест или бету, а полный релиз требует более строгого кода и проверки доступности. Команды выбирают уровень сами.
- Выделенные мощности под пик — инстанс рассчитан на пиковую нагрузку, а при исчерпании лимитов запросы уходят на общие мощности. Спикер признаёт, что ночью инстанс простаивает, и команда хочет масштабироваться динамически.
Кому полезно: тем, кто выводит LLM-тьютора или образовательный продукт в продакшен и отвечает за точность решений.
Статья по теме
Главы
Похожие доклады
BAAI Conference 2026 · 北京智源大会3:45:52
AI-native образование: проекты школьников, общая AI-грамотность и роль человека
Qi Mi, Yu Lu, Toby Walsh, Lesong Cheng, Jialiang Wang, Zhongyuan Wang, Jifan Yu, Tiyu Shan, Muran Jiang, Yihong Jin, Xiaopeng You, Dongcan Li, Junzhe Wang, Shiqi Li, Xixuan Huang
BAAI Conference 2026 · 北京智源大会
Близко по содержанию
Как небольшая AI-команда добивается больших результатов
AI Engineer World's Fair 2025
Близко по содержанию
О транзакции судят по её окружению
AI Engineer NYC 2026 Online Talks
Близко по содержанию
Масштабирование вычислений для работы с контекстом
AI Engineer World's Fair 2026
Близко по содержанию
