Если ваш AI набирает 100%, ваш eval неправильный
If Your AI Scores 100%, Your Eval Is Wrong - Ramakrishnan Lokanathan, eslams.com
Eval должен проверять каждый шаг workflow и его итоговый результат, а усложнять его нужно, как только модель набирает 85–90%.
- Тест на каждом шаге — для каждого шага фиксируйте вход, выход и ожидаемый результат, а тестируйте именно ту часть, которая отвечает за задачу. Для шага с tool calling измеряйте точность вызова инструментов, а не итоговый результат.
- Три слоя оценки — автоматические проверки в CI на каждом деплое, ревью человеком (агент не должен быть судьёй собственного eval) и adversarial тесты, которые ломают workflow.
- Игры как eval — спикер представил открытый Python-пакет eSlams с примерно 50 играми и 90 провайдерами моделей. Шахматы и го проверяют планирование, покер проверяет решения при скрытой информации.
- Регрессионные тесты — старые кейсы должны оставаться в наборе. Спикер приводит пример Google Assistant, у которого перестали работать напоминания после перехода на Gemini.
Кому полезно: тем, кто выводит LLM-агентов в продакшен там, где ошибка стоит дорого.
Статья по теме
На какие вопросы отвечает доклад
Как оценивать долгие цепочки решений агента, если SWE-bench проверяет только один ответ?
Играть модели друг против друга в шахматы, го и покер: игра проверяет планирование, работу со скрытой информацией и ошибки, видимые по ходам. По словам спикера, важнее не победитель, а то, как модель меняет стратегию.
▶ 8:52Игры как evals: eSlamsКак ставить цели для evals высокой цены ошибки, если модели уже набирают 85–90%?
Сначала определить работу: что должно произойти, чего не должно быть никогда и когда агент должен остановиться. Тест ставить выше текущих возможностей модели, чтобы он нагружал систему, а не подтверждал лёгкий результат.
▶ 5:341. Определите самый амбициозный успехПочему проверка только финального ответа агента не показывает ошибки в цепочке шагов?
Каждый шаг нужно проверять по входу, выходу и ожидаемому результату. По начальной и конечной точке можно решить, что задача выполнена, хотя промежуточный шаг сделал лишнее: в примере спикера фон поменяли, но у объекта появилось две ручки.
▶ 6:432. Тестируйте весь рабочий процессКак встроить evals в CI и почему не отдавать проверку самому агенту?
Автоматические проверки запускать в CI при каждом деплое, а человеческое ревью оставлять обязательным: по словам спикера, агент не должен быть ревьюером evals, хотя ускорить процесс он может. Отдельно добавляются adversarial тесты.
▶ 7:283. Один балл — это ещё не системаКак не допустить регрессии, когда новая модель перестаёт делать то, что умела старая?
Регулярно прогонять regression-кейсы: известные задачи и прошлые падения. Пример спикера: Google Assistant перестал ставить напоминания после перехода на Gemini, хотя старая версия справлялась с этим хорошо.
▶ 12:064. Продолжайте тестировать то, что раньше работалоКак превращать жалобы пользователей на ошибки агента в тесты для evals?
Собирать сигналы через observability-инструменты и кнопки thumbs up и thumbs down, воспроизводить ошибку как баг в QA, определить, сломался ли tool call, и добавить кейс в eval pipeline.
▶ 13:355. Превращайте реальные сбои в тесты
Главы
Похожие доклады
Не доверяйте AI agents: тестируйте их как учёный
Близко по содержанию
[Воркшоп по evals] Оценка AI: от playground до production
AI Engineer World's Fair 2025
Близко по содержанию
Когда закончится эпидемия бенчмаксинга?
AI Engineer World's Fair 2026
Близко по содержанию
Внутри 847 клинических AI-заметок из продакшена
AI Engineer World's Fair 2026
Близко по содержанию

