← Каталог

Если ваш AI набирает 100%, ваш eval неправильный

If Your AI Scores 100%, Your Eval Is Wrong - Ramakrishnan Lokanathan, eslams.com

Eval должен проверять каждый шаг workflow и его итоговый результат, а усложнять его нужно, как только модель набирает 85–90%.

  • Тест на каждом шаге — для каждого шага фиксируйте вход, выход и ожидаемый результат, а тестируйте именно ту часть, которая отвечает за задачу. Для шага с tool calling измеряйте точность вызова инструментов, а не итоговый результат.
  • Три слоя оценки — автоматические проверки в CI на каждом деплое, ревью человеком (агент не должен быть судьёй собственного eval) и adversarial тесты, которые ломают workflow.
  • Игры как eval — спикер представил открытый Python-пакет eSlams с примерно 50 играми и 90 провайдерами моделей. Шахматы и го проверяют планирование, покер проверяет решения при скрытой информации.
  • Регрессионные тесты — старые кейсы должны оставаться в наборе. Спикер приводит пример Google Assistant, у которого перестали работать напоминания после перехода на Gemini.

Кому полезно: тем, кто выводит LLM-агентов в продакшен там, где ошибка стоит дорого.

Статья по теме

На какие вопросы отвечает доклад

  • Как оценивать долгие цепочки решений агента, если SWE-bench проверяет только один ответ?

    Играть модели друг против друга в шахматы, го и покер: игра проверяет планирование, работу со скрытой информацией и ошибки, видимые по ходам. По словам спикера, важнее не победитель, а то, как модель меняет стратегию.

    ▶ 8:52Игры как evals: eSlams
  • Как ставить цели для evals высокой цены ошибки, если модели уже набирают 85–90%?

    Сначала определить работу: что должно произойти, чего не должно быть никогда и когда агент должен остановиться. Тест ставить выше текущих возможностей модели, чтобы он нагружал систему, а не подтверждал лёгкий результат.

    ▶ 5:341. Определите самый амбициозный успех
  • Почему проверка только финального ответа агента не показывает ошибки в цепочке шагов?

    Каждый шаг нужно проверять по входу, выходу и ожидаемому результату. По начальной и конечной точке можно решить, что задача выполнена, хотя промежуточный шаг сделал лишнее: в примере спикера фон поменяли, но у объекта появилось две ручки.

    ▶ 6:432. Тестируйте весь рабочий процесс
  • Как встроить evals в CI и почему не отдавать проверку самому агенту?

    Автоматические проверки запускать в CI при каждом деплое, а человеческое ревью оставлять обязательным: по словам спикера, агент не должен быть ревьюером evals, хотя ускорить процесс он может. Отдельно добавляются adversarial тесты.

    ▶ 7:283. Один балл — это ещё не система
  • Как не допустить регрессии, когда новая модель перестаёт делать то, что умела старая?

    Регулярно прогонять regression-кейсы: известные задачи и прошлые падения. Пример спикера: Google Assistant перестал ставить напоминания после перехода на Gemini, хотя старая версия справлялась с этим хорошо.

    ▶ 12:064. Продолжайте тестировать то, что раньше работало
  • Как превращать жалобы пользователей на ошибки агента в тесты для evals?

    Собирать сигналы через observability-инструменты и кнопки thumbs up и thumbs down, воспроизводить ошибку как баг в QA, определить, сломался ли tool call, и добавить кейс в eval pipeline.

    ▶ 13:355. Превращайте реальные сбои в тесты

Главы

Похожие доклады