← Каталог

· AI Engineer World's Fair 2026

Проверяемые среды для ИИ в биологии

Verifiable Environments for AI in Biology — Kenny Workman, LatchBio

Бенчмарк для агентов в биологии с детерминированными проверками надёжен только после экспертной ревизии задач, потому что при ней находятся двусмысленные формулировки и произвольные пороги.

  • Двусмысленные постановки — в задаче про группы генов и поиск соседних клеток остаётся несколько открытых выборов: как делить список, что считать воспалительным геном, какой радиус взять. Без канонического ответа лучшей проверкой оказалась взаимная оценка работ учёными.
  • Произвольные пороги — числовые пороги контроля качества, которыми в биоинформатике пользуются по привычке, часто оказались произвольными. По словам автора, формализация для машины заставляет проверять более устойчивые структуры в данных.
  • Проверка по промежуточным шагам — каждая задача состоит из данных, промпта и Python-функции проверки. Пока модели слабы, оценка только финального результата встречается редко, поэтому задачи разбивают на шаги анализа.
  • Длинные задачи — в SpatialBench-Long каждая задача заняла около недели работы трёх человек. Рубрики по узлам анализа пока слабо коррелируют с верифицируемым итогом, а ни одна модель не решает пример с метастатической нишей.

Кому полезно: тем, кто строит оценки для агентов в научных доменах и хочет понять, где проверка ломается на двусмысленных задачах.

Статья по теме

Главы

Похожие доклады