· AI Engineer World's Fair 2026
Проверяемые среды для ИИ в биологии
Verifiable Environments for AI in Biology — Kenny Workman, LatchBio
Бенчмарк для агентов в биологии с детерминированными проверками надёжен только после экспертной ревизии задач, потому что при ней находятся двусмысленные формулировки и произвольные пороги.
- Двусмысленные постановки — в задаче про группы генов и поиск соседних клеток остаётся несколько открытых выборов: как делить список, что считать воспалительным геном, какой радиус взять. Без канонического ответа лучшей проверкой оказалась взаимная оценка работ учёными.
- Произвольные пороги — числовые пороги контроля качества, которыми в биоинформатике пользуются по привычке, часто оказались произвольными. По словам автора, формализация для машины заставляет проверять более устойчивые структуры в данных.
- Проверка по промежуточным шагам — каждая задача состоит из данных, промпта и Python-функции проверки. Пока модели слабы, оценка только финального результата встречается редко, поэтому задачи разбивают на шаги анализа.
- Длинные задачи — в SpatialBench-Long каждая задача заняла около недели работы трёх человек. Рубрики по узлам анализа пока слабо коррелируют с верифицируемым итогом, а ни одна модель не решает пример с метастатической нишей.
Кому полезно: тем, кто строит оценки для агентов в научных доменах и хочет понять, где проверка ломается на двусмысленных задачах.
Статья по теме
Главы
Похожие доклады
Искусство и наука бенчмаркинга для agents
AI Engineer Europe 2026
Близко по содержанию
Как Kepler создала проверяемый ИИ для финансовых услуг
AI Engineer World's Fair 2026
Близко по содержанию
Ваш LLM-as-a-judge — самоуверенный лжец: как создавать более надёжные верификаторы
Corby Rosset, Miguel González Fernández
Близко по содержанию
Научное рассуждение LLM: как научить ИИ делать открытия уровня Нобелевской премии
AI Engineer World's Fair 2024
Близко по содержанию

