· AI Engineer World's Fair 2026
От токенов к клеткам: foundation models для биологии одиночных клеток
From Tokens to Cells: Foundation Models for Single-Cell Biology - Akram Baharlouei, Altos Labs
Трансформеры вроде scGPT и Geneformer дороги в обучении и на бенчмарках часто не лучше линейных моделей, а flow matching, по словам автора, точнее.
- Сжатие теряет информацию — scGPT и Geneformer считают гены токенами и сжимают клетку в латентный вектор; по мнению автора, эта потеря объясняет, почему сложные модели иногда уступают простым линейным.
- Бенчмарки против трансформеров — статьи scGeneScope и PerturBench (NeurIPS прошлого года) сравнивали модели на мультимодальных данных и предсказании ответа на возмущения; дорогие трансформеры там не показали преимущества.
- Flow matching вместо авторегрессии — модель Prime Flow (препринт на arXiv) начинает с гауссова шума и учится воспроизводить распределение данных; по словам автора, она лучше автоэнкодеров, которые предсказывают среднее.
- Качество измерений важнее объёма — RNA-seq самый доступный модальность, данные идут до десятков миллионов клеток, но снимок одного момента и шум между лабораториями и машинами ограничивают обучение; автор предлагает улучшать реалистичность измерений, а не только масштаб.
Кому полезно: тем, кто обучает модели на шумных биологических измерениях и решает, оправдан ли трансформер.
Статья по теме
Главы
Похожие доклады
Банк обучил собственную foundation model для выявления мошенничества
Близко по содержанию
Проверяемые среды для ИИ в биологии
AI Engineer World's Fair 2026
Близко по содержанию
Создание генеративных моделей изображений и видео в больших масштабах
AI Engineer Europe 2026
Близко по содержанию
От торговых площадок до клинических испытаний: параллели в прикладном вертикальном AI
AI Engineer World's Fair 2026
Та же тема: Отраслевые применения

