← Каталог

· AI Engineer World's Fair 2026

От токенов к клеткам: foundation models для биологии одиночных клеток

From Tokens to Cells: Foundation Models for Single-Cell Biology - Akram Baharlouei, Altos Labs

Трансформеры вроде scGPT и Geneformer дороги в обучении и на бенчмарках часто не лучше линейных моделей, а flow matching, по словам автора, точнее.

  • Сжатие теряет информацию — scGPT и Geneformer считают гены токенами и сжимают клетку в латентный вектор; по мнению автора, эта потеря объясняет, почему сложные модели иногда уступают простым линейным.
  • Бенчмарки против трансформеров — статьи scGeneScope и PerturBench (NeurIPS прошлого года) сравнивали модели на мультимодальных данных и предсказании ответа на возмущения; дорогие трансформеры там не показали преимущества.
  • Flow matching вместо авторегрессии — модель Prime Flow (препринт на arXiv) начинает с гауссова шума и учится воспроизводить распределение данных; по словам автора, она лучше автоэнкодеров, которые предсказывают среднее.
  • Качество измерений важнее объёма — RNA-seq самый доступный модальность, данные идут до десятков миллионов клеток, но снимок одного момента и шум между лабораториями и машинами ограничивают обучение; автор предлагает улучшать реалистичность измерений, а не только масштаб.

Кому полезно: тем, кто обучает модели на шумных биологических измерениях и решает, оправдан ли трансформер.

Статья по теме

Главы

Похожие доклады