← Каталог

· AI Engineer World's Fair 2026

Первые шаги к автоматизированным ИИ-исследованиям

First Steps Toward Automated AI Research

Идея машины «Eureka», которая автоматизирует научные открытия и улучшает собственный исследовательский цикл, по словам автора, уже на небольших задачах обучения и CUDA-ядер обгоняет команды людей.

  • Четыре опоры системы — знания из уже опубликованных работ, данные измерений, симуляции для того, что пока не измерено, и физическая лаборатория для финальной проверки. Поверх них работает рой агентов, который ведёт гипотезы и оценивает результаты.
  • Граница настоящего RSI — автопоиск, который оптимизирует короткий запуск nanochat, по мнению автора, не является рекурсивным самоулучшением. Настоящее самоулучшение требует, чтобы система видела и меняла весь стек: от pre-training до RL и harness.
  • Результаты на известных задачах — на nanochat метрика bits per byte снизилась с 0,93 до 0,91 за сутки-двое, на nanoGPT speedrun выигрыш составил около двух секунд, до семидесяти секунд. CUDA-ядра, по словам авторов, лучше лучших в таблице лидеров NVIDIA, а отсутствие reward hacking проверили вместе с NVIDIA.
  • Находки, а не подбор гиперпараметров — система нашла хэшированные биграммы, триграммные эмбеддинги и смешивание путей значений внимания через обучаемые gates. При этом в команде не было специалистов по CUDA.

Кому полезно: тем, кто строит автоматические эксперименты с обучением моделей или оптимизацией ядер и хочет отличить такой цикл от настоящего самоулучшения.

Статья по теме

Главы

Похожие доклады