Инфраструктура для малых моделей, которую никто не создал (поэтому мы её создали)
AI Engineer World's Fair 2025
Загружаем страницу…
Как модели обучают, запускают и куда они развиваются: fine-tuning и RL, inference и стоимость, открытые и локальные модели, world models и робототехника.
В разделе доклады исследователей и инженеров из Google DeepMind, NVIDIA, BAAI и компаний, которые обучают модели под себя. Одни рассказывают о данных и средах для обучения, другие о том, как выжать больше из того же GPU и сколько на самом деле стоят токены.

Считайте стоимость решённой задачи, а не цену токена: дешёвая модель часто тратит больше. Сначала разнесите расходы по агентам и задачам, потом берегите кэш промпта, подбирайте модель под задачу по evals и ограничивайте циклы агента.

Для локального запуска есть llama.cpp и надстройки над ним: llamafile, Ollama, LM Studio, а на Mac ещё MLX. Модель выбирают под память компьютера, в квантованной версии. Скорость ответа упирается в пропускную способность памяти, поэтому большая модель на слабом железе работает, но медленно.
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
С API проще начать, и через него доступны самые сильные модели. Открытые модели выбирают ради стоимости на больших объёмах, контроля над данными и возможности дообучить модель под задачу. Многие спикеры совмещают оба варианта: простые запросы идут на малую модель, сложные на передовую.
Чаще нет. Сначала пробуют промпты, RAG и хорошие инструменты. Fine-tuning окупается, когда задача узкая и массовая, когда нужна дешёвая малая модель вместо большой или когда поведение не удаётся задать промптом.
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
Jost Tobias Springenberg, Quan Vuong
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
ComfyAnonymous, Jedrick Kosinski
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025
AI Engineer World's Fair 2025