Загружаем страницу…
Загружаем страницу…
Как модели обучают, запускают и куда они развиваются: fine-tuning и RL, inference и стоимость, открытые и локальные модели, world models и робототехника.
В разделе доклады исследователей и инженеров из Google DeepMind, NVIDIA, BAAI и компаний, которые обучают модели под себя. Одни рассказывают о данных и средах для обучения, другие о том, как выжать больше из того же GPU и сколько на самом деле стоят токены.

Считайте стоимость решённой задачи, а не цену токена: дешёвая модель часто тратит больше. Сначала разнесите расходы по агентам и задачам, потом берегите кэш промпта, подбирайте модель под задачу по evals и ограничивайте циклы агента.

Для локального запуска есть llama.cpp и надстройки над ним: llamafile, Ollama, LM Studio, а на Mac ещё MLX. Модель выбирают под память компьютера, в квантованной версии. Скорость ответа упирается в пропускную способность памяти, поэтому большая модель на слабом железе работает, но медленно.
С API проще начать, и через него доступны самые сильные модели. Открытые модели выбирают ради стоимости на больших объёмах, контроля над данными и возможности дообучить модель под задачу. Многие спикеры совмещают оба варианта: простые запросы идут на малую модель, сложные на передовую.
Чаще нет. Сначала пробуют промпты, RAG и хорошие инструменты. Fine-tuning окупается, когда задача узкая и массовая, когда нужна дешёвая малая модель вместо большой или когда поведение не удаётся задать промптом.