← Каталог

· AI Engineer Summit 2023

Fine-tuning без кода

No-code Fine-tuning: Mark Hennings

Дообучение модели на двух десятках примеров без кода, по словам автора, заменяет длинный промпт с инструкциями и делает ответы дешевле и быстрее.

  • Порог входа — для дообучения хватает примерно двадцати примеров, а не тысяч, и набор можно расширять до ста и больше. Это продолжение few-shot: примеры из промпта переезжают в обучающий датасет.
  • Скорость и цена — по словам спикера, GPT-3.5 отвечает примерно в три раза быстрее GPT-4 (73 против 196 миллисекунд на токен), а стоимость на его примере падает на 88,6%.
  • Короткие промпты — в одном консервативном примере промпт стал на 90% короче, потому что стиль и инструкции модель выучивает из примеров, а в промпте остаётся только тема.
  • Цикл разработки — промпты помогают собрать первый датасет и прототип, затем дообученная модель сравнивается с промптовой версией, а логи из продакшена возвращаются в обучающие данные.

Кому полезно: тем, кто хочет дообучать модели под бизнес-задачи и не хочет делать это руками в коде. Большая часть доклада — демо продукта Entry Point, но схема дообучения и сравнения с промптами полезна и без него.

Главы

Похожие доклады