← Каталог

· AI Engineer Summit 2023

Основы AI-инжиниринга

AI Engineering 101

Память чат-бота — это массив сообщений, который отправляется в модель с каждым запросом, и на этом строятся базовые AI-продукты.

  • Память и контекстное окно — токен примерно равен четырём символам английского текста, по токенам считается оплата. При превышении context window бот молча не отвечает, поэтому ошибку нужно обрабатывать отдельно.
  • RAG на эмбеддингах — документацию MDN спикер режет на чанки по 1000 токенов и берёт фрагменты с наименьшим косинусным расстоянием до запроса, пока не наберётся 1800 токенов. В промпт попадает только этот контекст, и модель по инструкции отвечает «не знаю», если ответа там нет.
  • Few-shot для генерации кода — два примера пар «запрос — код» в системном промпте задают стиль для всех последующих ответов. По словам спикера, модель лучше пишет код для давно существующих технологий, например Rails.
  • Температура и `top_p` — температура 0 даёт почти одинаковые ответы, что подходит для документации, а для креативных задач её повышают. Спикер советует менять один параметр за раз.

Кому полезно: тем, кто впервые строит приложение поверх LLM API и хочет понять, что происходит под капотом.

Статья по теме

На какие вопросы отвечает доклад

  • Что происходит, если разговор с LLM превышает context window?

    Запрос падает с ошибкой лимита контекста, и без обработки ошибок пользователь ничего не получает. Память бота — это массив сообщений, который отправляется с каждым запросом и сбрасывается при перезапуске сервера.

    ▶ 29:21API OpenAI, контекстные окна и токенизация
  • Как ограничить ответы LLM только данными из своей документации?

    Документы режут на куски около 1000 токенов, считают эмбеддинги, ранжируют куски по косинусному расстоянию до эмбеддинга вопроса и набирают контекст до 1800 токенов. В промпте модели велено отвечать «I don't know», если ответа в контексте нет.

    ▶ 29:21API OpenAI, контекстные окна и токенизация
  • Как выбрать temperature и top P, чтобы ответы не менялись от запроса к запросу?

    Для сухих справочных ответов temperature берут близкой к нулю, для творческих текстов выше. Спикер советует менять один параметр за раз и подбирать значение на нескольких промптах подряд.

    ▶ 1:36:15Температура модели и рабочие процессы с LLM для работы с документами
  • Как заставить LLM генерировать код в одном стиле без повторных инструкций?

    В системный промпт добавляют несколько пар «вход — выход» как few-shot примеры, например JSX с inline-стилями. Спикер говорит, что модель затем переносит этот стиль на последующие запросы, а код для LLM предсказуем, поэтому генерация быстрая и дешёвая.

    ▶ 1:36:15Температура модели и рабочие процессы с LLM для работы с документами
  • Почему модели генерации картинок плохо справляются с текстом и точным количеством объектов?

    По наблюдениям спикера, на промпт «четыре человека в лесу» нужное количество выходило примерно в четверти случаев, а надпись на картинке не получалась даже после получасовых попыток. Руки тоже часто выходят плохо, поэтому их убирают через негативные промпты.

    ▶ 2:12:21Работа с промптами, генерация кода и RoomGPT
  • Как превратить голосовые сообщения Telegram в текст через API?

    Из update берут file_id голосового сообщения, через bot.get_file скачивают файл в формате .ogg, затем передают его в openai.Audio.transcribe с моделью whisper-1. Для локального запуска спикер советует whisper.cpp, которая работает на CPU.

    ▶ 2:12:21Работа с промптами, генерация кода и RoomGPT

Главы

Похожие доклады