Основы AI-инжиниринга
AI Engineering 101
Память чат-бота — это массив сообщений, который отправляется в модель с каждым запросом, и на этом строятся базовые AI-продукты.
- Память и контекстное окно — токен примерно равен четырём символам английского текста, по токенам считается оплата. При превышении context window бот молча не отвечает, поэтому ошибку нужно обрабатывать отдельно.
- RAG на эмбеддингах — документацию MDN спикер режет на чанки по 1000 токенов и берёт фрагменты с наименьшим косинусным расстоянием до запроса, пока не наберётся 1800 токенов. В промпт попадает только этот контекст, и модель по инструкции отвечает «не знаю», если ответа там нет.
- Few-shot для генерации кода — два примера пар «запрос — код» в системном промпте задают стиль для всех последующих ответов. По словам спикера, модель лучше пишет код для давно существующих технологий, например Rails.
- Температура и `top_p` — температура 0 даёт почти одинаковые ответы, что подходит для документации, а для креативных задач её повышают. Спикер советует менять один параметр за раз.
Кому полезно: тем, кто впервые строит приложение поверх LLM API и хочет понять, что происходит под капотом.
Статья по теме
На какие вопросы отвечает доклад
Что происходит, если разговор с LLM превышает context window?
Запрос падает с ошибкой лимита контекста, и без обработки ошибок пользователь ничего не получает. Память бота — это массив сообщений, который отправляется с каждым запросом и сбрасывается при перезапуске сервера.
▶ 29:21API OpenAI, контекстные окна и токенизацияКак ограничить ответы LLM только данными из своей документации?
Документы режут на куски около 1000 токенов, считают эмбеддинги, ранжируют куски по косинусному расстоянию до эмбеддинга вопроса и набирают контекст до 1800 токенов. В промпте модели велено отвечать «I don't know», если ответа в контексте нет.
▶ 29:21API OpenAI, контекстные окна и токенизацияКак выбрать temperature и top P, чтобы ответы не менялись от запроса к запросу?
Для сухих справочных ответов temperature берут близкой к нулю, для творческих текстов выше. Спикер советует менять один параметр за раз и подбирать значение на нескольких промптах подряд.
▶ 1:36:15Температура модели и рабочие процессы с LLM для работы с документамиКак заставить LLM генерировать код в одном стиле без повторных инструкций?
В системный промпт добавляют несколько пар «вход — выход» как few-shot примеры, например JSX с inline-стилями. Спикер говорит, что модель затем переносит этот стиль на последующие запросы, а код для LLM предсказуем, поэтому генерация быстрая и дешёвая.
▶ 1:36:15Температура модели и рабочие процессы с LLM для работы с документамиПочему модели генерации картинок плохо справляются с текстом и точным количеством объектов?
По наблюдениям спикера, на промпт «четыре человека в лесу» нужное количество выходило примерно в четверти случаев, а надпись на картинке не получалась даже после получасовых попыток. Руки тоже часто выходят плохо, поэтому их убирают через негативные промпты.
▶ 2:12:21Работа с промптами, генерация кода и RoomGPTКак превратить голосовые сообщения Telegram в текст через API?
Из update берут file_id голосового сообщения, через bot.get_file скачивают файл в формате .ogg, затем передают его в openai.Audio.transcribe с моделью whisper-1. Для локального запуска спикер советует whisper.cpp, которая работает на CPU.
▶ 2:12:21Работа с промптами, генерация кода и RoomGPT
Главы
Похожие доклады
Отрываемся с GenMedia
AI Engineer Europe 2026
Близко по содержанию
ИИ в вашем lakehouse: контекст — это структуры, а не запросы
Zach Blumenfeld, Ben Squire, Ryan Knight
AI Engineer World's Fair 2026
Близко по содержанию
Разработка AI-приложений с семейством моделей Google Gemini 2.5
AI Engineer World's Fair 2025
Близко по содержанию
Полный воркшоп: голосовой AI в реальном времени
Aleix Conchillo Flaqué, Mark Backman
AI Engineer World's Fair 2025
Близко по содержанию
