← Каталог

· AI Engineer Summit 2023

Практичный ИИ с TypeChat

Pragmatic AI With TypeChat

TypeScript-типы можно использовать как схему для ответов LLM: по словам спикера, компилятор проверяет JSON и возвращает текст ошибок, с которым можно повторить запрос к модели.

  • Типы вместо промптов — интерфейсы TypeScript задают форму JSON-ответа, а валидация идёт тем же компилятором, что и в самом приложении. Вместо разбора свободного текста приложение получает данные, которые проверены по типам.
  • Поле для непонятного ввода — в примере с кофейней фраза, которую модель не смогла разобрать, не теряется: она попадает в отдельное поле, и приложение может показать её пользователю. По словам спикера, весь пример укладывается в менее чем 40 строк кода.
  • Программы вместо свободного кода — модель генерирует JSON-программу из вызовов разрешённых методов и ссылок на предыдущие результаты, а типы проверяются до выполнения. Циклов и лямбд нет; если модель выходит за рамки, результата не будет, плохого ответа при этом не возникает.

Кому полезно: тем, кто встраивает LLM в приложения с жёсткой схемой данных и хочет проверять ответы модели без парсинга текста.

Статья по теме

Главы

Похожие доклады