← Каталог

· AI Engineer World's Fair 2026

Превращаю хранилище Obsidian в локального AI-инженера

Turning My Obsidian Vault Into a Local AI Engineer — Filip Makraduli, Superlinked

Перенос OCR и редакции документов из Claude Code в MCP-сервер на своём кластере экономит токены, но граница приватности остаётся открытой.

  • Разделение ролей — хост, MCP-сервер и GPU-воркеры общаются через инструменты: сервер отдаёт только tools, без sampling и elicitation, поэтому обмен остаётся простым вызовом инструментов.
  • Батчинг на каждом воркере — по словам автора, отдельный батчер у каждого воркера дал лучшую задержку end-to-end, чем общая очередь, из которой воркеры забирают задачи.
  • Эмбеддинги дешевле — по словам автора, на задачах MTEB лучшая модель для каждой задачи даёт 99,8% качества фронтирной модели при цене примерно в 10 раз ниже; подробные данные авторы обещают позже.
  • Thinking съедает бюджет — у модели для суммаризации reasoning-токены забирали весь бюджет генерации, и саммари выходили короткими или пустыми, поэтому режим мышления стоит проверять до выбора модели.

Кому полезно: тем, кто обрабатывает чувствительные документы через агентов и думает о self-hosted инференсе с LoRA под узкие задачи.

Статья по теме

Главы

Ещё доклады: Filip Makraduli

Страница спикера →

Похожие доклады