· AI Engineer World's Fair 2026
Превращаю хранилище Obsidian в локального AI-инженера
Turning My Obsidian Vault Into a Local AI Engineer — Filip Makraduli, Superlinked
Перенос OCR и редакции документов из Claude Code в MCP-сервер на своём кластере экономит токены, но граница приватности остаётся открытой.
- Разделение ролей — хост, MCP-сервер и GPU-воркеры общаются через инструменты: сервер отдаёт только tools, без sampling и elicitation, поэтому обмен остаётся простым вызовом инструментов.
- Батчинг на каждом воркере — по словам автора, отдельный батчер у каждого воркера дал лучшую задержку end-to-end, чем общая очередь, из которой воркеры забирают задачи.
- Эмбеддинги дешевле — по словам автора, на задачах MTEB лучшая модель для каждой задачи даёт 99,8% качества фронтирной модели при цене примерно в 10 раз ниже; подробные данные авторы обещают позже.
- Thinking съедает бюджет — у модели для суммаризации reasoning-токены забирали весь бюджет генерации, и саммари выходили короткими или пустыми, поэтому режим мышления стоит проверять до выбора модели.
Кому полезно: тем, кто обрабатывает чувствительные документы через агентов и думает о self-hosted инференсе с LoRA под узкие задачи.
Статья по теме
Главы
Ещё доклады: Filip Makraduli
Страница спикера →Свёртка весов, CUDA-потоки и баг, из-за которого моя модель заговорила задом наперёд
AI Engineer World's Fair 2026
Инфраструктура для малых моделей, которую никто не создал (поэтому мы её создали)
AI Engineer World's Fair 2025
Похожие доклады
Разбор файлов Эпштейна для JMail
AI Engineer World's Fair 2026
Близко по содержанию
Агенты, которые сами управляют своим инференсом
AI Engineer World's Fair 2026
Близко по содержанию
Структурирование неструктурированных данных: продвинутый разбор документов для AI-workflows
AI Engineer World's Fair 2026
Близко по содержанию
От исходных документов к данным, готовым для ИИ
AI Engineer World's Fair 2026
Близко по содержанию

