← Каталог

· AI Engineer World's Fair 2024

Научное рассуждение LLM: как научить ИИ делать открытия уровня Нобелевской премии

LLM Scientific Reasoning: How to Make AI Capable of Nobel Prize Discoveries

Для поиска связей между разрозненными научными работами одного RAG мало: нужны шаги рассуждения до поиска по embeddings.

  • Рассуждение до поиска — чем сложнее смысл вопроса с несколькими концепциями, тем сильнее простой RAG проигрывает; помогают маршрутизация запроса и GraphRAG, где знания из документов представлены в виде графа.
  • Проверка на прошлом знании — систему тестировали только на статьях, опубликованных до открытия, и сравнивали результат с известным ответом, чтобы модель не подсказала его из обучения.
  • Релевантность под задачу — прогон каждого чанка через LLM с промптом про продвижение гипотезы дал результат ближе к истине, чем классификатор, который дублировал расстояния embeddings; среди найденных гипотез оказалась нужная связь с RNA. По словам автора, это пока ранние результаты.
  • Делегирование рассуждений — каузальный вывод и алгоритмические задачи можно отдать специализированным библиотекам и REPL как инструменту агента, а не полагаться только на LLM.

Кому полезно: тем, кто строит RAG для научных или исследовательских задач, где нужные факты лежат в разных документах и связаны неочевидно.

Статья по теме

Главы

Ещё доклады: Hubert Misztela

Страница спикера →

Похожие доклады