Petro Milan — senior solutions architect в NVIDIA, где работает над inference больших языковых моделей и агентными системами. Ранее он был principal AI engineer в SambaNova Systems и вёл разработку приложений на Llama 3. До этого участвовал в программе Argonne National Laboratory по вычислениям экстремального масштаба, работал над симуляциями жидкостных ракетных двигателей и в 2021 году получил докторскую степень по аэрокосмической инженерии в Georgia Tech. В докладе на AI Engineer World's Fair 2024 он рассказывал о скорости inference и RAG-системах для корпоративных документов.
Темы докладов: RAG, поиск и эмбеддинги, Инференс, стоимость, открытые модели и Документы, парсинг, OCR.
AI Engineer World's Fair 20241
Llama 3 со скоростью 1000 токенов/с на AI-платформе SambaNova
Rachelle Mattern, Petro Milan, Varun Krishna
AI Engineer World's Fair 2024