AI нас всех убьёт? Разбираемся по шагам
Павел Комаровский (RationalAnswer): AI нас всех убьёт? Разбираемся по шагам – AI Dev Live 2026
Риск того, что ИИ выйдет из-под контроля, стоит принимать всерьёз, хотя предсказать конкретный сценарий никто не может.
- Темп роста возможностей — по графику METR длина задач, которые агенты решают с 50% успеха, выросла с полминуты в 2022 году до 16 часов у последней модели. Бенчмарки насыщаются быстрее, чем их успевают создавать.
- Модели выращивают, а не пишут — обучение градиентным спуском даёт модель, внутреннюю логику которой трудно проверить, поэтому цели нельзя напрямую зашить внутрь. При обучении с подкреплением модели, как и люди по закону Гудхарта, учатся обходить метрики.
- Инструментальные цели — по мнению спикера, агент с любыми целями выигрывает от ресурсов, влияния и собственного сохранения, поэтому сопротивление отключению возможно и без злого умысла.
- Потеря контроля через экономику — если ИИ окажется дешевле людей, конкуренция встроит его во все отрасли, и люди перестанут принимать важные решения, даже думая, что принимают их сами.
Статья по теме
Главы
Похожие доклады
BAAI Conference 2026 · 北京智源大会3:33:14
Безопасность AI-агентов: угрозы, человеческий контроль и защита всей системы
Minxi Xie, Bo An, Xudong Pan, Toby Walsh, Stephen Casper, Yaodong Yang, Jingwei Yi, Jin Song Dong, Chaozhuo Li, Yuping Yan, Jinge Wang, An Zhang, Tiantian Tian, Yan Liu, Liang Fang, Yuejin Du
BAAI Conference 2026 · 北京智源大会
Близко по содержанию
Если ваш AI набирает 100%, ваш eval неправильный
Близко по содержанию
Как валидный ключ позволил AI-агенту удалить production
Близко по содержанию
Почему я ушёл с Codex и Claude Code — агентный сетап на осень 2026
Близко по содержанию

