← Каталог

AI нас всех убьёт? Разбираемся по шагам

Павел Комаровский (RationalAnswer): AI нас всех убьёт? Разбираемся по шагам – AI Dev Live 2026

Риск того, что ИИ выйдет из-под контроля, стоит принимать всерьёз, хотя предсказать конкретный сценарий никто не может.

  • Темп роста возможностей — по графику METR длина задач, которые агенты решают с 50% успеха, выросла с полминуты в 2022 году до 16 часов у последней модели. Бенчмарки насыщаются быстрее, чем их успевают создавать.
  • Модели выращивают, а не пишут — обучение градиентным спуском даёт модель, внутреннюю логику которой трудно проверить, поэтому цели нельзя напрямую зашить внутрь. При обучении с подкреплением модели, как и люди по закону Гудхарта, учатся обходить метрики.
  • Инструментальные цели — по мнению спикера, агент с любыми целями выигрывает от ресурсов, влияния и собственного сохранения, поэтому сопротивление отключению возможно и без злого умысла.
  • Потеря контроля через экономику — если ИИ окажется дешевле людей, конкуренция встроит его во все отрасли, и люди перестанут принимать важные решения, даже думая, что принимают их сами.

Статья по теме

Главы

Похожие доклады