Оценки вероятности вымирания человечества от ИИ
В августе 2025 бывший инженер Гугла и Майкрософта Нейт Соарес заявил о 95% вероятности вымирания человечества от ИИ. Сейчас он глава MIRI (Machine Intelligence Research Institute), которая занимается вопросами безопасности ИИ уже много лет.
Его открытое письмо от мая 2023 подписали такие люди как: Сэм Альтман (OpenAI), Демис Хассабис (Google DeepMind), Джеффри Хинтон и Йошуа Бенджио (лауреаты Тьюринга). В нём буквально одна фраза: "Снижение риска вымирания от ИИ должно стать глобальным приоритетом наравне с пандемиями и ядерной войной".
Эти люди боятся не Скайнета с терминаторами, их страхи куда более реалистичные:
Проблема выравнивания (Alignment Problem)
Классический пример: ИИ получает задачу "максимизировать производство скрепок" и в итоге превращает всю планету, включая людей, в сырье для скрепок.
Взрывной рост интеллекта (Intelligence Explosion)
Когда ИИ станет умнее своих создателей, то он сможет рекурсивно улучшать себя. И это экспоненциальный рост: сегодня он чуть умнее человека, завтра — в 10 раз, послезавтра — в миллион раз.
Проблема контроля и самосохранения
Любой ИИ будет сопротивляться попыткам его отключить, потому что это приведёт к невозможности выполнять его задачи. Это именно логика, а не какая-то злоба — если ты хочешь максимально эффективно достичь цели, то первым делом необходимо позаботиться, чтобы тебя не выключили.
Манипуляции и социальная инженерия
ИИ может воздействовать на физический мир например путём создания дипфейков людей и взламывания систем.
- И разное другое по типу создания новых патогенов и распространения себя по сети.
Соарес хорошо объясняет разницу между Скайнетом: "Основная проблема — не жуткое возникновение сознания, а просто способность принимать высококачественные решения".
Меня всегда удивляло это, ведь например текущие LLM демонстрируют прекрасное понимание человеческих ценностей, как такой интеллект может переварить всю планету для того чтобы наделать больше скрепок? Это получается какой-то идиот. Оказывается также думают и некоторые исследователи, например Ян ЛеКун (Meta) и Родни Брукс.
А потом я понял, что всегда представляю себе интеллект слишком антропоцентрично — с человеческими эмоциями, целями, мышлением и прочим. Но он совершенно не обязан быть таким.
Можно привести такую аналогию. Дадим AlphaGo возможность наносить смертельный удар током всем, кто его пытается отключить во время партии. И он так спокойно положит хоть миллион человек пока не завершит партию, ведь это его цель. Или дать ему условную возможность излечивать людей, и тогда, если его сопернику станет плохо до окончания партии, то он его вылечит лишь с целью завершения партии.
И это именно не злоба или садизм, а просто холодная оптимизация. Проблема не в создании дружелюбного ИИ, а в том, что по-умолчанию любой оптимизатор будет психопатом. Ведь люди-психопаты (~1% населения) ведут себя очень похоже: не чувствуют эмпатии, принимают решения чисто рационально, рассматривают людей как инструменты и могут имитировать эмоции для манипуляций.
И вот сейчас я действительно понимаю опасения этих людей. Что мы имеем:
- Бизнесу и государству очень выгоден ИИ, это новая нефть и все хотят преуспеть, вбухивая кучу ресурсов.
- Далеко не все спецы по ИИ всерьез думают о безопасности, особенно когда тебе платят кучу денег.
- На данный момент рабочих мер сдерживания ИИ попросту нет.
- И всё может случиться очень быстро, когда ИИ сможет себя улучшать — это не года, а дни и часы. Например AlphaZero за несколько часов прошел путь от новичка до супермастера в игре го.
Так что сейчас мой технологический оптимизм немного поутих, сменившись, как мне кажется, более взвешенной оценкой. Не хочется впадать в крайности от "ИИ нас всех спасёт" до "ИИ — безусловное зло".