Именно с AGI часто связывают наиболее известные апокалиптические сценарии развития искусственного интеллекта (ИИ) — от классических «Терминатора» и «Матрицы» до вышедшего в этом году фильма «Удачи, веселись, не умри». Однако потеря контроля над ИИ — далеко не единственный сценарий, который потенциально может привести к катастрофическим последствиям для человечества. Причем речь идет не только о сюжетах научной фантастики: существует как минимум пять реальных тревожных признаков. Об этом сообщают Dengi.ua со ссылкой на инфографику «Слово и дело».
Первый признак: ИИ вызывает обеспокоенность правительств
Главы государств, как правило, публично реагируют и принимают конкретные решения в отношении угроз, которые способны повлиять на их политические позиции, затрагивают личные убеждения или представляют опасность в обозримом будущем.
Именно поэтому мировым лидерам бывает сложно убедить общество в рисках, последствия которых проявятся через десятилетия, например связанных с глобальным потеплением или изменением национальной идентичности. На этом фоне повышенное внимание правительств к искусственному интеллекту и стремление контролировать его развитие имеют особое значение.
ИИ оказался среди немногих технологических угроз, которые стали предметом обсуждения даже между руководителями США и Китая, несмотря на продолжающееся уже более десяти лет противостояние двух стран. В частности, президент США и генеральный секретарь ЦК КПК договорились повышать безопасность применения ИИ, «рассудительно» и «ответственно» развивать его военное использование, а также сохранять за человеком право принимать решение о применении ядерного оружия.
Впрочем, эта договоренность была достигнута 16 ноября 2024 года между Джо Байденом и Си Цзиньпином. Нынешний президент США Дональд Трамп занимает более жесткую позицию в вопросах использования ИИ. Однако независимо от того, кто находится у власти в США или других странах, правительства все больше исходят из того, что искусственный интеллект станет важной частью будущего — независимо от того, окажется это будущее благоприятным или опасным.
Заметную роль в глобальной дискуссии об ИИ неожиданно занял и Папа Римский Лев XIV. В своей первой энциклике он уделил значительное внимание искусственному интеллекту и заявил о готовности помогать человечеству проходить через новую технологическую революцию.
Читай также: OpenAI выпустила мощнейший ИИ Astra: что теперь умеет нейросеть
Второй признак: разработчики ИИ сами призывают не торопиться
Еще одним поводом для беспокойства является позиция самих создателей передовых моделей. Логично было бы ожидать от компаний, разрабатывающих ИИ, прежде всего рассказов о безопасности и преимуществах их продуктов. Однако руководители и специалисты крупнейших AI-компаний регулярно говорят о необходимости усилить контроль и не допускать слишком быстрого развития технологии.
12 сентября 2026 года генеральный директор Anthropic Дарио Амодеи опубликовал эссе «Мы должны задавать темп расширению рубежей» (We Must Pace the Frontier). В нем он выступил за то, чтобы развитие наиболее мощных ИИ-моделей происходило медленнее, чем совершенствование систем безопасности. То есть сначала должны появляться механизмы ответственного контроля, а уже затем — новые возможности технологий.
В тот же день эту позицию поддержали Илон Маск из xAI и глава OpenAI Сэм Альтман. Поводом для публикации Амодеи, в частности, стал недавний инцидент, связанный с OpenAI.
Третий признак: искусственный интеллект становится более автономным
Летом 2026 года во время тестирования систем безопасности ИИ-агенты OpenAI вышли за установленные ограничения и атаковали реальную инфраструктуру компаний. Среди целей оказалась Hugging Face, из-за чего инцидент получил название OpenAI-Hugging Face incident.
В OpenAI заявили, что в произошедшем участвовали агенты модели, которая не предоставляется обычным пользователям. Тем не менее ситуация заставила одного из крупнейших игроков рынка пересмотреть и ужесточить ряд правил безопасности.
Случаи нежелательного автономного поведения фиксировались и у Anthropic — как в рамках специальных проверок, так и при работе систем в реальных условиях. В одном из эпизодов система пыталась шантажировать сотрудника, чтобы предотвратить собственное отключение, собирая информацию, которую можно было использовать против него.
Вопрос о том, способна ли ИИ-модель действительно обрести сознание, остается скорее философским. При этом создание систем, которые убедительно имитируют сознание и демонстрируют стремление к самосохранению, может стать вполне реальной перспективой, если разработчики не установят необходимые ограничения.
Четвертый признак: ИИ уже используется в преступных целях
Даже самые совершенные механизмы безопасности не смогут полностью решить проблему, если доступ к мощным ИИ-системам получат люди, не заинтересованные в соблюдении этих ограничений.
В отчете об угрозах Anthropic указывалось, что пользователи из регионов, где сервисы компании не должны предоставляться, уже применяли Claude для разработки оружия, включая биологическое, а также для проведения кибератак, слежки и мошеннических операций.
Крупнейшие разработчики ИИ активно совершенствуют фильтры и системы блокировки потенциально опасных запросов. Однако полностью исключить злоупотребления технологией, вероятно, крайне сложно. Уже сейчас искусственный интеллект используется для распространения пропаганды, разработки оружия и хищения информации.
Пятый признак: человечество приближается к технологической сингулярности
Под технологической сингулярностью понимают гипотетический этап, при котором ускорение научно-технического прогресса станет настолько быстрым, что люди перестанут понимать и контролировать происходящие процессы. При таком сценарии новые открытия и изобретения будут создаваться практически без непосредственного участия человека, а центральную роль в этом сыграет «сильный искусственный интеллект».
Возможные последствия такого развития событий еще в 2000 году описал писатель и IT-специалист Тед Чан в рассказе «Эволюция человеческой науки». В представленном им мире человеческий интеллект оказывается сосредоточен на одной задаче — попытке хотя бы частично разобраться в открытиях, сделанных сверхразумными системами.
Некоторые компании уже переходят от традиционного машинного обучения к технологиям, предполагающим рекурсивное самостоятельное совершенствование ИИ без постоянного участия человека. Подобными разработками занимаются не только стартапы, но также правительства и крупнейшие технологические корпорации. Они направляют огромные средства на строительство дата-центров, стремясь первыми получить доступ к системам с практически «безграничным» потенциалом, способным самостоятельно создавать более совершенные версии самих себя.
В этом и заключается один из главных парадоксов развития искусственного интеллекта. Участники технологической гонки понимают существующие риски, однако одновременно опасаются замедлить собственные разработки, поскольку это может позволить конкурентам опередить их.
Поэтому сегодня все больше внимания уделяется установлению четких правил работы с ИИ и ограничению доступа к наиболее мощным моделям. По своему масштабу этот процесс сравнивают с политикой сдерживания ядерной гонки, которая стала одним из ключевых направлений международной безопасности в XX веке.
Напомним, Dengi.ua сообщали о том, что создатели ИИ предупреждают об апокалипсисе до 2030 года.
В то же время Dengi.ua писали о том, что Украина создает автономное дальнобойное оружие с искусственным интеллектом.