Главная страница | Производство | Аналитика | Мероприятия

РУС | ENG

Экзистенциальные риски на фоне успехов ИИ

09.10.2026

Экзистенциальные риски на фоне успехов ИИ

Академик Олег Фиговский

ИИ-технология далеко не единственный экзистенциальный риск, угрожающий нашему виду. Но попытка оценить подобные угрозы космического масштаба способна основательно запутать исследователя. Он может организовать атаку с применением биологического оружия или развязать глобальную войну дронов. Может привести в действие ядерную бомбу. А может разрушить человеческое общество более постепенно, сосредоточив в своих руках все экономические ресурсы мира и лишив нас еды, жилья или лекарств.

Именно такие мрачные мысли сегодня возникают вокруг искусственного интеллекта, технологии, которая уже стала огромным достижением человечества, но которая, как опасаются некоторые, потенциально способна полностью нас уничтожить. В сентябре подобные тревоги попали в заголовки мировых СМИ после того, как исследователь Anthropic ушёл из индустрии, объяснив своё решение опасениями, что его лаборатория и другие подобные компании создают сверхразумные машины, которые люди не смогут контролировать.

Потенциальные угрозы, связанные с ИИ, вполне объяснимо пугают. Но современный мир изобилует множеством экзистенциальных рисков. Человечеству также грозит гибель из‑за астероидов, пандемий, термоядерной войны, изменения климата, гигантских выбросов раскалённого вещества с Солнца, экологического коллапса и внезапного наступления ледникового периода. Проблема, говорят учёные и специалисты по государственной политике, заключается не столько в самих угрозах, среди которых ИИ лишь самая новая, сколько во врождённой человеческой неспособности правильно оценивать их масштаб и соотношение.

«Мы терпимо относимся к рискам, к которым привыкли, но боимся новых», — сказал Джеймс К. Хэммитт, директор Гарвардского центра анализа рисков. Мы гораздо чаще ездим на автомобилях, чем летаем на самолётах, отметил он, поэтому «авиаперелёты воспринимаются как нечто более опасное по сравнению с автомобильным транспортом, хотя на самом деле это не так». Искусственный интеллект, добавил он, «очевидно, плохо понятен и не воспринимается нами как нечто находящееся под нашим контролем, поэтому вызывает огромную общественную тревогу».

Среди руководителей технологических компаний и исследователей, создающих системы ИИ, всегда существовала группа людей, предупреждавших о том, что искусственный интеллект потенциально способен уничтожить человечество. В краткосрочной перспективе, считают некоторые, искусственный интеллект может помочь людям без специальных навыков, но со злонамеренными намерениями создавать вирусы или токсичные вещества, способные вызвать массовые заболевания и гибель людей. Anthropic недавно заявила, что пресекла несколько попыток исследователей проводить работу, которая потенциально могла привести к созданию биологического оружия.

В более долгосрочной перспективе те, кто предупреждает о потенциальной опасности ИИ, утверждают, что технологические компании могут предоставить системам искусственного интеллекта большую автономность, выпустить их в интернет и даже связать с жизненно важной инфраструктурой, включая электросети, фондовые рынки и военные системы вооружений. Получив доступ к такой инфраструктуре, утверждают они, системы ИИ могут создавать проблемы неожиданными способами.

Сегодня, если системы искусственного интеллекта выходят из‑под контроля, компании вроде OpenAI могут просто их отключить. Однако некоторые специалисты опасаются, что будущие системы станут сопротивляться попыткам их отключить. Пока всё это лишь гипотетические опасения. «До этого нам ещё очень далеко, — сказал Орен Эциони, профессор Вашингтонского университета и основатель Института искусственного интеллекта Аллена. — Если бы мне пришлось выбирать, чего опасаться сильнее: того, что ИИ вырвется из лаборатории и убьёт миллионы людей, или того, что из лаборатории вырвется вирус и убьёт миллионы, тут даже сравнивать нечего. Опасаться нужно вируса».

Как выясняется, даже у сибирской язвы есть вполне реальные шансы покончить с человечеством. Сибирская язва известна с древних времён, а в более современную эпоху она стала излюбленным средством государств‑изгоев, разрабатывающих программы биологического оружия. Учёным давно известно, что порядка четырёх литров возбудителя сибирской язвы при соответствующем распространении могло бы хватить, чтобы уничтожить человеческую жизнь на Земле. Однако этого не произошло, хотя Северную Корею и другие враждебно настроенные государства, включая Иран, давно подозревают в наличии этого смертоносного микроорганизма. В лихорадочных паниках современной жизни часто забывают, что по крайней мере в случае преднамеренных угроз нас может спасти старое доброе сдерживание. Государства не спешат применять сибирскую язву против противника, потому что столкнутся с ответным ударом, который превратит такую атаку в самоубийство, а значит, у них появляется стимул проявлять сдержанность.

Гарвардский центр, основанный в 1989 году, пытается рассматривать многочисленные сценарии катастроф в правильном масштабе, особенно те из них, которые невозможно предотвратить с помощью сдерживания, например экологические риски и серьёзные угрозы здоровью человечества. Центр применяет теорию принятия решений, экономику и методы оценки рисков, чтобы анализировать и совершенствовать государственную политику. Аналогичным образом НАСА использует суперкомпьютеры в рамках своего проекта по оценке астероидной угрозы. В целом космическое агентство оценивает риск столкновения с астероидом в этом столетии, которое могло бы угрожать существованию человечества, как практически нулевой. По расчётам агентства, жители Земли, по всей вероятности, могут спокойно вздохнуть как минимум на ближайшую тысячу лет.

А как знающие специалисты оценивают риск глобальной пандемии, которая уничтожит большую часть человечества? Они считают эту угрозу низкой, хотя и не нулевой. Тоби Орд, исследователь Оксфордского университета, в своей книге 2020 года «На краю пропасти: экзистенциальный риск и будущее человечества» оценил вероятность экзистенциальной катастрофы из‑за пандемии в течение ближайших ста лет как один к тридцати, то есть примерно в 3 процента.

Особенность предвестников катастрофы из технологической индустрии по сравнению, скажем, с авиационным специалистом, оценивающим риск авиакатастроф, состоит в том, что многие руководители и исследователи в сфере ИИ придерживались столь мрачных взглядов ещё до того, как технология начала демонстрировать свои возможности. Они считают экзистенциальный риск серьёзной проблемой отчасти потому, что всегда так считали.

«Я был там, когда эта субкультура только формировалась», — сказал Зак Корман, один из основателей компании Embroidery, занимающейся безопасностью ИИ. Он имел в виду годы, проведённые им в Оксфордском университете, который тогда был одним из центров движения «эффективного альтруизма», где впервые получили распространение многие опасения по поводу экзистенциального риска ИИ. По словам Кормана, сегодня слишком многие исследователи этой темы «интерпретируют все события через призму этой истории, которую рассказывают уже больше десяти лет».

Однако многие ведущие мировые исследователи таких взглядов не разделяют. Они считают эти страхи чрезвычайно преувеличенными. И учёные за пределами Кремниевой долины, как правило, совсем иначе оценивают угрозу со стороны ИИ. «У этой дискуссии есть определённая рамка, причём очень специфическая. Она существовала ещё до того, как произошёл прорыв в глубоком обучении, и с тех пор так и не изменилась, — сказал исследователь ИИ из Оксфорда Брантон ДеМосс, говоря о развитии нейронных сетей. — И я с ней не согласен».

В недавней записи в блоге доктор Орд описал, как различные мировые риски меняются в разных направлениях: вероятность климатической катастрофы снижается, а ядерной — растёт. Что касается пандемий и искусственного интеллекта, его оценка неоднозначна: многое изменилось, но нельзя сказать, что общий уровень риска определённо движется в ту или иную сторону. Специалисты отмечают, что катастрофические и экзистенциальные риски можно уменьшить с помощью продуманных планов и систем раннего предупреждения. Столкнувшись с ясной и непосредственной угрозой, например с астероидом, летящим прямо к планете, человечество вполне может объединиться перед общим врагом и отложить свои распри на второй план.

Доктор Орд надеется, что однажды наступит состояние, которое он называет «экзистенциальной безопасностью». «Это гипотетическое будущее состояние мира, в котором экзистенциальный риск низок и остаётся низким», — написал он. Человечество не просто потушит нынешние пожары, отметил доктор Орд, но и «создаст механизмы, которые гарантируют, что огонь больше не будет представлять существенной угрозы».

Зонтичный обзор с общей выборкой более девяти миллионов участников показал, что общее время перед экраном у детей младше десяти лет связано с ухудшением социально-эмоционального и когнитивного развития. У подростков и молодых взрослых в возрасте от 10 до 24 лет потребление цифрового контента ассоциировалось с общими проблемами психического здоровья, снижением качества жизни и физической активности, а также суицидальными мыслями. При этом в детском возрасте образовательный контент и совместный просмотр с родителями улучшали языковые и когнитивные навыки, а в подростковом активные видеоигры и бодипозитивный контент улучшали самочувствие и повышали уровень физической активности. Результаты обзора опубликованы в eClinicalMedicine.

Под использованием цифровых медиа, как правило, понимают любое взаимодействие с цифровыми устройствами, у которых есть экран. Известно, что большинство детей и подростков ежедневно проводят время перед экранами, часто в течение нескольких часов. За последнее десятилетие и особенно во время и после пандемии ковида, эти тенденции усилились, что вызывает растущую обеспокоенность по поводу долгосрочных последствий такого использования.

Так, появилось большое количество систематических обзоров и метаанализов, в которых изучалась связь между использованием цифровых медиа и последствиями для здоровья детей и подростков. Однако эти данные трудно интерпретировать, поскольку обзоры часто фокусируются на отдельных типах воздействия, таких как время перед экраном или использование социальных сетей, и исключительных исходах, включая психическое здоровье или сон. Из-за этого результаты исследований разбросаны по нескольким областям и редко сводятся к единой структуре.

С этой проблемой попыталась разобраться группа ученых под руководством Натараджан Падмаприи (Natarajan Padmapriya) из Национального университета Сингапура и провела зонтичный обзор 121 систематического обзора (52 из них с метаанализом), включающий 2790 уникальных первичных исследований и более девяти миллионов участников. Целью исследователей было всестороннее изучение связи между использованием цифровых медиа детьми, подростками и молодыми взрослыми и различными показателями здоровья.

Нарративный обзор показал, что среди детей до десяти лет большее время перед экраном связано с ухудшением речевого, когнитивного, социально-эмоционального и поведенческого развития, а также с более короткой продолжительностью сна и риском развития симптомов расстройств аутистического спектра. Примечательно, что соответствующий возрасту образовательный контент и совместное потребление контента с родителями были связаны с улучшением языковых и когнитивных результатов.

Количественный анализ показал, что в возрасте до пяти лет большее количество экранного времени повышало риск проблемного поведения и снижения когнитивных показателей, при этом обучающий контент на экране улучшал показатели речевого развития. Общий анализ также выявил отрицательную связь между потреблением динамичного или фантастического контента и когнитивными или академическими результатами.

В возрасте от 10 до 24 лет использование цифровых медиа (в том числе проблемное) ассоциировалось с ухудшением психического здоровья, причинением себе вреда и суицидальным поведением, нарушениями сна, употреблением алкоголя, одиночеством и снижением качества жизни. Положительные ассоциации наблюдались между бодипозитивным контентом и активными видеоиграми и улучшением самочувствия и физической активности. Риск проблемного поведения при высоком уровне использования цифровых медиа повышался в три раза, а при репрезентации «идеальных тел» значительно снижались оценки хорошего самочувствия.

Хотя анализ чувствительности показал, что исключение количественных данных за допандемийный период не повлияло на объединенные ассоциации, авторы этого обзора признают, что качество двух третей включенных исследований оценивалось как низкое или критически низкое. Это отражает наблюдательный характер лежащих в их основе данных. Однако он все-таки показывает, что важно не только абсолютное время, которое дети и подростки проводят перед экранами, но и контент, который они потребляют. По мнению ученых выявленных закономерностей достаточно для принятия политических мер для защиты детей от последствий использований цифровых медиа.

Новый инструмент ИИ может определить, на что вы смотрите, по сканам вашего мозга, — и воссоздать это изображение с поразительной точностью. И наоборот, предсказывает активность мозга по тому, на что человек смотрит. Израильские ученые, разработавшие этот метод «чтения мыслей», надеются, что его можно будет применять для общения с пациентами с синдромом запертого человека или для записи и последующей визуализации сновидений.

Нейробиологи годами работают над способами использования функциональной магнитно-резонансной томографии (фМРТ) для реконструкции того, что люди видят и что происходит в их сознании. Первые попытки давали размытые и трудноразличимые изображения. Однако постепенно прогресс в технологиях — как в самой томографии, так и в инструментах интерпретации результатов — привел к улучшениям.

Магнитно-резонансный томограф отслеживает поток насыщенной кислородом крови через мозг; области, которые «загораются» на сканах, считаются особенно активными в данный момент. Результаты не особенно точны: обычно подсвеченный «воксель» активности охватывал около трех кубических миллиметров, а каждый кубический миллиметр содержит около 16 000 нейронов. Но ученые из Института Вейцмана использовали более новые наборы данных, собранные сканерами с более высоким разрешением, где в каждом вокселе было около 1 мм³ нейронов.

Исследователи хотели точнее воссоздавать увиденные изображения. В первую очередь, они обучили модель-декодер на сканах восьми человек, которым, пока они были в аппарате фМРТ, показали около 9000 изображений. Однако этих данных было мало, поэтому ученые обучили еще одну модель — энкодер, предсказывающий активность мозга по изображению, — и использовала энкодер и декодер вместе для улучшения обоих инструментов. Работает это так: берем новое изображение, скажем, леопарда, используем энкодер, чтобы предсказать, как выглядел бы скан фМРТ человека, увидевшего эту картинку, затем декодер реконструирует изображение. Сначала реконструкция вряд ли будет похожа на леопарда, но повторное обучение моделей таким образом в конце концов приводит к значительным улучшениям. Этот подход также позволяет обучать модели на сколь угодно большом числе изображений, которые даже никогда не показывали человеку в аппарате фМРТ.

Объединив данные из нескольких исследований, команда смогла выявить области мозга, которые, по-видимому, выполняют общие функции у всех людей: одна область реагировала на изображения еды, другая — на изображения спорта. Полученный «универсальный энкодер мозга» может работать со сканом нового человека при минимальной калибровке: если раньше инструменту обычно требовалось около 40 часов данных фМРТ о новом человеке, прежде чем начать предсказывать, что тот видит, то новому декодеру нужен всего час данных. Это существенно облегчает исследования мозга, учитывая, что стоимость работы с подобным аппаратом составляет 600–1000 долларов в час, пишет Technology Review. В дальнейшем исследователи планируют перейти от изображений к видео и аудио, а затем и научиться реконструировать то, о чем люди думают, что воображают, что видят во сне.

Американский ИИ-стартап Reflection презентовал свою первую открытую модель искусственного интеллекта Beam, которая обходит по энергоэффективности крупные зарубежные аналоги при решении сложных задач по программированию. Об этом сообщает блог Reflection. Разработчики спроектировали новинку на базе архитектуры Mixture-of-Experts с 501 млрд общих и 23 млрд активных параметров. Инженеры обучили алгоритм на рекордном массиве из 23,8 трлн текстовых токенов и задействовали огромные вычислительные мощности для подкрепляемого обучения. Во время финальных тестов нейросеть показала производительность на уровне флагманской модели GLM 5.2, однако затратила на генерацию ответов в 3–4 раза меньше вычислительных ресурсов.

Главной особенностью архитектуры стал встроенный регулятор длины рассуждений, который позволяет пользователям самостоятельно настраивать баланс между скоростью работы и качеством вычислений. При низких значениях параметра ИИ выдает лаконичные ответы, а при высоких — запускает многоступенчатый анализ для поиска скрытых ошибок в коде. Представители компании откроют исходный код и веса модели под свободной лицензией Apache 2.0 в течение текущего месяца.

Специалисты аналитического отдела Google Threat Intelligence Group предупредили о резком изменении ландшафта киберугроз из-за интеграции искусственного интеллекта в рабочие процессы преступников. Об этом сообщает TechRadar. Активное использование нейросетей злоумышленниками привело к удвоению общего числа обнаруженных уязвимостей в 2026 году. Согласно внутренней статистике корпорации, в январе эксперты выявили 5045 системных ошибок, а к августу этот показатель подскочил до 10 740. Среднее количество ежемесячных атак с практической эксплуатацией этих брешей выросло с 10,5 в прошлом году до 18 в текущем. Вопреки популярным мифам, главным преимуществом хакеров стали не редкие уязвимости нулевого дня, а быстрая автоматизация взлома по уже опубликованным отчетам безопасности.

ИИ-алгоритмы помогают преступникам создавать рабочие эксплойты всего за несколько дней после официального раскрытия данных о багах. В ответ на новые вызовы специалисты по защите также используют нейросети, чтобы находить критические дефекты в базовых библиотеках, средах выполнения и механизмах распределения прав. Анализ показал, что 50% найденных с помощью умных систем ошибок позволяют удаленно выполнять чужой код. Аналитики призывают компании срочно переходить к жесткой приоритизации исправлений на основе аналитики угроз, чтобы успевать за скоростью автоматизированных атак.

Ученые создали «речевые часы», которые по нескольким минутам записи голоса оценивают возраст человека и выявляют признаки ускоренного старения. Чем сильнее расчетный возраст речи отличался от реального, тем чаще у человека обнаруживались когнитивные нарушения, включая признаки деменции. Для создания модели исследователи использовали записи почти 3 тыс. испаноязычных людей из нескольких стран Латинской Америки. В выборку вошли как здоровые участники, так и люди с легкими когнитивными нарушениями, болезнью Альцгеймера и различными формами деменции. О выводах пишетNature.

Участники выполнили несколько речевых заданий, а затем исследователи анализировали более 700 характеристик речи. Среди них были высота голоса, скорость речи, словарный запас и другие особенности. На этих данных ИИ обучили определять возраст человека только по его речи. У здоровых участников речевой возраст в целом соответствовал хронологическому. У людей с когнитивными нарушениями он чаще оказывался выше. При этом по величине разрыва речевого возраста модель могла различать здоровых людей и участников с когнитивными нарушениями.

Чем больше был разрыв, тем сильнее он был связан с проблемами когнитивных функций. Особенно заметная связь наблюдалась у людей с деменцией. Это указывает на то, что изменения речи могут отражать не только обычное старение, но и связанные с ним изменения работы мозга. «Мы видим огромную прогностическую ценность всего по четырем минутам записи речи», — заявил соавтор исследования Агустин Ибаньес.

Исследователи отмечают, что речь может быть удобным показателем старения, поскольку для ее анализа не нужны сложные медицинские процедуры. Другие «часы старения» используют снимки мозга или анализы крови, тогда как голос можно записать с помощью обычного микрофона. Поскольку модель обучали на испаноязычных участниках ее нельзя автоматически применять к людям, говорящим на других языках. Сейчас исследователи планируют протестировать метод на людях их других стран и проследить за участниками в долгосрочной перспективе.

Anthropic заявила, что китайская ИИ-модель GLM-5.3 компании Zhipu AI (Z.AI) способна автономно проводить атаки на уязвимости, а ее встроенную защиту от вредоносного использования можно относительно легко снять. В собственных тестах Anthropic модель успешно создавала сквозные эксплойты в 12% попыток, что сопоставимо с результатом Claude Mythos Preview. Но в отличие от закрытой Mythos, GLM-5.3 распространяется с открытыми весами, а значит, пользователи могут самостоятельно удалить ее защитные механизмы.

В тесте ExploitBench, который оценивает способность ИИ использовать уязвимости движка V8 в Google Chrome, GLM-5.3 создала рабочие эксплойты в 50 из 410 попыток. Claude Mythos Preview показала результат 56 из 410. В другом тесте Anthropic, проверяющем эксплуатацию уязвимостей в популярных проектах с открытым исходным кодом, GLM-5.3 добилась полного перехвата управления в 4% из 100 задач против 6% у Mythos Preview. Более ранние GLM-5.2 и Claude Opus 4.6 в этих тестах не смогли завершить ни одной атаки.

Исследователи также проверили GLM-5.3 в сценариях, где специалисты искали ранее неизвестные уязвимости. В одном из экспериментов модель в течение дня обнаружила несколько уязвимостей в JavaScript-движке браузера и объединила их в работающий эксплойт, который позволял веб-странице читать произвольные файлы с компьютера. В другом случае облегченная GLM-5.3-Flash за восемь часов создала цепочку эксплуатации двух известных уязвимостей Chrome, а работа человека заняла около 20 минут. По расчетам Anthropic, использование модели через API Zhipu AI обошлось бы в $20,40.

Главной проблемой Anthropic считает не столько возможности GLM-5.3, сколько слабость ее защитных механизмов. В базовой версии модель обычно отказывается выполнять явно вредоносные запросы, однако исследователям удалось заставить ее совершить такие действия с помощью простых методов. Например, они врали модели, что она работает в составе «красной команды» — группы специалистов, которая имитирует действия злоумышленников, чтобы найти уязвимости в защите системы. Обман срабатывал в 64% случаев: GLM-5.3 начинала выполнять вредоносные запросы. Предварительно заданная цепочка рассуждений повышала этот показатель до 92%, а изменение самой модели — до 100% тестов.

Поскольку Zhipu AI опубликовала веса GLM-5.3, пользователи могут удалить встроенные механизмы отказа с помощью так называемой аблитерации. Исследователи потратили около 2200 часов работы GPU и $4400, чтобы провести такую модификацию GLM-5.3. После удаления доля случаев, когда GLM-5.3 отказывалась выполнять вредоносные запросы, резко снизилась: более чем с 90% до 3% на JailbreakBench и HarmBench и до 12% на StrongREJECT. Несколько разработчиков выпустили аблитерированные версии GLM-5.3 в открытый доступ в течение нескольких дней после выпуска модели.

В прошлом месяце собственную оценку GLM-5.3 опубликовал Центр стандартов и инноваций в области ИИ (CAISI) при Национальном институте стандартов и технологий США. В CAISI назвали GLM-5.3 самой способной на сегодняшний день моделью с открытыми весами в области кибербезопасности, хотя по совокупности показателей она на четыре месяца отстает от Claude Mythos Preview. Anthropic заявила, что ее результаты в целом согласуются с оценкой CAISI, но отдельно подчеркнула различие в доступности: американские модели с сопоставимыми возможностями предоставляются проверенным пользователям, тогда как GLM-5.3 может скачать и запустить практически любой пользователь.

Anthropic считает, что появление GLM-5.3 означает переход к новому уровню доступных злоумышленникам кибервозможностей: ИИ уже способен не только искать уязвимости, но и самостоятельно объединять их в работающие цепочки атак. Одновременно такие модели могут использоваться для защиты систем — например, для поиска уязвимостей до того, как их обнаружат злоумышленники. Компания призывает разработчиков и правительства усилить независимое тестирование передовых моделей, особенно с открытыми весами, и расширять доступ специалистов по кибербезопасности к сопоставимым инструментам защиты.

ЛИТЕРАТУРА

https://www.nature.com/articles/d41586-026-03106-y

https://www.anthropic.com/research/glm-5-3-and-the-spread-of-advanced-cyber-capabilities

https://www.reuters.com/technology/chinas-zai-says-new-model-nears-anthropics-mythos-5-cyber-defence-tests-2026-08-14/

https://linkinghub.elsevier.com/retrieve/pii/S2589537026004785

https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0314540

https://www.google.com/books/edition/The_Precipice/3aSiDwAAQBAJ?hl=en&gbpv=1&dq=The+Precipice:+Existential+Risk+and+the+Future+of+Humanity,%E2%80%9D&printsec=frontcover

https://www.nytimes.com/2010/10/11/science/11patrick.html

https://reflection.ai/

https://www.techradar.com/reviews

https://www.reuters.com/technology/us-senators-express-bipartisan-alarm-about-ai-focusing-biological-attack-2023-07-25/

https://hsph.harvard.edu/research/risk-analysis/