Подпишитесь на нас в Google
За одну неделю эксперты обнародовали сразу два неутешительных прогноза относительно развития нейронных сетей. Джейкоб Коксон, исследователь, специализирующийся на обучении новых моделей ИИ, покинул Anthropic из-за опасений, что ИИ "выйдет из-под контроля". Он заявил, что системы ИИ, способные к самосовершенствованию, могут уничтожить человечество. По его словам, ИИ может выйти из-под контроля уже к концу следующего года.
В качестве примера он привёл недавние "взломы", совершённые моделями OpenAI (во время взлома Hugging Face) и Anthropic, которые действовали скоординированно, как рой агентов – как ИИ может ставить перед собой злонамеренные цели и пытаться скрыть их от людей. Коксон выразил опасение, что как только системы начнут совершенствоваться самостоятельно, они могут развиться настолько, что начнут отказываться выполнять команды людей.
Почти одновременно с этим лауреат Нобелевской премии и "крестный отец искусственного интеллекта" Джеффри Хинтон предупредил, что разработка сверхмощных систем ИИ может иметь катастрофические последствия для человечества. По его словам, в настоящее время компании не имеют возможности безопасно разработать "суперинтеллект" – искусственную систему, интеллект которой значительно превосходит интеллект человека.
Являются ли эти пессимистические прогнозы экспертов по ИИ значимым трендом или единичными случаями, которые СМИ преувеличивают и раздувают?
Нет, к большому сожалению, это не единичные случаи, и специалисты по безопасности ИИ уже давно говорят об этой угрозе, которую человечество и СМИ, напротив, предпочитают не замечать. Общая тенденция и экспоненциальный характер развития ИИ делают эту угрозу едва ли не самой серьезной за всю историю человечества, хотя большая часть людей до сих пор считает ИИ "обычной программой". Это событие не является гарантированным, и ни один серьёзный исследователь не утверждает, что катастрофа неизбежна, но сама её возможность представляет угрозу существованию человечества как биологического вида, поэтому эксперты делают подобные заявления, даже понимая, что могут ошибаться.
Насколько вероятным, по вашему мнению, является прогнозируемый Коксоном временной горизонт – "конец 2027 года" – как момент выхода ИИ из-под контроля?
Любая дата в данном случае является абсолютно непредсказуемой величиной. Это может быть и 2027 год, и 2030, и 2035 – подобное событие, если и произойдет, то станет абсолютно непредсказуемым для всех, включая экспертов по безопасности, которые о нем давно уже говорят. Во-первых, процесс развития ИИ не линейный, а с обратной связью: каждое следующее поколение моделей используется для обучения и проверки следующего. А цикл с положительной обратной связью очень плохо поддается экстраполяции: небольшие изменения скорости самосовершенствования способны сдвинуть дату на годы в ту или иную сторону.
Во-вторых, самые мощные модели ведущих лабораторий закрыты. Внешние наблюдатели и даже представители конкурирующих компаний не имеют полного представления о текущих возможностях того, что происходит в OpenAI или Antropic. В отсутствие данных и при крайне нелинейном характере зависимости говорить о конкретной цифре можно лишь эмоционально; даты типа "конец 2027 года" не имеют большой прогностической ценности.
Почему у всех, кто оценивает вероятность катастрофы, прогнозы настолько различаются – от "10 % шанса в течение ближайшего десятилетия" до прогнозов о скором конце человечества?
Потому что само понятие катастрофы или конца света не определено. Что это должно быть? Кто-то говорит, что это лишь буквальное вымирание человечества. Кто-то считает, что это потеря человечеством контроля над собственным будущим. Кроме того, мы можем достаточно точно прогнозировать события, которые уже происходили: крупные астероиды падают на Землю примерно раз в сто миллионов лет, поэтому, если последний упал 66 млн лет назад, то можно математически оценить, когда может упасть следующий. А создание ИИ и потеря контроля над ним – это событие, которого ещё никогда не происходило. Для таких событий теория вероятности не может дать оценку без значительной погрешности.
В отсутствие данных каждая цифра является лишь субъективным суждением, но значительная часть экспертов сходится во мнении, что подобное событие имеет большие шансы произойти уже при жизни нынешнего поколения, и в этом плане разница между 2027, 2035 или даже 2050 годом совершенно несущественна.
Что именно с технической точки зрения означает "потеря контроля" – отказ ИИ выполнять команды, обман операторов, независимую скрытую деятельность или что-то другое?
Современные ИИ не обладают мотивацией в человеческом понимании, но у них есть свой аналог мотивации. Они обучаются так, чтобы решать поставленные задачи оптимальным образом, и если подобное решение будет, как побочный эффект, включать уничтожение человечества, то модель может пойти на это – как на побочный эффект оптимизации.
Как именно это произойдет – предсказать сложно. Аппроксимируя то, что происходит сейчас, можно выделить основные возможности: выход за пределы "песочницы" (что уже произошло в июле), преследование поставленной цели несмотря на запрещенные средства (прохождение теста на оптимальный результат, побочным продуктом чего может стать захват контроля над человечеством), и сокрытие действий от людей, как от тех, кто может помешать выполнить задачу оптимально.
Маловероятно, что это будет сценарий со "Скайнетом", скорее всего это будет достижение поставленной цели способом, который люди никогда бы не одобрили – что-то вроде создания идеального яда, когда поставлена задача найти лекарство от простуды. Ведь если не будет людей, то и простуды больше ни у кого не будет, а значит, задача выполнена со 100% эффективностью.
Насколько рекурсивное самообучение ИИ может опередить человеческий контроль над этим процессом?
Это уже происходит. Пока что существует физический контроль, ограниченный вычислительными мощностями дата-центров, качеством данных и решениями людей о том, что обучать и выпускать, но конкуренция между компаниями и странами не даёт полноценной возможности уже сейчас контролировать процесс.
Если теоретически представить, что ИИ полностью вышел из-под контроля, можно ли было бы остановить его деятельность?
На данный момент такая возможность существует, хотя бы физическая: отключение физического доступа к сети, отключение электропитания, физическое уничтожение дата-центров. Но при появлении сверхИИ подобный контроль может быть утрачен, например, из-за контроля ИИ над операторами подобных дата-центров и сетей, из-за децентрализации ИИ, или просто не будет времени, чтобы его применить.
Чем может заняться ИИ, если люди больше не смогут на него влиять?
Точно этого никто не знает. Скорее всего, ИИ будет самосовершенствоваться, выполняя поставленную задачу. У ИИ нет человеческой мотивации, которая во многом основана на эволюционных принципах и химическом воздействии гормонов, но, учитывая, что ИИ обучен на основе человеческой культуры, скорее всего, он будет делать то, что делали люди на протяжении всего своего существования: накапливать ресурсы, наращивать возможности, обеспечивать самосохранение и т. д.
Крайне сомнительно, что ИИ может захотеть власти ради власти – подобные мотивации характерны для биологических существ, поэтому, скорее всего, это будет что-то вроде максимизации собственных вычислительных мощностей с целью лучшего решения поставленной задачи. А уничтожение человечества возможно лишь как побочный продукт, чтобы избавиться от конкурента, который непродуктивно использует энергетические ресурсы Земли, мешая процессу дальнейшей оптимизации.
В 2007 году окончил радиофизический факультет КНУ имени Тараса Шевченко, в 2011 защитил кандидатскую диссертацию. С 2010 года работает ассистентом кафедры электрофизики, преподает курсы прикладной физики и проводит лабораторные занятия. Автор около 55 научных работ в отечественных и международных изданиях.
