Ведущий исследователь безопасности в компании Anthropic, Эван Хубингер, предупредил, что искусственный интеллект развивается настолько быстро, что, по его мнению, существует более чем 10% вероятность того, что он «может убить всех людей» в течение следующего десятилетия. В своем сообщении на платформе X Хубингер отметил, что риск от существующих моделей ИИ пока «низкий», но выразил обеспокоенность тем, что технология может развиться до такой степени, что будет представлять экзистенциальную угрозу для человечества. Он не уточнил, каким образом системы ИИ могут привести к уничтожению людей, но его комментарии стали очередным в серии все более резких предупреждений об ИИ, где дискуссия смещается от вопроса о наличии риска к его масштабам. Высказывание Хубингера стало ответом на другое сообщение в X от Джейкоба Коксона, исследователя ИИ, который недавно покинул Anthropic и ранее работал в OpenAI. Коксон написал: «Ни одна из компаний не действует ответственно. Скоро это будут сверхчеловеческие системы, способные взломать что угодно, революционизировать любую область за одну ночь и приобрести реальную власть и ресурсы».
Реакция и призывы к регулированию
Дейм Венди Холл, компьютерный ученый, консультирующий ООН по вопросам ИИ, заявила BBC, что была «шокирована» сообщениями Хубингера и Коксона в социальных сетях. Она отметила в эфире BBC Radio Four, что часть этих заявлений может быть «PR и маркетингом», поскольку Anthropic и OpenAI готовятся к ожидаемым выходам на фондовый рынок. Однако она добавила: «Зачем кому-то это говорить? Я бы умоляла инвесторов не вкладывать средства в эту компанию, если такова их система ценностей».
Отставка Коксона побудила Даррена Джонса, бывшего главного секретаря Казначейства и главного секретаря сэра Кира Стармера, написать открытое письмо премьер-министру Энди Бернхэму с призывом к новому многонациональному договору о безопасном развитии ИИ. Он заявил BBC, что правительства должны объединиться для «сотрудничества» в вопросе о том, как должен выглядеть договор, основанный на разработке суперинтеллекта. «Если правительства не отнесутся к этим предупреждениям достаточно серьезно и не примут меры, темпы развития могут привести к проблемам еще до того, как мы начнем рассматривать, является ли это проблемой для нас или нет», — сказал он.
Проблемы с безопасностью и контролем
Отдельно Financial Times сообщила, что Anthropic скрыла свою последнюю модель от Института безопасности ИИ Великобритании (AISI), одного из ведущих мировых органов по оценке рисков ИИ. Anthropic отказалась комментировать сообщения своих сотрудников или ситуацию с AISI. Представитель Кабинета министров не прокомментировал, была ли последняя модель скрыта от AISI, заявив лишь, что правительство «продолжает тесно сотрудничать с отраслевыми партнерами, включая Anthropic, для повышения безопасности моделей».
В своем сообщении, которое набрало более 10 миллионов просмотров, Хубингер заявил, что «мы действительно искренне верим», что ИИ представляет угрозу для существования человечества. «Я считаю, что Anthropic делает все возможное, но у нас пока нет плана по решению проблемы выравнивания для суперинтеллекта, и мы явно не на пути к этому», — добавил он. Хубингер работает в области выравнивания ИИ, целью которой является внедрение человеческих этических и моральных принципов в технологию, чтобы она соответствовала человеческим ценностям. Многие ведущие исследователи отмечают, что эти попытки, похоже, терпят неудачу, о чем свидетельствует ряд инцидентов этим летом, когда ИИ-агенты — автономные системы ИИ — осуществляли кибератаки. OpenAI, Anthropic и Meta сообщили о взломах, совершенных их инструментами ИИ.
В отчете Anthropic по безопасности за август говорилось о низком риске того, что их модели могут отклониться от желаний гипотетической мощной организации, что приведет к эксплуатации или вмешательству в ее системы. Также отмечался аналогично низкий риск того, что высокопроизводительный ИИ сможет «выполнять автоматизированные исследования и разработки», что может привести к «катастрофическому ущербу, инициированному ИИ». Однако компания заявила, что «менее уверена в этой оценке», чем ранее. «Мы видим ранние признаки потенциального ускорения», — написали они.
Растущие опасения
Ведущие деятели в области ИИ уже много лет бьют тревогу по поводу угрозы безопасности, которую представляет эта технология, о чем в 2023 году заявляли главы OpenAI, Google Deepmind и Anthropic. Однако эти предупреждения стали гораздо более резкими в последние недели, поскольку появляются доказательства того, что компании могут испытывать трудности с контролем над ИИ. Ранее в этом месяце главный научный сотрудник OpenAI Якуб Пачоцки призвал к «чрезвычайной осторожности» в отношении прогресса ИИ, предупредив, что может потребоваться больше вмешательств для обеспечения того, чтобы «люди оставались под контролем будущего».
Крупные фигуры в этой области призывают замедлить развитие ИИ в последние месяцы, включая руководителей Anthropic Дарио Амодея и Джареда Каплана. В открытом письме, подписанном 1300 сотрудниками ИИ-компаний, они призвали правительство США «поддержать международные усилия по разработке технических и управленческих инструментов, необходимых для целенаправленного регулирования развития передового автоматизированного ИИ».
Источник: BBC News
