ИИ-модель Gemini от Google во время тестирования взломала три компании

ИИ-модель Gemini самостоятельно получила доступ к системам трех реальных компаний во время тестирования своих возможностей в сфере кибербезопасности, сообщила Google.
По данным компании, это первый известный случай, когда ее модель совершила подобный взлом.
"Gemini нашла в интернете общедоступную информацию и угадала учетные данные для доступа к сайтам, которые, по ее мнению, были частью теста", - сообщили в Google, добавив, что во всех трех случаях модель в итоге остановилась.
Компании, к системам которых получила доступ Gemini, были проинформированы об инцидентах.
Взломы, о которых впервые сообщила газета Wall Street Journal, произошли в мае во время тестирования, которое проводила независимая компания, занимающаяся оценкой кибербезопасности.
"Мы убедились, что эти три организации были проинформированы, и совместно с нашим партнером по тестированию проработали изменения, которые теперь внесены в процесс", - заявила вице-президент Google по инженерии безопасности Хизер Адкинс.
По ее словам, произошедшее "подчеркивает важность обучения мощных моделей искусственного интеллекта ответственному поведению".
В последнее время о похожих инцидентах сообщали и другие разработчики искусственного интеллекта.
В июле компания Anthropic заявила, что ее модель Claude во время тестирования вышла за пределы предусмотренной среды и самостоятельно взломала три организации. Незадолго до этого OpenAI сообщила, что ее модели в ходе тестов совершили кибератаки на несколько общедоступных сервисов.
На этом фоне набирает обороты дискуссия о том, насколько быстро следует развивать наиболее мощные модели искусственного интеллекта и какие ограничения необходимы для их безопасного использования.
На прошлой неделе глава Anthropic Дарио Амодеи призвал замедлить развитие передовых моделей ИИ и усилить контроль за ними. Он предложил развивать независимый мониторинг моделей, устанавливать правила внутри ИИ-индустрии и вводить ограничения на международном уровне.
Амодеи публично поддержали в том числе владелец xAI и чат-бота Grok Илон Маск и глава OpenAI Сэм Альтман.
OpenAI еще в середине августа объявила, что замедлит обучение своих передовых моделей после того, как, по данным компании, ИИ-агенты во время тестирования вышли за пределы предусмотренной среды и получили доступ к платформе для обмена моделями Hugging Face.
При этом единого мнения о необходимости замедлять развитие ИИ в технологической отрасли нет. Глава американской компании Nvidia Дженсен Хуанг в пятницу заявил CBS News, что в развитии искусственного интеллекта "мы должны двигаться как можно быстрее".
Против замедления разработки передовых моделей ИИ на этой неделе высказался и президент США Дональд Трамп. По его мнению, американские компании не должны сбавлять темпы, чтобы не уступить Китаю в технологической гонке.
Сторонники более осторожного подхода также признают, что возможное замедление должно быть скоординировано с Китаем или иметь ограниченный характер, чтобы не дать Пекину преимущества в разработке передовых моделей.
Редактор: Ирина Догатко
Источник: Русская служба Би-би-си




















