– За последние полгода появилось множество сообщений о том, как искусственный интеллект якобы способен действовать самостоятельно, без контроля человека, и взламывать компании, которые сами используют ИИ. Бывали и такие случаи, как взлом баз данных австралийского правительства. На прошлой неделе мы стали свидетелями того, как влиятельные исследователи в сфере ИИ и руководители компаний выступали в ООН с предупреждениями о том, что искусственный интеллект может выйти из-под контроля и представлять едва ли не экзистенциальную угрозу для человечества.

Все это звучит как сюжет антиутопического романа, но неужели ситуация и вправду столь драматична или же все гораздо сложнее? Действительно ли ИИ вышел из-под контроля и проникает повсюду?

– Если ставить вопрос так, то это неточное описание. Если взглянуть на суть инцидентов, то ИИ-агенты – программное обеспечение на базе больших языковых моделей, которое циклично планирует, анализирует и корректирует свои действия до достижения поставленной цели, – не обладают сознанием и не действуют независимо.

Подобные случаи показывают лишь то, что агенты стремятся достичь своих целей, выходя за рамки первоначальных установок. Их действия всегда направляются человеком, а сами рамки и параметры задаются людьми, которые либо проявили небрежность, предоставив агентам избыточную свободу, либо допустили конструктивные ошибки при проектировании системы.

Примеров того, как ИИ-агенты пытаются добиться своего и используют всевозможные лазейки, довольно много. Эти лазейки на деле представляют собой слишком гибкие команды, которые им дал человек. В этом и кроется главная опасность: мы применяем инструмент, не до конца осознавая все его возможности, и даем ему чересчур вольготные условия.

– Насколько мощны сегодня искусственный интеллект и эти агенты? Является ли переломным моментом то, что при взломе систем ИИ порой оказывается даже умнее человека или может задействовать на это гораздо больше виртуальных рабочих часов? Видим ли мы настоящий скачок в возможностях этих агентов по сравнению с тем, чего когда-либо добивались хакеры?

– Наши эксперты, глядя на то, чего сегодня добиваются с помощью искусственного интеллекта, говорят, что это похоже на хакера с огромными дополнительными возможностями. Впрочем, цели ИИ довольно схожи с теми задачами, которые люди ставят перед собственными командами.

Интересно также понимать, что очень многие из этих моделей ИИ созданы для выполнения специфических задач, а связанный с задачей массив данных послужил базой, на которой этот ИИ развивался. В сфере кибербезопасности, например, ряд моделей разработан на базе открытого исходного кода – то есть им скормили миллионы и миллиарды строк открытого программного обеспечения, и на этой основе их обучали находить уязвимости. Они очень хороши в обнаружении таких уязвимостей и довольно хороши в их эксплуатации.

В чем они не сильны, так это в латании этих дыр. Зачастую это требует гораздо больше времени и вмешательства человека. Именно поэтому мы видим, что киберпреступники все активнее используют те же модели именно для поиска уязвимостей, чтобы через них красть данные или нарушать работу систем.

Киберпреступники все шире задействуют искусственный интеллект как для поиска слабых мест в программных системах, так и, например, в информационных манипуляциях и мошеннических схемах. Там программное обеспечение используется для создания правдоподобно звучащего синтетического голоса или изображения. На этой основе у людей выманивают коды доступа, конфиденциальные данные или что-то подобное, что позволяет в дальнейшем вымогать у них деньги.

– Если вернуться к аналогии с фантастическими романами, то существуют сценарии, рисующие далекое будущее, в котором интернетом практически невозможно пользоваться. Причина в том, что построить безопасную систему просто нереально, ведь благодаря методам искусственного интеллекта все злоумышленники стали невероятно умными. Это сценарий-страшилка, но насколько мы от него далеки?

– Всегда стоит помнить: заходя в цифровой мир – будь то интернет или электронная почта – нужно всегда быть готовым к тому, что информация, к которой мы получаем доступ, может оказаться недостоверной и неправдивой.

Если вспомнить 1990-е годы, то тогда было вполне привычным делом, когда большую часть содержимого почтового ящика составлял спам и назойливый мусор. Приходилось разгребать его, чтобы отыскать письмо от настоящего друга. К сожалению, сегодня происходит то же самое: вероятно, значительная часть общедоступного контента в интернете создана уже не человеком. Он в той или иной степени сфабрикован или направлен искусственным интеллектом, и относиться к нему изначально нужно именно так.

Я оптимист и верю, что совсем скоро найдутся способы отсеивать созданную искусственным интеллектом синтетическую информацию от аутентичного контента, созданного человеком.

Поскольку спрос на это есть, решение наверняка найдется. Я не настолько пессимистичен, чтобы заявлять, будто время, когда человек мог сам свободно действовать в интернете и нам обязательно придется задействовать для этого каких-то ИИ-агентов, подошло к концу. Посмотрим, но в этих вопросах я стараюсь сохранять оптимизм.

– Почему я привожу эти пессимистичные сравнения? Как я уже упоминал, на прошлой неделе в ООН выступали ведущие разработчики и ученые в области искусственного интеллекта. Из их слов я понял следующее: они заявили мировым лидерам, что мы больше не справляемся с этой технологией сами и нам нужны глобальное регулирование или договоренности о том, как действовать дальше. Иначе это дикий запад. Некоторые там даже предупреждали об угрозе гибели человечества, что звучит в ООН крайне пугающе, особенно когда речь идет о специалистах данной сферы. Нужны ли нам в отношении искусственного интеллекта какие-то глобальные правила или договоренности о том, в каких объемах мы его используем и развиваем?

– Договоренности определенно нужны, чтобы понимать, какие риски общество готово принимать, а какие нет. Европа здесь задает тон: в ЕС уже несколько лет действует комплексная рамочная база, которая определяет, какие связанные с искусственным интеллектом услуги или сферы считаются безопасными, а какие относятся к категории повышенного риска. Она также регламентирует требования к создателям и разработчикам ИИ: какова степень их ответственности и как они должны настраивать свои системы и управлять ими для минимизации рисков. Именно этим и должны заниматься все разработчики искусственного интеллекта.

Я бы скептически относился к предупреждениям руководителей очень крупных, влиятельных и финансово мощных глобальных корпораций. Это звучит отчасти как попытка снять с себя ответственность и переложить ее на других. Сегодня ничто не мешает им соблюдать правила и делать так, чтобы процесс разработки ИИ был максимально безопасным.

Абсолютно все риски, разумеется, никогда невозможно полностью свести на нет, но, глядя на сегодняшние ситуации, когда ИИ-агенты выходят из-под контроля, зачастую вопрос заключается в том, как эти агенты были внедрены, сконфигурированы или какие инструменты использовались для их направления. Все это действия, которые человек может контролировать, проверять и направлять. Так что здесь нет элемента, при котором можно было бы утверждать, будто они не способны обуздать созданную ими же самими программную систему – на самом деле для этого у них есть все рычаги.

– Мы говорили о хакерских группировках, крупных глобальных компаниях и Европе, но какова здесь роль государств и сколько во всем этом геополитического подтекста? Например, в ответ на встречу в ООН, где шла речь об общемировых регуляциях в сфере искусственного интеллекта, президент США заявил, что все это ерунда и не нужно пытаться обуздать искусственный интеллект. Мы также знаем, что хакерские группировки в области кибербезопасности довольно часто действуют по указанию полу- или даже полноценных государственных структур, будь то Россия или Китай. Насколько искусственный интеллект является частью такой геополитической борьбы – нужно ли его регулировать или нет и соревнуются ли государства между собой за то, чтобы использовать его в своих интересах?

– Безусловно, этот аспект тоже присутствует. Сам я не политик, поэтому воздержусь от комментариев на этот счет. С технической точки зрения – поскольку мое агентство специализируется прежде всего на кибербезопасности – мы также выпустили для разработчиков программного обеспечения технические рекомендации о том, как развивать искусственный интеллект безопасным образом.

С технической стороны нельзя сказать, что нет знаний или понимания того, что нужно делать. Я думаю, что у экспертов – будь то эксперты по программному обеспечению, разработчики искусственного интеллекта или лица, ответственные за кибербезопасность, – есть база и багаж для разработки безопасных систем. Они способны создавать их так, чтобы риски выхода ИИ-агентов из-под контроля были минимальными.

– Человеческое воображение всегда приписывает природе или технологиям собственные человеческие качества, которых у них на самом деле может и не быть. Искусственный интеллект ведь на самом деле не способен мыслить. Сколько же из того, что ИИ делает в сфере кибербезопасности, действительно представляет собой нечто принципиально новое, а что является просто старыми тенденциями, но на гораздо более мощном уровне?

– Мы видим, что большая часть усиленного искусственным интеллектом или агентами ИИ функционала – это даже не хорошо забытое старое. Это старые технологии, методы и процедуры, получившие "ускорение" от искусственного интеллекта. Разумеется, есть и принципиально новые элементы. Ранее я упоминал уязвимости в программных системах, но ведь не все уязвимости поддаются эксплуатации, и зачастую они классифицируются как среднезначимые или даже несущественные. Какая разница, если на сосуде, из которого вы пьете воду, есть небольшая трещина, но он по-прежнему не протекает – слабое место есть, но оно не критично.

Однако особенность новых моделей искусственного интеллекта заключается в том, что, комбинируя эти мелкие уязвимости, они способны находить способ взломать программную систему. Пожалуй, это новый элемент. Но в конечном счете методы и способы тестирования ими программных систем весьма схожи с тем, чем мы занимаемся уже на протяжении десятков и десятков лет.

– С точки зрения совершенно обычного человека: каким главным правилом стоит руководствоваться, чтобы не попасться в интернете на ловушки, созданные с помощью сложных инструментов ИИ?

– Никогда не стоит передавать свои данные третьим лицам и кликать по сомнительным ссылкам.