В интервью журналу Riigikogu Toimetised она подчеркивает важность прозрачности и участия гражданского общества, а также называет ключевыми мерами по снижению вреда развитие критической цифровой грамотности и заботу о психическом здоровье модераторов.

- Начнем с весьма общего вступления, особенно для тех, кто не знаком с проблемой вредного онлайн-контента и его модерации. Могли бы вы привести примеры, какой именно контент считается вредным и что в этом контексте означает его модерация?

- Я исследователь, работаю на стыке разных дисциплин. Отправной точкой моей исследовательской карьеры стали протесты в Тунисе, ставшие прологом Арабской весны 2010–2011 годов. В то время я придерживалась довольно оптимистичного взгляда: моя эмпирическая работа показывала, как люди используют социальные сети, чтобы обойти интернет-цензуру и разоблачать полицейское насилие.

Прошло почти пятнадцать лет – ситуация изменилась кардинально. Это не значит, что я перешла от оптимизма к пессимизму. Скорее, я с самого начала изучаю двойственную природу социальных сетей и информационных технологий. Я рассматриваю их как социально-технологическое явление.

Теперь – к вопросу о том, что такое вредный контент. В академической среде, на цифровых платформах, а также на уровне политического регулирования (например, в Законе о цифровых услугах (ЕС), DSA) различают несколько видов вреда. Один из них – незаконный контент: это сцены насилия, сексуальное насилие, изображения несовершеннолетних в недопустимом контексте, демонстрация оружия или запрещенных веществ. В таких случаях модерация необходима, и мы видим, как платформы регулярно обновляют свои правила – например, в отношении видео, где объясняется, как снять предохранитель с оружия.

Но вредный контент – это не всегда незаконный контент. Он может быть дискриминационным или оскорбительным. Например, шутки или насмешки в адрес определенных групп или меньшинств. Понятие "вред" сложно однозначно определить. Риторика ненависти – давно изучаемая тема, и ее влияние на повседневную жизнь людей крайне ощутимо. Все больше внимания уделяется и тому, как контент способствует радикализации.

Моя основная исследовательская тема – это гендерный аспект этой проблемы. Например, радикализация мужчин и маскулинности. Но меня интересует не только сам контент, но и то, как устроены сами платформы: их дизайн шаг за шагом направляет пользователя ко все более радикальному содержанию, используя алгоритмы ранжирования и рекомендации. Главный вопрос – в прозрачности: как именно работают эти механизмы?

Что касается аашего второго вопроса – какие именно механизмы действуют, – то тут мы сталкиваемся с серьезной проблемой: крупнейшие технологические компании (так называемый big tech, например, Facebook, X и другие платформы) не раскрывают в полной мере, какие методы модерации они используют. Это мешает исследователям понять, как взаимодействуют контент, цифровые платформы и общественные процессы – например, социальные движения.

Существует автоматическая модерация контента, но она зачастую предвзята. Об этом появляется все больше научных работ, хотя доступ к исходным данным по‑прежнему сильно ограничен. Предвзятость автоматической модерации – серьезная и широко распространенная проблема. Другая – это ручная модерация, именуемая англоязычными исследователями термином ghost work или "работа с данными": речь о людях, которые трудятся в тяжелых условиях, зачастую подвергаясь эксплуатации.

Темой конференции этого года стала именно психическая нагрузка, связанная с такой работой. Если мы хотим критически переосмыслить медиаграмотность, нам стоит задать вопрос: насколько осознанно мы воспринимаем то, что видим в соцсетях, и как все это было отмодерировано? И, наконец, чья психика при этом оказывается под угрозой?

- Возвращаясь к Закону о цифровых услугах (DSA): какие изменения он вносит в модерацию контента? Достаточно ли ответственности он возлагает на технологические предприятия или ЕС и государства-члены должны вмешиваться активнее?

- Это очень интересный вопрос. DSA – новый проект, новый закон, и будет крайне любопытно наблюдать, как его будут трактовать в разных странах. На мой взгляд, внешние правила, разработанные политиками, и внутренние правила самих платформ должны действовать вместе. Вопрос в том, кто на практике сможет воспользоваться этими политиками?

Защита людей от вреда – это не цензура, а обязанность демократических систем.

Важно смотреть на ситуацию в целом и развивать у общества знания о медиа, модерации и цифровой среде. Политика – лишь одна сторона. В США подобные регуляции нередко воспринимаются как цензура. Именно поэтому так важно, чтобы Европейский союз твердо отстаивал свою позицию и объяснял: речь идет не о цензуре, а о защите людей от вреда. Но помимо политических решений нам необходима еще и образовательная работа, причем критическое образование.

Платформы действуют по всему миру, а страны и даже Евросоюз ограничены границами. Можно ли вообще однозначно сказать, кто за что отвечает? Я считаю, что платформы должны нести ответственность за собственный дизайн. Их интерфейсы и алгоритмы создаются ради прибыли. К сожалению, это означает, что наибольшее внимание привлекает контент, вызывающий агрессию, поляризацию и тревожность. И именно за это платформы обязаны нести ответственность.

- Какие новые вызовы вы видите в ближайшие годы в связи с развитием искусственного интеллекта и возможностями манипуляции?

- Искусственный интеллект все лучше справляется с манипуляцией изображениями, видео и звуком. Главный вопрос – как дать обществу инструменты, позволяющие отличать подделку от подлинного?

Сама по себе эта проблема не нова: мы уже исследовали, как камеры и СМИ формируют восприятие реальности. Но сегодня ситуация стала куда сложнее. Мы видим, что особенно праворадикальные партии используют созданные ИИ изображения для нагнетания эмоций и распространения дезинформации. Если раньше фейковые новости были в основном в текстовом виде, то теперь к ним добавляются видео и фотографии. Это огромная проблема, особенно в контексте глобальных конфликтов, где одно-единственное изображение может спровоцировать беспорядки или вспышку агрессии.

Именно поэтому мы должны научить молодежь и людей старшего поколения критически воспринимать информацию и распознавать подобные манипуляции.

- Разве нельзя бороться с дезинформацией, созданной ИИ, с помощью самого ИИ?

- Модерация с помощью ИИ работает настолько хорошо, насколько прозрачна и ценностно обоснована инфраструктура, на которой она построена. Существуют так называемые "просоциальные алгоритмы", которые направлены на укрепление мира и распознавание ложной информации. Вопрос в том, где и как их применяют? Кто имеет доступ к этим технологиям и право их использовать? Лично я не верю, что на зло всегда нужно отвечать теми же средствами. Я выступаю за более устойчивые решения, и это, в первую очередь, образование.

- Заменит ли искусственный интеллект человеческую модерацию?

- Это решение остается за крупными платформами. Но сегодня участие людей по‑прежнему необходимо, особенно в ситуациях, когда нужно оценить неоднозначный контент: является он вредным или нет. Я считаю, что комбинированная модель, то есть ИИ плюс человек, сохранится надолго. В том числе потому, что человеческий труд остается дешевым, даже если это труд, построенный на эксплуатации. Полной замены в ближайшее время не произойдет.

- Вы исследуете невидимую работу модераторов. Почему она считается невидимой, и каковы последствия?

- Это одна из форм невидимого насилия. Мы видим, как насильственные структуры воспроизводятся именно за счет своей невидимости. Примером может служить shadow banning – так называемый теневой бан, скрытое ограничение видимости аккаунта или его контента на онлайн-платформах. Содержание не удаляется, но его видимость резко снижается, и оно становится практически незаметным. Часто это касается феминистских публикаций или материалов, связанных с психическим здоровьем.

Также остается невидимым труд людей, стоящих за нашими лентами новостей или так называемым "курируемым фидом". Большинство пользователей даже не догадываются, что за "очисткой" их социальных сетей от травмирующего контента стоят люди, причем чаще всего низкооплачиваемые работники из бедных стран. Эта работа оставляет у них серьезные психологические последствия. Поддержание этой невидимости – сознательное решение, продиктованное бизнес-моделью. Если бы люди знали, что стоит за тем контентом, который они ежедневно потребляют, возможно, они отказались бы от него.

- Как донести до общества важность этой проблемы?

- Начинать нужно со школы. Ученики должны понимать, кто создает контент, и кто его формирует. Модерация контента – это всегда взаимодействие людей и алгоритмов, поэтому важно разбираться и в том, как устроены сами платформы.

Сейчас слишком много внимания уделяется техническим навыкам. А нам нужна критическая цифровая грамотность, то есть способность не только использовать технологии, но и понимать, как создаются и распространяются медиа. Кроме того, необходимы гуманитарные науки, литература, искусство – все, что помогает взглянуть на мир с разных точек зрения. Это важная составляющая медиаграмотности.

- В начале интервью вы упомянули, что традиционное понимание медиаграмотности больше не справляется с новыми угрозами цифрового мира. Что вы имели в виду?

- Я имела в виду, что медиаграмотность должна включать понимание механизмов модерации – особенно алгоритмической, автоматической модерации и ее предвзятости.

Кроме того, медиаграмотность не должна ограничиваться только навыками. Сегодня особенно важно воспитывать в людях способность мыслить критически, стремиться к познанию и находить нестандартные решения. И обучать нужно не только школьников, но и учителей, психологов, медицинских работников – всех, кто работает с людьми. Например, если человек делится своими проблемами с психическим здоровьем в разговоре с ChatGPT, психолог должен уметь объяснить, в чем возможности этого инструмента, а в чем его ограничения.

- Какие рекомендации вы дали бы политикам и законодателям?

- Во-первых, относиться к предвзятости серьезно – особенно в случае автоматической модерации контента. Искусственный интеллект не может быть универсальным решением. Важно привлекать к процессу организации гражданского общества, именно они первыми обращают внимание на проблемы платформенных политик.

Во-вторых, законодатели не должны отступать. Закон о цифровых услугах, Закон об искусственном интеллекте – это ключевые инструменты, которые нужно защищать. Защита людей от вреда – это не цензура, а обязанность демократических систем.

В-третьих, необходимо финансировать критические, междисциплинарные исследования. Мой профессиональный путь начался с политологии, затем я занялась науками о коммуникации, а сейчас исследую дизайн цифровых платформ. Справиться в одиночку невозможно, нужны команды с участием специалистов по искусственному интеллекту и инфотехнологиям. И такое исследование должно финансироваться из государственных источников, иначе знания и данные останутся в руках частных корпораций.

Анна Антонакис выступила в конце октября на конференции по медиаграмотности "Экраны и души – жизнь в цифровом мире", организованной Эстонской национальной библиотекой. Мероприятие проходит в рамках проекта MeediaRadar, реализуемого в сотрудничестве с Министерством культуры Эстонии и при софинансировании со стороны Швейцарии в целях сокращения социально-экономических различий в ЕС. Проект рассчитан на 2024–2028 годы.