Эта разработка будет объединять лингвистику, искусственный интеллект и глубокое понимание человеческих потребностей.

"Прежде всего, толчком к этому проекту послужило вступление в силу летом директивы Евросоюза о доступности. Согласно ей, всем людям должно быть обеспечено равное право доступа к информации, в том числе к информации государственного сектора. Кроме того, в Эстонии очень мало переводчиков с языка жестов, и в целом технология, связанная с эстонским жестовым языком, до сих пор фактически не развивалась. Поскольку уже существует решение для людей с нарушением слуха – автоматические субтитры, например, на каналах ERR, стало ясно, что подобную систему можно создать и для языка жестов. Это крайне необходимо именно для эстонского жестового языка", – сказала в эфире Радио 4 руководитель отдела языковых технологий в Институте эстонского языка Кадри Варе.

"Есть две группы сложностей: языковые и технологические. Если говорить о языке, то основные трудности связаны с тем, что язык жестов очень богат нюансами. Его сложно точно воспроизвести с технологической точки зрения. Приведу несколько примеров. Эстонский язык жестов – визуально-пространственный язык. Это значит, что важно учитывать пространственное восприятие, расположение объектов, направление взгляда. Технологии пока с трудом с этим справляться", – констатировала координатор по эстонскому языку жестов Райли Лойт.

"Кроме того, грамматика и структура предложений в жестовом языке полностью отличаются от устного эстонского языка – это не визуализация слов, а самостоятельная система со своими правилами. Важно понимать, что язык жестов состоит не только из движений рук. Огромную смысловую нагрузку несут мимика, положение тела, выражение рта. Все это технологически очень сложно реализовать. Также жесты могут меняться в зависимости от контекста – они не всегда выглядят одинаково. Все эти особенности создают серьезные вызовы", – добавила Лойт.

"С технологической точки зрения это чрезвычайно сложный проект. Подобное еще нигде в мире не реализовано, то есть мы фактически создаем новое научное направление. Мы будем использовать самые современные технологии, включая большие языковые модели. Но для их обучения нужно большое количество данных, а таких данных у нас пока нет. То есть одна из главных задач проекта – понять, какие технологии и какие наборы данных использовать. Даже автоматический перевод пока работает не идеально, а мы ставим еще более сложную цель – переводить эстонскую речь на эстонский жестовый язык", – отметила Варе.

По ее словам, проект состоит из трех этапов. Сначала – сбор данных, затем – применение технологий: разработка языковых моделей и обучение систем, на третьем этапе – создание прототипа видеоаватара. "Мы планируем протестировать робота в трех областях: транспорт (например, объявления на вокзалах), культурная сфера (музеи) и сообщения экстренной помощи. Представим, что на сайте или в музее человек сканирует QR-код и получает перевод экспозиции на жестовый язык. Или на вокзале появляется экран, где видеоаватар жестовым языком сообщает об изменениях в расписании", – пояснила она.

"Поскольку это пилотный проект, не стоит ожидать, что робот сразу сможет все и везде. Именно поэтому мы начинаем с трех конкретных сфер. Мы посмотрим, как работает система, улучшим ее, а потом, возможно, расширим на другие области", – сказала Лойт.

По словам Варе, очень важный момент – сбор данных жестового языка. Сначала нужно собрать корпус текстов, чтобы технологии могли работать.

"Конечно, мы не первые в мире, кто работает над этим. Вероятно, и другие страны сейчас идут в том же направлении, но пока не существует готового решения. В Эстонии подобным никто раньше не занимался. Есть ли у проекта международный потенциал? Я уверена, что да. Во-первых, это важное научное направление, которое открывает возможности для международного сотрудничества. Во-вторых, многие разработки, например моделирование мимики, движений, поведения аватара, применимы к разным жестовым языкам, не только к эстонскому. Все результаты проекта будут максимально открытыми, чтобы исследователи по всему миру могли использовать их и развивать эту область дальше. Это делает проект особенно ценным", – заключила Варе.