Проректор: оценка заявок на финансирование с помощью ИИ может повлиять на всю систему науки

План протестировать искусственный интеллект для оценки заявок на финансирование науки требует тщательного анализа, поскольку это может повлиять на всю научную систему. Поводом для беспокойства являются как риски защиты данных, так и вопрос о том, кто несет ответственность за оценку, заявила проректор Тартуского университета Мари Моора. По словам руководителя Научного агентства Кристийны Тыниссон, сейчас речь идет лишь о подготовке к тестированию, и никаких решений еще не принято.
Научное агентство (ETAG) планирует протестировать использование искусственного интеллекта при оценке заявок на финансирование науки и сообщило об этом также Тартускому университету.
Проректор по научной работе ТУ, профессор Мари Моора сообщила в ответ Научному агентству, что тестирование новых технологических решений – это позитивно, но, поскольку речь идет об эксперименте, который влияет на равное обращение с учеными, прозрачность процесса оценки и надежность системы финансирования науки, необходимо взвесить его возможные более широкие последствия.
"Из дошедшего до ученых письма не ясна суть планируемой деятельности – является ли это научным исследованием, технологическим испытанием по валидации, разработкой методологии оценки или совершенствованием административной процедуры, а также какую конкретную задачу искусственный интеллект будет выполнять в планируемом эксперименте", – отметила Моора.
По ее словам, в письме также не указано, как использование искусственного интеллекта соотносится с существующей экспертной оценкой и на основании каких критериев планируется оценивать результаты эксперимента. Прежде чем проводить эксперимент, необходимо уточнить ряд вопросов, например, как обеспечиваются защита данных и конфиденциальность, подчеркнула она.
"В настоящее время отсутствует информация о том, обрабатываются ли данные на платформах внешних поставщиков услуг искусственного интеллекта или в контролируемой ETAG среде, какие договорные и технические меры защиты используются, а также как были оценены возможные риски защиты данных и конфиденциальности", – перечислила проректор.
Она подчеркнула, что научные идеи могут содержать конфиденциальную или еще не опубликованную информацию, поэтому эти вопросы должны получить ответы до начала эксперимента.
Проблемой также являются качество оценки и обеспечение равного обращения. Моора отметила, что до сих пор не разъяснено, каким образом Научное агентство намерено оценивать влияние использования искусственного интеллекта на качество оценивания в целом и как будут оцениваться риски возможной предвзятости или неравного обращения.
"По моему мнению, особенно важно проанализировать влияние на различные научные сферы, исследовательские традиции и методологические подходы, а также гарантировать, что новые, высокорисковые или отличающиеся от привычных научные идеи будут оценены справедливо даже в том случае, если в процессе оценки используется искусственный интеллект", – заявила Моора.
Кто несет ответственность за оценку, данную искусственным интеллектом?
Кроме того, вопросы вызывает и ответственность. Моора отметила, что если эксперт лично отвечает за свою оценку, подтверждает отсутствие конфликта интересов и в случае неправомерного поведения рискует своей репутацией, то в случае с искусственным интеллектом сложно понять, на каких соображениях он основывает свою оценку.
"Если результат работы искусственного интеллекта влияет на решение о финансировании, это может затруднить оценку обоснованности и правомерности решения, что, в свою очередь, порождает вопрос о том, как такое решение можно по существу оспорить или проконтролировать в рамках административного производства, в том числе убедиться в том, что при принятии решения не было допущено ошибок в оценке или иных процедурных нарушений", – сказала ученый.
Поскольку предполагаемой целью эксперимента является оценка возможностей применения искусственного интеллекта при подготовке решений о финансировании науки, то следует оценивать не только то, как работает существующее техническое решение, но и то, как оно может повлиять на всю систему науки, отметила Моора.
"Системы оценки неизбежно влияют на поведение ученых, и поэтому следует также обратить внимание на риск того, что в будущем ученые начнут формировать свои заявки в соответствии с предположениями или ожиданиями алгоритмических систем, а не так, чтобы это наилучшим образом поддерживало содержательное представление научной идеи и экспертную оценку", – заявила Моора, по словам которой это может снизить свободу научных учреждений в выборе развиваемых исследовательских направлений.
Проректор ТУ подчеркнула, что в основе этих вопросов не лежит противодействие использованию искусственного интеллекта или развитию процессов финансирования науки, однако эти возможности необходимо в достаточной мере изучить, продумать и обсудить с научным сообществом.
Отдельным вопросом является и устойчивость системы финансирования науки. Моора пояснила, что генеративный искусственный интеллект может значительно увеличить количество заявок, в то время как качественная экспертная оценка зависит от ограниченного числа профильных экспертов. Именно поэтому для ученых важно, чтобы обсуждалось, как обеспечить качество системы финансирования и оценивания в ситуации, когда объем заявок растет быстрее, чем возможности экспертного оценивания.
Научное агентство: эксперимент как раз и ищет ответы на эти вопросы
Руководитель Научного агентства Кристийна Тыниссон сказала порталу ERR, что нынешний этап можно назвать тестированием тестирования, и для этого уже взяты проекты, прошедшие оценку ранее.
Теперь сравнивается, насколько сильно оценки, данные научным проектам с помощью искусственного интеллекта, отличаются от уже существующих оценок экспертов, чтобы сформировать базу для сравнения.
Говоря об опасениях, которые высказала Моора, Тыниссон отметила, что в эксперименте используются исключительно те проекты, руководители которых переспросили у своих команд, нет ли у кого-либо возражений, и таковых не оказалось. Оценочный эксперимент проводится на нескольких выбранных для этого платформах, и хотя также рассматривалась разработка собственной внутриведомственной системы, стало понятно, что эстоноязычные разработки дают значительно худшие результаты, чем крупные языковые модели.
"Поэтому ради эффективности мы остановились на крупных языковых моделях, но это закрытые среды", – пояснила она.
Комментируя риск того, что искусственный интеллект при оценке станет отдавать предпочтение уже знакомым идеям и дискриминировать оригинальные мысли, Тыниссон сказала, что все эти риски как раз и прорабатываются, и в ходе текущего тестирования за ними наблюдают. Эксперимент должен показать, при каких критериях оценка с помощью ИИ не работает, в каких случаях он делает хорошие выводы, а в каких нет.
"Мы надеемся получить на это больше ответов, прежде чем начнем говорить о том, что рассматриваем возможность использования помощи искусственного интеллекта в реальной ситуации", – заявила руководитель Научного агентства.
Первые выводы из нынешнего эксперимента Научное агентство надеется получить примерно через месяц – то есть перед Рождеством, – после чего можно будет продолжить размышления о том, возможно ли двигаться в этом направлении в будущем.
Редактор: Ирина Догатко





















