Доцент по языковым технологиям Тартуского университета Кайрит Сыртс рассказала в эфире Terevisioon, что языковых моделей существует несколько, но наиболее известна среди жителей Эстонии, вероятно, ChatGPT. Однако современные текстовые роботы работают лучше всего на английском языке. По словам Сыртс, оценить знание языковыми моделями эстонского языка и их понимание эстонской культуры со стороны довольно сложно.

"Один из способов – это поставить их в условия сравнения, позволить людям использовать их и оценить, какая модель, по их мнению, лучшая. Таким образом можно получить оценки по самым разным вопросам, до которых, возможно, сами ученые и не додумались бы", – объяснила она.

Если языковые модели не знают ответа, они "галлюцинируют", потому что, как правило, всегда должны что-то ответить. Поэтому пользователи могут получать на определенные вопросы странные ответы. "Если мы подумаем, как работают языковые модели и искусственный интеллект, то они просто генерируют одно слово за другим на основании каких-то знаний, из-за чего может получиться нечто, не совсем соответствующее действительности", – сказала Сыртс.

Модели также часто сталкиваются с трудностями при решении вычислительных задач. Например, если спросить, насколько башня Длинный Герман ниже Таллиннской телебашни, ответы могут быть довольно странными.

"Такого процесса вычислений, как у нас в голове – когда у нас есть два числа, мы ставим их рядом и производим между ними вычислительную операцию – модели не выполняют. Но если они достаточно обучены на определенных вычислительных операциях, может возникнуть впечатление, что лучшие модели умеют считать", – сказала она.

По словам Сыртс, барометр помогает повысить осведомленность о различиях в качестве языковых моделей и поощряет использование текстовых роботов на эстонском языке.

"На сайте можно ввести запрос, на который отвечают две анонимные языковые модели. Пользователь может выбрать лучший ответ, после чего отображаются и названия моделей. На основании оценок формируется постоянно обновляющийся рейтинг как результат совместной работы", – пояснила она. Сыртс добавила, что число языковых моделей, участвующих в сравнении, постоянно пополняется, что позволяет отслеживать, как новые модели справляются с эстонским языком по сравнению со старыми.

В барометре искусственного интеллекта, среди прочего, можно сравнивать версии языковых моделей GPT, Gemini, Claude, Llama и Mistral. Барометр могут использовать все, кого интересует развитие искусственного интеллекта и эстонский язык.