Последнее из обнародованных исследований знаний и навыков молодежи PISA-2022, в рамках которого детально рассматривались знания по математике, показало, что наши 15-летние подростки, являющиеся в большинстве своем учащимися 9-х классов, находятся на вершине мирового рейтинга. Однако весной этого года почти четверть учащихся провалили экзамен по математике в основной школе, то есть не смогли преодолеть 50-процентный порог. Средний результат составил 66,4 процента от максимума.

Различные публикации об изучении математики часто начинают именно с указания на это противоречие: мол, хотя мы находимся в авангарде теста PISA, реальная ситуация выглядит совершенно иначе. Волей-неволей возникает вопрос, не кроется ли здесь какая-то ошибка, ведь эти два факта кажутся абсолютно несовместимыми.

Немного распутать эту путаницу помогает магистерская работа Лийзи Реэмель, защищенная по специальности "учитель математики и информатики", в которой результаты математического теста PISA-2022 наших учащихся сравнивались с результатами школьного экзамена по математике за тот же год. Давайте вместе разберем ключевые нюансы, которые проливают свет на эту тему.

Особенности теста PISA

Исследование PISA проводится Организацией экономического сотрудничества и развития (ОЭСР) в целях повышения качества образования как в странах ОЭСР, так и по всему миру. Тесты PISA не привязаны к государственным учебным программам – с их помощью стремятся выявить уровень знаний и навыков молодежи, необходимых для решения проблем в реальной жизни. Помимо понимания того, что должны знать и уметь подростки по всему миру к концу обязательного обучения, исследование PISA дает нам информацию об однородности качества эстонского образования и о факторах, влияющих, например, на результаты математического теста в рамках данного исследования.

Согласно постановлению министра образования и науки, экзамены по окончании основной школы также преследуют различные цели. В частности, с их помощью оценивается достижение результатов обучения, установленных государственными учебными программами. Результаты оценивания дают обратную связь о качестве обучения и преподавания самим учащимся и их родителям, школе, ее органам управления и государству. Государство также стремится сопоставлять результаты учеников разных лет выпуска, чтобы замечать изменения в их успеваемости. Одна из ценностей выпускного экзамена заключается в принятии решения о зрелости ученика, что отражается в выданном ему свидетельстве об окончании школы.

У этих двух тестов есть одно существенное различие: в случае с PISA никакой информации о результатах тестирования не получает ни сам ученик, ни школа, тогда как результаты школьного экзамена ему прекрасно известны. Таким образом, в тесте PISA школьник участвует исключительно ради престижа страны, внося свой вклад в общее дело. Здесь кроется риск того, что учащиеся могут не слишком сильно выкладываться. Если на тот же период придутся другие тесты, имеющие для них лично большую значимость, может случиться так, что при решении задач PISA ученики станут сдаваться гораздо быстрее.

Нечто подобное, по всей видимости, произошло в 2018 году в Испании, когда результаты страны в области чтения не были засчитаны, поскольку в некоторых школах учащиеся явно спешили и потратили на ответы к паре десятков текстовых задач всего полминуты.

Цель теста PISA – оценить способность учащихся применять свои знания в реальных жизненных ситуациях. Это означает, что тест не концентрируется исключительно на том, что дети прошли в школе, а стремится выяснить, как они способны использовать эти знания и навыки за пределами школьной среды и официально утвержденных учебников.

С другой стороны, целью школьной учебной программы по математике является формирование у учащихся прочной математической компетенции, охватывающей определенные темы и навыки. Соответственно, учебная программа более предметно указывает на конкретные математические знания и навыки, которыми школьники должны овладеть.

Можно заметить, что результаты PISA распределяются в соответствии с функцией плотности нормального распределения: то есть учащихся со средними результатами больше всего, а учеников с крайне слабыми или очень высокими результатами – мало (см. График 1). Напротив, распределение результатов школьного экзамена выглядит совершенно иначе.

Розовым цветом обозначены пороговое значение школьного выпускного экзамена (50 процентов) и базовый уровень теста по математике PISA (2-й уровень, 420 баллов). Зеленым цветом обозначен порог высокого уровня теста по математике PISA (5-й уровень, 607 баллов). Горизонтальная гистограмма показывает распределение результатов школьного выпускного экзамена, а вертикальная гистограмма – распределение результатов теста по математике PISA.

Различия в распределении результатов обусловлены структурой самих тестов: у PISA нет верхнего предела сложности, что позволяет детально дифференцировать в том числе самых сильных учащихся. Школьный экзамен, как отмечалось выше, проверяет освоение обязательных результатов обучения, предусмотренных учебной программой. В результате распределение здесь более сглаженное, но верхние показатели "упираются в потолок" без выраженных пиков. На представленном графике сопоставлены результаты теста PISA 2022 года и школьного экзамена по математике для 4900 учащихся, принимавших участие в обоих исследованиях.

Примечательно, что 71 процент школьников, не преодолевших проходной балл на экзамене по математике, тем не менее достигли как минимум базового (второго) уровня PISA. Требования эстонской системы образования к ученикам традиционно чуть выше самого элементарного базового уровня, поэтому граница удовлетворительной оценки ("3") проходит немного выше планки базовых знаний. Среди же тех, кто набрал на выпускном экзамене более 50 процентов, высокого уровня PISA достигли 23 процента.

График показывает прямую взаимосвязь между результатами школьного выпускного экзамена и математического теста PISA. Как правило, те, кто отлично справляется с экзаменом, демонстрируют высокие результаты и в PISA, а ученики, проваливающие экзамен, не набирают высоких баллов в международном исследовании. Тем не менее не обходится без исключений, причины которых кроются в самых разных индивидуальных факторах. Например, на школьном экзамене строго оценивается правильность оформления и ход решения, тогда как в PISA это не имеет решающего значения. Свою роль в том или ином случае могут сыграть и другие обстоятельства – от банального волнения до недостатка мотивации.

Сходства и различия заданий

Процесс тестирования учащихся в обоих случаях существенно различается. Тест PISA проходит для школьника полностью за компьютером. Заданий много, и они имеют разную степень сложности. Комплект вопросов по математике PISA включает задания нескольких типов, в том числе с выбором вариантов ответа, с кратким собственным ответом, а также такие, которые требуют от ученика более детального пояснения.

Ответы на вопросы с выбором вариантов и часть заданий с собственным ответом (например, конкретное числовое значение) компьютерная система тестирования сохраняет и кодирует автоматически. Кроме того, имеется ряд заданий, которые оцениваются людьми. В этих заданиях описывается определенная ситуация и связанные с ней проблемы. В зависимости от ответа задача оценивается как решенная/нерешенная либо решенная / частично решенная / нерешенная.

На выпускном экзамене в основной школе задания выполняются в тетради, а их проверка строится на пошаговом анализе решения. Работа разбивается на отдельные операции, каждая из которых оценивается преимущественно дихотомически: 1 балл ставится за правильное выполнение, 0 – за ошибку. Если ученик ошибся в самом начале, проверяющий учитывает это и продолжает оценивать дальнейший ход рассуждений, позволяя заработать баллы за каждую верно выполненную впоследствии операцию.

Таким образом, задания PISA и выпускного экзамена как подаются, так и оцениваются по-разному. Задания выпускного экзамена в определенном смысле более привычны учащимся. Вероятно, на проводимых в школе контрольных работах задания предъявляются и оцениваются схожим с экзаменом образом.

В тесте PISA учащиеся отвечают на разные наборы заданий и в разной последовательности, что в конечном итоге позволяет получить более объективную картину знаний и навыков школьников по всей стране. На школьном же экзамене задания выдаются всем в едином порядке и выполняются строго последовательно. Из-за этого итоговая картина может искажаться: к концу работы ученики нередко устают или у них просто не хватает времени. В результате нельзя делать однозначный вывод, что тема, оказавшаяся в конце работы, плохо усвоена или некачественно преподается в школах.

Эстония в международном рейтинге

Средний результат эстонских школьников в тесте PISA 2022 года составил 510 баллов, что вывело их на 6-7-е места в общем рейтинге стран-участниц, а в европейском зачете мы делим 1-2-е места со Швейцарией. Что поднимает нас на такую позицию? Одним из секретов успеха нашего образования в мире считается то, что мы способны дать очень большой части наших учеников по меньшей мере базовый уровень владения математикой.

Действительно, примерно шесть школьников из семи (85,2 процента учащихся) преодолевают планку элементарной математической грамотности по версии PISA. Это 6-е место в мире и 1-е в Европе. Тем не менее 14,8 процента учащихся остаются ниже этой планки.

Точки показывают результаты учащихся одного уровня (процентиля) в обоих тестах, а пунктирная линия отображает линейную связь между ними. Розовым цветом отмечена критическая граница: на вертикальной оси – порог экзамена (50 процентов), а на горизонтальной – базовый уровень PISA (2-й уровень, 420 баллов). Зеленым обозначен порог высокого уровня PISA (5-й уровень, 607 баллов). То, что точки в начале "проседают", а в конце "взлетают", указывает на то, что тест PISA дифференцирует нижний и верхний края точнее, чем экзамен.

В структуре PISA это означает, что учащиеся способны успешно справляться с вопросами в знакомом контексте, если вся необходимая информация подана наглядно, а условия сформулированы предельно четко. Они умеют распознавать данные и выполнять стандартные алгоритмы по прямым инструкциям для конкретной ситуации, однако самостоятельное выявление проблем в предложенных контекстах и формулирование выводов на их основе вызывают у них трудности.

На основе результатов PISA учащихся распределяют по шести уровням достижений, где вторым по счету установлен базовый уровень, а пятый и шестой образуют группу учащихся с наивысшими результатами. В Эстонии математические результаты высшего уровня демонстрируют 13 процентов школьников, что обеспечивает стране девятую позицию в мире и третью в Европе.

Сроки проведения теста PISA и экзамена

Финские специалисты видят одну из вероятных причин нашего превосходства в тестах PISA в хорошей "тренированности" учащихся благодаря подготовке к школьному выпускному экзамену. В Финляндии же подростки завершают основную школу без обязательного экзамена по математике.

На встрече в Токио в Японском национальном институте исследований образовательной политики (NIER) в качестве одного из факторов успеха PISA в этой стране назвали вступительные экзамены в гимназию, которые проводятся незадолго до тестирования PISA. Дело в том, что в Японии учебный год начинается в апреле. У наших школьников весной перед выпускным экзаменом тоже есть несколько возможностей проявить себя.

Первый вариант, аналогично японскому опыту, – это вступительные экзамены в гимназию. Второй вариант – экзамен по математике за курс основной школы (тестирование PISA 2025 года проводилось с 31 марта по 9 мая, а экзамен по математике состоялся 7 мая).

На следующей неделе мы сможем увидеть, как сдвиг сроков проведения экзамена по математике ближе к периоду PISA повлияет на результаты того или иного теста. Готовиться приходилось к обоим, но считали ли учащиеся оба теста стоящими усилий (ведь индивидуального результата PISA ученик не узнает)?

*Лийзи Реэмель – выпускница Института математики и статистики Тартуского университета; Тийна Краав – лектор по математическому образованию Центра математического образования Института математики и статистики Тартуского университета; Ханнес Юкк – младший лектор по дидактике математики Центра математического образования Института математики и статистики Тартуского университета.