Стали известны результаты экспресс-анализа теста по украинскому языку и литературе. На наши вопросы отвечает директор Центра тестирования Игорь Ликарчук. Завершен экспресс-анализ теста по украинскому языку и литературе Независимое тестирование в этом году началось громко. В центре внимания оказался тест по украинскому языку и литературе. Дискуссии ведутся вокруг пяти его заданий. Это вопросы к отрывку из текста современной украинской писательницы Галины Пагутяк "Маленький путь — не для людей". Подлил масла в огонь и тот факт, что автор текста написала открытое письмо директору Украинского центра оценивания качества образования (УЦОКО) Игорю Ликарчуку, где отметила, что нанесен ущерб ее репутации, и раскритиковала задания к отрывку из своего произведения. "Отцы" теста с критикой не согласны. Абитуриенты, которые увидели опубликованные Центром тестирования правильные ответы и почувствовали, что "провалили" некоторые задания, тоже не сидят сложа руки — пытаются пикетировать Минобразования и УЦОКО, пишут жалобы и просят засчитать все ответы на сложные вопросы как правильные. Им возражают те, кто справился с заданиями: простите, а где справедливость?
К дискуссии подключились некоторые педагоги, университетские преподаватели, даже начальники разных уровней.
Споры ведутся горячо, страстно, зачастую вне профессиональной плоскости, со взаимными оскорблениями и обвинениями. Кто-то беспокоится о поступлении, кто-то — о собственных амбициях и репутации, кто-то просто подхватил волну, не углубляясь в детали. В УЦОКО взяли тайм-аут в решениях и объясняют: пути выхода из сложившейся ситуации определят после того, как будет проведен экспресс-анализ теста.
И вот, дождавшись часа "Ч", страна узнает о его результатах. На вопросы отвечает директор Центра тестирования Игорь Ликарчук.
— Игорь Леонидович, сразу о главном. Момент истины настал?
— У нас уже есть результаты экспресс-анализа. Правда, это только результаты анализа по бланку А, который содержит задания закрытого типа. То есть не требующие формулирования собственных высказываний, а предусматривающие выбор правильного варианта ответа. К ним относятся и пять вопросов по тексту Г.Пагутяк. Анализ бланка Б еще не завершен.
Результаты этого экспресс-анализа позволяют сделать минимум три вывода. Первый. Если говорить о результатах абитуриентов, выбравших базовый вариант теста, то из пяти "проблемных" заданий два имеют неплохие психометрические характеристики. То есть, на нашем языке, они качественные. Два задания имеют неудовлетворительные психометрические характеристики. По поводу качества еще одного задания однозначного ответа нет. Его психометрические характеристики в разных вариантах разные. Так что подтверждений тому, что все пять заданий плохие, как говорят те, кого вы назвали оппонентами УЦОКО, нет. К категории заданий с низкими психометрическими характеристиками можно отнести только два и, возможно, еще одно. Второй вывод. У абитуриентов, выбравших углубленный уровень теста (а это выпускники, которые априори имеют лучший уровень подготовки), психометрические характеристики проблемных заданий совсем другие. Для этих абитуриентов задания были сложными, но они с ними справились. Таким образом, говорить о некачественных тестовых заданиях в этой группе оснований нет. Очевидно, что проблема не в заданиях, а в качестве подготовки абитуриентов. И третий наш вывод. Составители тестов переоценили потенциальные возможности абитуриентов, включив эти задания в тест для "всех". В том числе и в перечень заданий, которые будут использоваться для выпускного экзамена — государственной итоговой аттестации (ГИА). Абитуриенты не готовы выполнять сложные задачи когнитивного уровня, требующие применения знаний. Именно таковы задания на понимание прочитанного текста. Не на его анализ как художественного произведения, а на выявление компетенций внимательно прочитать и понять прочитанное. Не вина абитуриентов в том, что они не обучены внимательно читать тексты. И хотя формирование компетенций внимательного чтения — одна из важнейших программных задач школьного курса украинского языка, многие школы этому научили плохо. А репетиторы и подавно. Между прочим, подобные задания широко используются в международных сравнительных исследованиях качества общего среднего образования PIZA, PIRLS.
— Вот вам мнение мамы выпускника этого года: "Вы хотите с помощью ВНО отобрать качественных выпускников? Это прекрасно. Но ждем момента, когда в школу массово придут качественные учителя". Кстати, Галина Пагутяк также написала в своем открытом письме: "Школа не учит детей мыслить самостоятельно, не дает им возможности иметь собственное мнение. Не существует обратной связи между учителем и учениками". — Не только от учителей все зависит. Посмотрите на школьную программу по украинскому языку для 10-11 классов. На раздел "Чтение" отведено всего 2 часа в год.
— Что будете делать дальше, имея на руках результаты экспресс-анализа?
— В ближайшие несколько дней состоятся заседания двух экспертных комиссий, которые должны ответить на несколько вопросов. В частности, они должны принять решение — исключать или не исключать проблемные задания из перечня тех, по которым будут определяться результаты государственной итоговой аттестации. Также эксперты должны определиться с судьбой двух (трех) заданий, которые имеют некачественные психометрические характеристики. Здесь вариантов немного. Первый — исключить их из теста вообще. Но что тогда делать с детьми, которые выполнили их правильно? На одно из этих заданий дали правильный ответ 55 тыс. 700 чел., на другое — 32 тыс. Всего в тестировании по украинскому языку и литературе приняли участие 275 тыс. 119 чел. Как можно удалить такое большое количество правильных ответов? Есть второй вариант— всем, кто выполнил эти "2+1" задания с низкими психометрическими характеристиками, независимо от того, какой они дали ответ, засчитать по одному баллу.
— Этого, в принципе, и добиваются некоторые недовольные тестом абитуриенты.
Но в таком случае тот, кто не ошибся, и тот, кто ошибся, получат одинаковый балл. Разве это справедливо в отношении тех, кто справился с заданиями? Можно ли им начислить, скажем, два балла, а всем остальным — один? — Тестология такой вариант допускает. Но окончательное решение, несмотря на давление, будет принимать не директор УЦОКО. Это сделают две экспертные комиссии: профессиональная предметная и апелляционная. Кстати, задания с некачественными психометрическими характеристиками встречаются во многих тестах, и не только украинских. Не существует идеальных тестов. Такие ситуации возникают ежегодно. (Игорь Леонидович достает кипу папок разных лет с анализами тестов по разным предметам, демонстрируя доказательства. – О.О.)
— Как вы считаете, почему в этом году так горячо обсуждаются проблемные вопросы теста по украинскому языку и литературе?
— Я вижу здесь несколько причин. Первая — "высокая цена" нынешнего теста по украинскому языку и литературе. Во-первых, его результатывлияют на получение выпускниками школ золотых или серебряных медалей. А учитывая то, что процесс "омедаливания" во многих наших школах давно приобрел коррупционно-кумовские признаки и дорого стоит, в этом году угроза не стать медалистом вызвала ответную реакцию. Только один пример: по нашим данным, в одном "крутом" очень знаменитом киевском лицее должно было быть 20 медалистов. Может остаться.... один. Как с этим смириться? Вторая причина. В системе определения результатов ВНО введен порог "сдал — не сдал". То есть определенная часть абитуриентов за выполнение теста оценку не получит. А если ты не сдал украинский — не поступишь ни в один университет. Понимаете, как много важных моментов совпало? Это объективные причины. Есть и субъективные. Умные родители после тестирования могут прийти в школу и спросить: а чему вы учили моего ребенка? Я лично знаю учительницу, которая ушла на пенсию, сказав: "Я не хочу, чтобы ко мне пришли с претензиями и сказали, что я плохо подготовила к ВНО". И таких немало. Придут родители и к репетиторам. Между прочим, по моим довольно точным данным, за три дня до ВНО по украинскому языку и литературе отдельные киевские репетиторы требовали 50 евро за час работы с будущим абитуриентом. На периферии, разумеется, цены ниже. Родители велись на такие предложения. Потому что репетиторы говорили, что имеют связи в УЦОКО и знают содержание заданий. А когда прошло ВНО, оказалось, что ничего они не знали. Теперь родители, заплатившие большие деньги ни за что, предъявляют таким репетиторам претензии. Под угрозой не только полученные заработки, но и будущий бизнес. Как тут не будешь протестовать? Я всегда положительно относился к репетиторам: хорошо, что они есть, и дорабатывают то, чего не дорабатывает школа. Но сейчас мы имеем в образовательной среде опасное явление: некоторые репетиторы (не все, это правда) превратили учебный процесс в элементарное зарабатывание средств, обман родителей и абитуриентов. Между прочим, речь идет не только о репетиторах, работающих вне школы. К сожалению, у нас появилось немало школьных учителей, которые, не обеспечивая соответствующего уровня обучения в школьном классе, сознательно толкают учеников к тому, чтобы они приходили работать к ним во внеурочное время. По моему мнению, это злоупотребление своим служебным положением со всеми правовыми и моральными последствиями.
— Правда ли, что в этом году среди тех, кого поймали на горячем во время тестирования (на списывании), были медалисты, победители областных олимпиад и конкурса МАН?
— Да, это абсолютная правда. Но фамилии я вам называть не буду.
— Задания для тестов выбирают ежегодно из базы тестовых заданий. Вопросы по тексту Галины Пагутяк, ставшие яблоком раздора, попали туда в этом году?
— Нет, эти задания пролежали в базе четыре года — они были внесены еще в 2011 году. Одни эксперты составили задания, другие дали экспертные заключения. Была проведена апробация. Это обычная процедура.
— Кто выбирает задания из базы — человек или компьютер?
— Компьютерные программы, позволяющие это делать, очень дорогие. У нас таких нет.
— Если уж зашла речь о дискуссионных заданиях. Имел ли право Центр тестирования использовать авторский текст без ведома автора? Писательница Галина Пагутяк подчеркивает: "Я уверена, что опытный юрист найдет нарушения и имущественных авторских прав".
— Я ответственно заявляю, что УЦОКО не нарушил никаких прав автора. Мы в тестах используем произведения многих "живых", как написала госпожа автор, писателей. У нас есть произведения Лины Костенко, Дмитрия Павлычко, Ивана Драча. Мы использовали их в течение многих лет. Мы использовали и другие публикации. Кстати, в одном из вариантов нынешнего теста есть публикация "Зеркала недели", которая представлена в таком же задании на понимание прочитанного. Это публицистический текст.
— Законом об авторском праве и смежных правах (ст. 23) разрешается свободное воспроизведение для обучения опубликованных произведений без согласия автора. Вы это имеете в виду?
— И это тоже. Если автор считает, что нарушены ее права, она может обратиться в суд.
— Правда ли, что содержание "проблемных" заданий требует знаний, умений и навыков, формирование которых не предусмотрено школьной программой?
— Вот программа по украинскому языку, 10-11 класс, уровень стандарта. Смотрим 10 класс. Виды речевой деятельности. Подраздел "Чтение". Посмотрите, что там написано?
— Чтение текстов разных типов, стилей, жанров... Государственные требования к уровню общеобразовательной подготовки: ученик "воспринимает адекватно письменную речь...; выделяет ключевые фразы и слова; определяет актуальную информацию в прочитанном, усваивает ее; анализирует содержание, структуру, речевое оформление текста". — Наши задания, которые предусматривали анализ содержания прочитанного, в рамках школьной программы. И то, что хорошо подготовленная группа абитуриентов с ними справилась — еще одно тому подтверждение.
— Ну что же, будем ждать окончательного решения двух комиссий при УЦОКО.
— На меня давят со всех сторон, но я говорю: должна быть справедливость!
К дискуссии подключились некоторые педагоги, университетские преподаватели, даже начальники разных уровней.
Споры ведутся горячо, страстно, зачастую вне профессиональной плоскости, со взаимными оскорблениями и обвинениями. Кто-то беспокоится о поступлении, кто-то — о собственных амбициях и репутации, кто-то просто подхватил волну, не углубляясь в детали. В УЦОКО взяли тайм-аут в решениях и объясняют: пути выхода из сложившейся ситуации определят после того, как будет проведен экспресс-анализ теста.
И вот, дождавшись часа "Ч", страна узнает о его результатах. На вопросы отвечает директор Центра тестирования Игорь Ликарчук.
— Игорь Леонидович, сразу о главном. Момент истины настал?
— У нас уже есть результаты экспресс-анализа. Правда, это только результаты анализа по бланку А, который содержит задания закрытого типа. То есть не требующие формулирования собственных высказываний, а предусматривающие выбор правильного варианта ответа. К ним относятся и пять вопросов по тексту Г.Пагутяк. Анализ бланка Б еще не завершен.
Результаты этого экспресс-анализа позволяют сделать минимум три вывода. Первый. Если говорить о результатах абитуриентов, выбравших базовый вариант теста, то из пяти "проблемных" заданий два имеют неплохие психометрические характеристики. То есть, на нашем языке, они качественные. Два задания имеют неудовлетворительные психометрические характеристики. По поводу качества еще одного задания однозначного ответа нет. Его психометрические характеристики в разных вариантах разные. Так что подтверждений тому, что все пять заданий плохие, как говорят те, кого вы назвали оппонентами УЦОКО, нет. К категории заданий с низкими психометрическими характеристиками можно отнести только два и, возможно, еще одно. Второй вывод. У абитуриентов, выбравших углубленный уровень теста (а это выпускники, которые априори имеют лучший уровень подготовки), психометрические характеристики проблемных заданий совсем другие. Для этих абитуриентов задания были сложными, но они с ними справились. Таким образом, говорить о некачественных тестовых заданиях в этой группе оснований нет. Очевидно, что проблема не в заданиях, а в качестве подготовки абитуриентов. И третий наш вывод. Составители тестов переоценили потенциальные возможности абитуриентов, включив эти задания в тест для "всех". В том числе и в перечень заданий, которые будут использоваться для выпускного экзамена — государственной итоговой аттестации (ГИА). Абитуриенты не готовы выполнять сложные задачи когнитивного уровня, требующие применения знаний. Именно таковы задания на понимание прочитанного текста. Не на его анализ как художественного произведения, а на выявление компетенций внимательно прочитать и понять прочитанное. Не вина абитуриентов в том, что они не обучены внимательно читать тексты. И хотя формирование компетенций внимательного чтения — одна из важнейших программных задач школьного курса украинского языка, многие школы этому научили плохо. А репетиторы и подавно. Между прочим, подобные задания широко используются в международных сравнительных исследованиях качества общего среднего образования PIZA, PIRLS.
— Вот вам мнение мамы выпускника этого года: "Вы хотите с помощью ВНО отобрать качественных выпускников? Это прекрасно. Но ждем момента, когда в школу массово придут качественные учителя". Кстати, Галина Пагутяк также написала в своем открытом письме: "Школа не учит детей мыслить самостоятельно, не дает им возможности иметь собственное мнение. Не существует обратной связи между учителем и учениками". — Не только от учителей все зависит. Посмотрите на школьную программу по украинскому языку для 10-11 классов. На раздел "Чтение" отведено всего 2 часа в год.
— Что будете делать дальше, имея на руках результаты экспресс-анализа?
— В ближайшие несколько дней состоятся заседания двух экспертных комиссий, которые должны ответить на несколько вопросов. В частности, они должны принять решение — исключать или не исключать проблемные задания из перечня тех, по которым будут определяться результаты государственной итоговой аттестации. Также эксперты должны определиться с судьбой двух (трех) заданий, которые имеют некачественные психометрические характеристики. Здесь вариантов немного. Первый — исключить их из теста вообще. Но что тогда делать с детьми, которые выполнили их правильно? На одно из этих заданий дали правильный ответ 55 тыс. 700 чел., на другое — 32 тыс. Всего в тестировании по украинскому языку и литературе приняли участие 275 тыс. 119 чел. Как можно удалить такое большое количество правильных ответов? Есть второй вариант— всем, кто выполнил эти "2+1" задания с низкими психометрическими характеристиками, независимо от того, какой они дали ответ, засчитать по одному баллу.
— Этого, в принципе, и добиваются некоторые недовольные тестом абитуриенты.
Но в таком случае тот, кто не ошибся, и тот, кто ошибся, получат одинаковый балл. Разве это справедливо в отношении тех, кто справился с заданиями? Можно ли им начислить, скажем, два балла, а всем остальным — один? — Тестология такой вариант допускает. Но окончательное решение, несмотря на давление, будет принимать не директор УЦОКО. Это сделают две экспертные комиссии: профессиональная предметная и апелляционная. Кстати, задания с некачественными психометрическими характеристиками встречаются во многих тестах, и не только украинских. Не существует идеальных тестов. Такие ситуации возникают ежегодно. (Игорь Леонидович достает кипу папок разных лет с анализами тестов по разным предметам, демонстрируя доказательства. – О.О.)
— Как вы считаете, почему в этом году так горячо обсуждаются проблемные вопросы теста по украинскому языку и литературе?
— Я вижу здесь несколько причин. Первая — "высокая цена" нынешнего теста по украинскому языку и литературе. Во-первых, его результатывлияют на получение выпускниками школ золотых или серебряных медалей. А учитывая то, что процесс "омедаливания" во многих наших школах давно приобрел коррупционно-кумовские признаки и дорого стоит, в этом году угроза не стать медалистом вызвала ответную реакцию. Только один пример: по нашим данным, в одном "крутом" очень знаменитом киевском лицее должно было быть 20 медалистов. Может остаться.... один. Как с этим смириться? Вторая причина. В системе определения результатов ВНО введен порог "сдал — не сдал". То есть определенная часть абитуриентов за выполнение теста оценку не получит. А если ты не сдал украинский — не поступишь ни в один университет. Понимаете, как много важных моментов совпало? Это объективные причины. Есть и субъективные. Умные родители после тестирования могут прийти в школу и спросить: а чему вы учили моего ребенка? Я лично знаю учительницу, которая ушла на пенсию, сказав: "Я не хочу, чтобы ко мне пришли с претензиями и сказали, что я плохо подготовила к ВНО". И таких немало. Придут родители и к репетиторам. Между прочим, по моим довольно точным данным, за три дня до ВНО по украинскому языку и литературе отдельные киевские репетиторы требовали 50 евро за час работы с будущим абитуриентом. На периферии, разумеется, цены ниже. Родители велись на такие предложения. Потому что репетиторы говорили, что имеют связи в УЦОКО и знают содержание заданий. А когда прошло ВНО, оказалось, что ничего они не знали. Теперь родители, заплатившие большие деньги ни за что, предъявляют таким репетиторам претензии. Под угрозой не только полученные заработки, но и будущий бизнес. Как тут не будешь протестовать? Я всегда положительно относился к репетиторам: хорошо, что они есть, и дорабатывают то, чего не дорабатывает школа. Но сейчас мы имеем в образовательной среде опасное явление: некоторые репетиторы (не все, это правда) превратили учебный процесс в элементарное зарабатывание средств, обман родителей и абитуриентов. Между прочим, речь идет не только о репетиторах, работающих вне школы. К сожалению, у нас появилось немало школьных учителей, которые, не обеспечивая соответствующего уровня обучения в школьном классе, сознательно толкают учеников к тому, чтобы они приходили работать к ним во внеурочное время. По моему мнению, это злоупотребление своим служебным положением со всеми правовыми и моральными последствиями.
— Правда ли, что в этом году среди тех, кого поймали на горячем во время тестирования (на списывании), были медалисты, победители областных олимпиад и конкурса МАН?
— Да, это абсолютная правда. Но фамилии я вам называть не буду.
— Задания для тестов выбирают ежегодно из базы тестовых заданий. Вопросы по тексту Галины Пагутяк, ставшие яблоком раздора, попали туда в этом году?
— Нет, эти задания пролежали в базе четыре года — они были внесены еще в 2011 году. Одни эксперты составили задания, другие дали экспертные заключения. Была проведена апробация. Это обычная процедура.
— Кто выбирает задания из базы — человек или компьютер?
— Компьютерные программы, позволяющие это делать, очень дорогие. У нас таких нет.
— Если уж зашла речь о дискуссионных заданиях. Имел ли право Центр тестирования использовать авторский текст без ведома автора? Писательница Галина Пагутяк подчеркивает: "Я уверена, что опытный юрист найдет нарушения и имущественных авторских прав".
— Я ответственно заявляю, что УЦОКО не нарушил никаких прав автора. Мы в тестах используем произведения многих "живых", как написала госпожа автор, писателей. У нас есть произведения Лины Костенко, Дмитрия Павлычко, Ивана Драча. Мы использовали их в течение многих лет. Мы использовали и другие публикации. Кстати, в одном из вариантов нынешнего теста есть публикация "Зеркала недели", которая представлена в таком же задании на понимание прочитанного. Это публицистический текст.
— Законом об авторском праве и смежных правах (ст. 23) разрешается свободное воспроизведение для обучения опубликованных произведений без согласия автора. Вы это имеете в виду?
— И это тоже. Если автор считает, что нарушены ее права, она может обратиться в суд.
— Правда ли, что содержание "проблемных" заданий требует знаний, умений и навыков, формирование которых не предусмотрено школьной программой?
— Вот программа по украинскому языку, 10-11 класс, уровень стандарта. Смотрим 10 класс. Виды речевой деятельности. Подраздел "Чтение". Посмотрите, что там написано?
— Чтение текстов разных типов, стилей, жанров... Государственные требования к уровню общеобразовательной подготовки: ученик "воспринимает адекватно письменную речь...; выделяет ключевые фразы и слова; определяет актуальную информацию в прочитанном, усваивает ее; анализирует содержание, структуру, речевое оформление текста". — Наши задания, которые предусматривали анализ содержания прочитанного, в рамках школьной программы. И то, что хорошо подготовленная группа абитуриентов с ними справилась — еще одно тому подтверждение.
— Ну что же, будем ждать окончательного решения двух комиссий при УЦОКО.
— На меня давят со всех сторон, но я говорю: должна быть справедливость!
© Зеркало недели
Оценка
+7
