Контроль качества обучения при аттестации: компетентностный подход - Виктор Звонников

Результаты измерений могут использоваться в самых различных целях: например, для принятия управленческих решений в учебном процессе, связанных с усилением акцентов на отдельных разделах учебной программы, выделением дополнительного времени для повторения и так далее либо для осуществления диагностики пробелов в обучении, отбора студентов со специальными целями (обучение по индивидуальным программам и т.д.), проведения аттестации, оценки эффективности деятельности учебных заведений, планирования образовательной политики. Однако вне зависимости от сферы использования количественные данные должны пройти этап качественной интерпретации, чтобы стать информационной основой любых управленческих решений в образовании.

Особенно важны качественные методы в том случае, когда тесты разрабатываются на основе критериально-ориентированного подхода, позволяющего качественно интерпретировать количественные результаты тестирования при аттестации (процент освоенного содержания обучения) по отношению к содержательной области, включенной в тест и снабженной определенными критериями выполнения (см. Основные подходы к разработке измерителей ). Вначале балл каждого студента подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста. Затем полученный для каждого студента процент сравнивается со стандартами выполнения – критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста. Таким образом, в самом критериально-ориентированном подходе заложена идея качественной интерпретации с использованием конкретной области содержания и участием экспертов для выбора критериев выполнения тестов.

Третья и четвертая схемы, приведенные на рис. 2.12, кажутся подобными первым двум, хотя речь идет не о последующей интерпретации, расширяющей возможности количественных или качественных методов измерения, а об объединении методов в рамках последовательного дизайна в едином измерительном процессе.

Рис. 2.12. Последовательный дизайн реализации бипарадигмальных методов в измерении (схемы 3, 4)

Последовательный дизайн имеет отличающиеся по времени выполнения уровни измерения, поэтому его можно назвать двухстадийным. На верхней схеме качественные методы измерения предшествуют количественным, что соответствует практической ситуации, когда анкетирование предваряет тестирование по заданиям с выбором ответов. На нижней схеме ситуация полностью противоположна: студентов сначала тестируют, а затем собирают дополнительную информацию на основе анкет, опросных листов или собеседований для углубленного анализа данных тестирования и расширения возможностей интерпретации при использовании результатов измерений в управлении качеством образования. Обе схемы на рис. 2.12 предполагают анализ взаимного влияния данных качественного и количественного уровней, когда результаты тестирования пытаются соотнести с социально-экономическими, демографическими или другими факторами для корректного сопоставления количественных данных и получения долгосрочных прогнозов в управлении качеством образования.

Последний вариант взаимодействия количественных и качественных методов педагогических измерений, представленный на рис. 2.13, иллюстрирует параллельный дизайн, примером которого могут служить КИМ ЕГЭ, в которых сочетаются задания с выбором и со свободно конструируемым ответом. Вне практики ЕГЭ параллельный дизайн мало распространен в отечественном образовании, так как экспертная проверка заданий со свободно конструируемыми ответами довольно затратное мероприятие, требующее привлечения специально обученных экспертов.

Рис. 2.13. Параллельный дизайн реализации бипарадигмальных моделей в измерении (схема 5)

Соотнесение предлагаемых схем дизайна измерений с типологией бипарадигмальных моделей (см. рис. 2.9) позволяет дать расширенную интерпретацию предложенной на упомянутом рисунке классификационной схемы, которая выстроена в соответствии типами различных задач, решаемых в обучении на всех образовательных уровнях. Классификация моделей охватывает диапазон управленческих проблем от повседневного процесса обучения до выработки отдельных административных решений. Предполагается, что с помощью информации, полученной на основе бипарадигмальных моделей измерения, можно принять целый спектр управленческих решений в учебном процессе (построить индивидуальные обучающие траектории, усилить акценты на отдельных разделах учебной программы, выделить дополнительное время для повторения, придерживаться учебного плана и т.д.), осуществить диагностику пробелов в обучении, произвести отбор студентов со специальными целями, провести аттестацию, оценить эффективность инноваций в обучении, скорректировать образовательную политику и т.д.

В частности, в соответствии с классификацией задач (вход в обучение, текущий процесс, завершение определенного периода учебного процесса), решаемых с помощью измерений, можно выделить три основных типа бипарадигмальных моделей измерения и представить их основное назначение в обучении. Естественно, что каждый тип модели допускает использование и количественных, и качественных методов, поэтому с определенной степенью общности в типологической схеме можно говорить лишь о доминанте тех или иных уровней измерения.

В первой модели входных измерений доминируют количественные методы в соответствии со схемой 2, поскольку при начале обучения в основном, но не всегда, используют методы экспресс-диагностики, реализуемые с помощью претестов (предварительных тестов) с заданиями на выбор правильного ответа, результаты которых подвергаются качественной интерпретации [28, 39]. Благодаря кратким заданиям, обычно с двумя или тремя ответами, среди которых один верный, претесты позволяют с высокой эффективностью выявить готовность к усвоению новых знаний у всех студентов.

По результатам выполнения претеста преподаватель принимает управленческое решение о возможности продвижения по программе обучения или отказа от новых тем и повторения базового материала. Претесты работают также на режим индивидуализации обучения, поскольку помогают выделить тех, кто нуждается в дополнительной работе и консультациях педагога либо, наоборот, кто способен двигаться быстрее по индивидуальной программе обучения с максимальным развивающим эффектом. Применение данных входного измерения в адаптивном тестировании при контроле или обучении позволяет оптимизировать подбор трудности заданий с первых шагов продвижения студента по адаптивному тесту.

Модель текущих измерений ориентирована преимущественно на качественные методы в соответствии со схемой 1, поскольку в повседневном учебном процессе преобладают традиционные контрольно-оценочные средства: опросы, контрольные работы и так далее, результаты выполнения которых нередко подвергаются количественной интерпретации. Даже в тех случаях, когда для решения задач текущего контроля разрабатываются корректирующие и диагностические тесты, измерения носят качественный характер. Хотя тесты первого вида, как правило, являются критериально-ориентированными и в основном включают задания с выбором ответов, их результаты никогда не обрабатываются с помощью современной теории IRT, поскольку их применение полностью нацелено на дифференцированный подход к обучающимся при коррекции пробелов в усвоении. С помощью корректирующих тестов можно найти слабые места в подготовке студентов и выявить направления индивидуальной помощи им в освоении нового материала.

Логика критериально-ориентированного подхода при корректирующем тестировании достаточно проста и привычна для педагога. В тех случаях, когда число ошибок в тестах превышает установленный критерий, преподавателю следует вмешаться в процесс усвоения новых знаний и помочь учащемуся ликвидировать пробелы. При обычных условиях вся работа по выявлению пробелов и коррекции процесса усвоения лежит на преподавателях, что приводит к значительным перегрузкам. Благодаря корректирующему тестированию центр тяжести в работе педагога при управлении процессом усвоения новых знаний смещается на тесты.

Если затруднения студента при выполнении заданий по какому-либо разделу учебного материала носят систематический характер, то педагог может прибегнуть к помощи диагностических тестов, которые предоставляют информацию исключительно на качественном уровне измерений. Основная цель диагностики – установление причин пробелов в знаниях студентов – достигается специальным подбором содержания заданий в тестах. Как правило, в них бывают представлены слабо варьирующие по содержанию задания, рассчитанные по форме представления на отслеживание отдельных этапов выполнения каждого задания теста. Подробная детализация позволяет выявить причины устойчивых ошибок студентов, конкретизировать характер возникающих затруднений и получить качественные выводы о несформированности тех или иных учебных умений.