Контроль качества обучения при аттестации: компетентностный подход - Виктор Звонников

Дисперсия играет важную роль в оценке качества тестов. Низкая дисперсия указывает на плохое качество нормативно-ориентированного теста, поскольку не обеспечивает высокий дифференцирующий эффект. Излишне высокая дисперсия, характерная для случая, когда все студенты отличаются по числу выполненных заданий, также требует переработки теста из-за существенного отличия вида распределения баллов от планируемой нормальной кривой. В процессе коррекции теста следует руководствоваться простым правилом: если проверка согласованности эмпирического распределения с нормальным дает положительные результаты, а дисперсия растет, то это означает, что переработка приводит к повышению его качества.

Использование стандартного отклонения как меры вариации особенно эффективно для нормального распределения баллов испытуемых, поскольку в этом случае можно прогнозировать процент данных, лежащих внутри одного, двух и трех стандартных отклонений, откладываемых от центра распределения. В любом нормальном распределении приблизительно 68% площади под кривой лежит в пределах одного стандартного отклонения, откладываемого влево и вправо от среднего (т.е. X̅ ± 1 · Sx); 95% площади под кривой расположено в пределах двух Sx откладываемых слева и справа от среднего (X̅·± 2 · S ); 99,7% площади под кривой – в пределах трех Sx по обе стороны от X̅ (X̅ ± 2 · Sx).

Вообще существует бесконечное множество нормальных кривых, отличающихся друг от друга значениями X̅ и Sx, но все они объединяются общими свойствами, которые связаны с долями площади под кривой в пределах определенного числа отклонений. Из всех нормальных кривых наиболее удобна единичная, площадь под которой равна единице. Для нее среднее значение равно нулю, а стандартное отклонение единице.

Для преобразования любой нормальной кривой в единичную достаточно выполнить вычитание среднего значения X̅ из каждого индивидуального балла Xi и разделить полученную разность на стандартное отклонение Sx, т.е., применив формулу

получим нормированное нормальное распределение со средним в нуле и единичным стандартным отклонением.

При разработке теста необходимо помнить о том, что кривая распределения индивидуальных баллов, получаемых на репрезентативной выборке, носит неслучайный характер. Она является следствием подбора трудности заданий теста. При смещении в сторону легких заданий большая часть студентов выполнит почти все задания теста и получит высокие индивидуальные баллы. При приоритетном подборе самых трудных заданий в распределении индивидуальных баллов получится всплеск вблизи начала горизонтальной оси. При оптимальной трудности теста, когда распределение оценок параметра трудности заданий имеет вид нормальной кривой, автоматически возникает нормальность распределения индивидуальных баллов репрезентативной выборки студентов, что в свою очередь позволяет считать полученное распределение устойчивым по отношению к генеральной совокупности и определить репрезентативные нормы выполнения теста.

Углубленный анализ качества теста, позволяющий сделать выводы о направлениях коррекции содержания отдельных заданий, связан с вычислением показателей связи между результатами испытуемых по отдельным заданиям теста. При оценке качества заданий важно понять, существует ли тенденция, когда одни и те же студенты добиваются успеха в какой-либо паре заданий теста либо состав учеников, добивающихся успеха, полностью меняется при переходе от одного задания теста к другому. Ответ на вопрос о существовании связи между двумя наборами данных получают с помощью корреляции.

Для выражения степени соответствия между наборами данных X и Y используется специальная мера, которая называется ковариацией. Смысл понятия «ковариация» удобно пояснить на примере результатов выполнения одной группой испытуемых двух тестов X и Y Пусть результаты по первому тесту X – это множество хi (i = l, 2, …, Ν), а по второму тесту – Yi (i = 1, 2, …, Ν). Тогда для установления меры связи между результатами студентов по двум тестам необходимо сравнить положение каждого тестируемого по отношению к средним в распределении результатов по тесту X и по тесту Y. Степень соответствия результатов i-го испытуемого в первом (X) и во втором (Y) тестированиях будет проявляться в величине и знаке произведения отклонений (Xi – X̅)(Yi – Y̅), где Xi, Yi – результаты i-го испытуемого в первом и во втором тестированиях соответственно (i = 1, 2, …, N); X̅, Y̅ — средние значения результатов по тестам X и Y, N — число студентов тестируемой группы.

Если результат i-го испытуемого намного выше или ниже среднего балла по обоим тестам, то произведение (Xi – X̅)(Yi – Y̅) будет большим и положительным. Таким образом, при прямой связи значений Xi и Yi (i = 1, 2, …, N) по тестам X и Y большой и положительной получится сумма всех произведений, т.е.

При обратной связи результатов тестирования, когда большинство значений Xi выше (ниже) среднего X̅ по тесту X сменяются на значения Yi ниже (выше) среднего Y̅ по тесту Y, сумма

будет меньше нуля и велика по модулю в силу отрицательного знака всех или почти всех произведений (Xi – X̅)(Yi – Y̅). Наконец, если систематической связи между результатами студентов по тестам X и Y не наблюдается, знак произведения (Xi – X̅)(Yi – Y̅) будет хаотически меняться. Вполне возможно, что для достаточно большой выборки испытуемых, положительные слагаемые будут уравновешиваться отрицательными и потому сумма произведений

получится близкой к нулю.

Таким образом, произведение (Xi – X̅)(Yi – Y̅) по знаку и абсолютной величине отражает характер связи между наборами данных. Операция усреднения, осуществляемая путем деления суммы произведений отклонений на число испытуемых в выборке, позволяет получить показатель связи, не зависящий от размеров выборок, который называется ковариацией и обозначается символом. Его можно использовать для сравнения мер связи между результатами тестовых измерений по выборкам разного объема.

(6.4)

(Замечание, также как и в случае подсчета дисперсии, для различных прикладных задач в статистике удобнее делить не на N, а на N – 1, что при больших размерах выборок не сказывается существенно на величине Sxy).

Для повышения сопоставимости оценок показателей связи по выборкам с различной дисперсией ковариацию делят на стандартные отклонения. Таким образом, Sxy необходимо разделить на Sx и Sy, где Sx и Sy – стандартные отклонения по множествам X и Y соответственно. В результате после преобразований получается величина, которая называется коэффициентом корреляции Пирсона rxy:

(6.5)

При исследовании связи между наборами данных необходимо правильно выбрать вид и форму показателя, зависящих от шкал, в которых представлены данные (см. подробнее в книге: [7]). В частности, для оценки связи между результатами выполнения учащимися двух заданий теста коэффициент корреляции Пирсона rxy необходимо преобразовать, поскольку результаты выполнения заданий представляются в дихотомической шкале (столбцы из нулей и единиц в матрице данных по тесту). Преобразованный коэффициент Пирсона для дихотомических данных называется коэффициентом ц и вычисляется по формуле