Психодиагностика - Евгения Романова

б) инструкции к проведению должны пройти специальные испытания на однозначность их выполнения экспертами по отношению к некоторому эталонному набору данных (текстов, рисунков, звуко- или видеозаписей и т. п.);

в) процедура обработки результатов должна включать в себя такое документирование промежуточных этапов обработки, которое позволило бы перепроверить конечный результат другому эксперту;

г) пользователи-разработчики должны иметь возможность воспроизвести (повторить) нормативное исследование по измерению экспертной согласованности на эталонном наборе данных;

д) головная организация должна вести банк данных, обеспечивая подготовку пользователей и переподготовку (в соответствии с пересмотренными стандартами методики).

Любая методика, не удовлетворяющая перечисленным выше требованиям, не может считаться профессиональной психодиагностической методикой. Методики должны проходить аттестацию в рамках головных методических организаций, в обязанности которых входит составление библиотек «аттестованных психодиагностических методик». Вся инструктивная литература по методикам, не прошедшим аттестацию, не может считаться годной для применения в практической психологии.

Это не исключает возможности применения неаттестованных методик в исследовательских целях.

3.4. Критерии оценки качества тестовых процедур

За несколько десятилетий, истекших с момента, когда задача интенсивной разработки психодиагностических методик вновь была выдвинута в число наиболее актуальных проблем советской психологии [43; 44; 61; 76], по рассматриваемой проблеме проделана значительная работа. В публикациях Б. Г. Ананьева [11–15]; А. А. Бодалева, М. Д. Дворяшиной, И. М. Палея [220]; Д. Б. Богоявленской [42]; В. М. Блейхера и Л. Ф. Бурлачука [37]; Л. А. Венгера [60; 61]; П. Я. Гальперина [70]; К. М. Гуревича [87]; В. В. Давыдова [88]; Ю. М. Забродина [99–105]; Г. М. Зараковского [108]; И. И. Ивановой и В. Г. Асеева [119]; З. И. Калмыковой [218]; А. Г. Ковалева и В. Н. Мясищева [136]; Б. Б. Коссова [145]; Г. С. Костюка [147]; A. Н. Леонтьева [162]; Б. Ф. Ломова [169]; Н. А. Менчинской [181]; В. Г. Норакидзе [193]; А. В. Петровского [206]; К. К. Платонова [208]; Я. А. Пономарева [209]; А. И. Раева и Л. А. Регуш [230]; Е. Ф. Рыбалко [12]; А. А. Смирнова и Е. И. Степановой [262]; Ю. Л. Сыэрда [274]; Н. Ф. Талызиной [275]; Б. М. Теплова [278; 281]; Д. Б. Эльконина [310]; В. А. Ядова [317]; И. С. Якиманской [318] и других отечественных исследователей сформулированы наиболее общие требования, реализация которых должна, по мысли авторов, обеспечить оптимизацию тестовых методик по критериям их научной достоверности и практической эффективности.

Значительное число исследований посвящено разработке критериально-оценочного аппарата тестологии. В них обсуждаются широко известные и теперь уже общепринятые положения, касающиеся критериев качества психологических тестов. Такими критериями являются: надежность, валидность, прогностическая ценность, объективность, а также доступность и удобство практического использования. Выделим характеристики некоторых из них, поскольку по отношению к ним не возникает каких-либо вопросов.

Критерий объективности применительно к психологическим тестам имеет три значения. Два из них являются общими для всех психологических тестов. Это, во-первых, стандартность условий тестирования по отношению ко всем испытуемым и, во-вторых, строгая регламентация процедуры оценивания, обусловливающая выставление одной и той же оценки за данный результат любым количеством оценщиков. Третье значение – специфическое для личностных тестов – заключается в обеспечении независимости результатов теста от возможных попыток их сознательного искажения испытуемым [2; 3; 69].

Под доступностью и удобством практического использования понимаются прежде всего относительная простота и кратковременность процедуры тестирования и оценивания, отсутствие высоких требований к квалификации персонала, осуществляющего тестирование, а также дешевизна стимульной части теста (аппаратов, оборудования, буклетов и т. д.).

Что касается прогностической ценности, то это – одно из основных требований к тестам – исходит от заинтересованных практиков и в течение уже многих лет представляет собой основную «область уязвимости» для критиков-теоретиков. Вместе с тем в отечественной литературе имеется особое мнение о специфике прогностической ценности тестовых измерений [см. 102; 104]. Здесь речь идет о возможности использовать данные психодиагностики для прогноза поведения субъекта:

♦ в другой ситуации;

♦ в «другом субъекте»;

♦ в другое время;

♦ в другой задаче.

Выделяются два типа прогноза: эмпирический, основанный на принципе простого «переноса» данных в области «малых изменений», и теоретический, основанный на применении теоретических моделей явлений. Если эмпирический прогноз теснейшим образом связан с идеей «подобия» ситуаций, субъектов, движений во времени и в пространстве задач, то теоретический прогноз оказывается связанным с проблемой интерпретации и «силой и мощностью» теоретической модели. Эта проблема затрагивает проблемы «перекрестной валидизации» и имеет непосредственное отношение к связке: «данные тестового измерения – математическая модель обработки данных – психологическая модель явления (субъекта) – психическая регуляция noведения – прогноз поведения».

3.5. Оценка надежности тестов

Несмотря на кажущуюся простоту, данная проблема постоянно находится в фокусе внимания психометристов, порождая нескончаемый поток публикаций [72; 73; 138; 147]. Публикации, посвященные различным аспектам надежности, начали появляться и в советской литературе [75; 79; 87; 184; 274; 277].

В современной психометрии стало уже привычным в качестве фундаментальных характеристик пригодности теста как измерительного инструмента выделять его надежность и валидность.

Однако, несмотря на все возрастающее внимание к проблеме надежности, многие ее аспекты остаются недостаточно разработанными, дискуссионными. Как отмечается в одной из последних работ по психологическому тестированию, изданных за рубежом [325], в течение многих десятилетий усилия исследователей концентрировались главным образом на совершенствовании методов, посредством которых оценивается согласованность измерения, и лишь сравнительно недавно взоры стали обращаться к вопросам, связанным с установлением причин, обусловливающих недостаточную надежность тех или иных тестов.

Поэтому и в подходах к трактовке различных аспектов этого понятия, в интерпретации конкретных коэффициентов надежности, наконец, в понимании взаимосвязи надежности и валидности все еще сохраняется немало спорных, а то и просто неосвещенных моментов. В частности, недостаточно четко специфицированы отдельные аспекты надежности, остаются «белые пятна» и в вопросе о факторах, создающих погрешность измерения, недостаточно проанализированы и пути повышения надежности тестовых методик. Все это делает проблему надежности одной из наиболее актуальных в современной тестологии.

Надежность (reliability — англ.) теста – это характеристика точности его как измерительного инструмента, устойчивости его к действиям помех (состояние испытуемых, их отношение к процессу тестирования и др.).

При разработке теста на базе репрезентативной выработки исследователь отбирает задачи, вопросы (или модифицирует их) таким образом, чтобы распределение реальных тестовых оценок было по возможности близко к нормальному. Величина дисперсии в этом случае считается истинной и обозначается через D или s2.

Каждый член тестированной выборки занимает свое определенное место на шкале «сырых» оценок и шкале стандартных отклонений. Теоретически это место для каждого члена выборки должно быть постоянно. Повторное выполнение теста теми же испытуемыми должно давать такое же распределение мест на указанных шкалах, как и в первый раз. В этом идеальном случае тест считается абсолютно надежным. На практике оценка и места испытуемых в результате повторного тестирования часто меняются. Распределение в этом случае в большей степени отличается от нормального, чем исходное, принятое за эталонное, истинное.

Для такого распределения величина дисперсии выше, чем s2 на величину дисперсии ошибки измерения: s2х = s2 + s22.