Проверка трудности задач

Важным шагом в конструировании теста является проверка трудности предложенных задач. Для этого необходимо провести предварительное тестирование экспериментальной группы (выборки). После того, как определён состав выборки, испытуемым предлагается решить составленные задачи. Полученные ответы анализируются с целью установления трудности, обоснованности и дискриминативности каждого вопроса, пригодности каждого варианта ответов. Результатом анализа становится отбор и корректировка задач, а также их перераспределение внутри теста.

Трудность задачи является важнейшей характеристикой, определяющей её место в тесте. Трудность может быть субъективной и статистической.

Субъективная трудность задачи связана с индивидуально-психологическим барьером учащихся. В психологии величина этого барьера определяется различными факторами, в том числе:

• 1. Условиями решения задачи (временем, отведённым на решение, понятностью инструкции т.п.).
• 2. Уровнем формирования необходимых для решения знаний, умений и навыков.
• 3. Состояние испытуемого и т. д.

Для снижения влияния перечисленных факторов определяется стандартная форма процедуры тестирования.

В большинстве случаев для тестов достижений достаточно учитывать только правильность решения задач и меньше внимания уделять способу решения, характеру затруднений, энергетическим затратам испытуемого. В связи с этим определяется и используется статистическая трудность задач.

Статистическая трудность определяется долями решивших и не решивших задачу в выборке. Например, если задачу решили только 20% участников тестирования, то её можно оценить как трудную для данной выборки, если 80% - как лёгкую. При этом значимым является только факт выполнения или невыполнения задания, причины неудач не рассматриваются.

Статистическая трудность позволяет определить место задачи в тесте. Так, если задачу решает большинство испытуемых, то её, как лёгкую, помещают в начале; в том случае, когда с задачей справляется незначительный процент испытуемых, то её, как трудную, помещают в конце теста. Самые лёгкие задачи (одну-две) выносят перед основными задачами теста и используют в качестве примеров. Итогом распределения задач по степени их трудности должна стать «лестница» усложняющихся задач, каждая ступень которой представлена процентом испытуемых, решивших соответствующую задачу.

В тестах достижений трудности задач лучше всего определять в условиях «мягкого» лимита времени или совсем без его ограничения, фиксируя правильность и время решения.

Если трудность задания нормативно-ориентированного теста составляет меньше 20 или больше 80%, то его необходимо переработать или отбраковать. Для тестов, ориентированных на критерий, значение трудности не так существенно.

Определение дискриминативности (дифференцирующей способности) заданий Дискриминативность задач определяется как способность отделять испытуемых с высоким общим баллом по тесту от тех, кто получил низкий балл, или испытуемых с высокой продуктивностью учебной деятельности от испытуемых с низкой продуктивностью. Дискриминативность обозначает различительную способность задачи.

Для ее определения могут применяться коэффициент и индекс дискриминации, формула Фергюссона.

Самый простой и наглядный способ вычисления дискриминативности — применение метода крайних групп, когда при расчете учитываются результаты учащихся, наиболее и наименее успешно справившихся со всем тестом. Как правило, берут по 27% лучших и худших по результатам выполнения всего теста. Индекс дискриминации вычисляется как разность долей испытуемых из высокопродуктивной и низкопродуктивной групп, правильно Если ученики, лучше справившиеся со всем тестом, задание выполняют хуже или так же, как ученики, справившиеся со всем тестом плохо, дискриминативность признается неудовлетворительной. Это означает, что задание имеет существенные изъяны.

Типичными недостатками задач, оказывавшихся непригодными, являются:

• 1. Излишняя сложность, запутанность формулировки.
• 2. Неоднозначность условия.
• 3. Очевидность решения.
• 4. Зависимость результата от памяти или от других индивидуальных особенностей испытуемого, а не от уровня развития тех умений и навыков, для оценки которых разрабатывается тест (кроме заданий, где необходима именно работа памяти).
• 5. Абсурдность, нереальность вариантов ответов.
• 6. Появление двух и более правильных ответов, не оговоренное в условии.

Таким образом, дискриминативность ставит заслон некачественным заданиям.

Определение дискриминативности обязательно для тестов, использующихся для отбора учащихся, вступительных экзаменов, итоговой аттестации.