Оценка эффективности тестовых заданий

Для проведения оценки знаний участников обучения, важно понимать, насколько тестовые задания отражают реальные знания. Слишком простые задания, на которые правильно отвечают все участники и слишком сложные задания, на которые не может ответить никто из оцениваемых не обладают способностью дифференцировать испытуемых по уровню их подготовки и должны из теста исключаться.

В нашей системе реализована возможность понять коэффициент сложности каждого из вопросов тестирования, внести изменения в проблемные задания и отследить результаты по изменению основных метрик теста.
​

1. Основные параметры тестирования

В выгружаемом файле xls, на первой вкладке, находятся основные параметры теста

Значения рассчитываются по всем попыткам прохождения тестирования.
Сложность теста (рассчитывается только при оценке по правильным ответам) - отношение попыток, в которых участник дал правильный ответ ко всем попыткам прохождения тестирования.

2. Подробная информация о прохождении тестирования

Подробная информация содержит следующие данные:

• Контактная информация участника

• Дата и время прохождения тестирования

• Вопросы и ответы на него

• Статус по вопросу (пройден/не пройден) и по тесту в целом

• Сколько времени затрачено на вопрос и на тест в целом

• Количество правильных ответов или набранных баллов (в зависимости от выбранного типа оценки)

3. Сложность вопросов

Для тестов с оценкой по правильным ответам в xls файле добавлена вкладка "Сложность вопросов", в ней отображаются:

• все вопросы вашего тестирования

• дата создания вопроса

• количество попыток прохождения

• количество успешных попыток

• коэффициент сложности вопроса

3.1 Подробнее о коэффициенте сложности

Коэффициент позволяет внести корректировки в вопросы и исключить не информативные. Рассчитывается как отношение количества успешных попыток к общему количеству.
Может принимать значение от 0 до 1.

Чем меньше величина коэффициента, тем большая часть испытуемых успешно справляется с вопросом.
Сложность заданий теста должна соответствовать уровню подготовки испытуемых.Тест в целом должен включать в себя комплекс заданий различной сложности – от легких до трудных, с коэффициентами от 0,36 до 0,81. 

4. Внесение изменений в вопросы

После изменения существующего вопроса, исправления вариантов ответов, добавления нового варианта или вопроса, создается новая версия теста. Результаты участников, которые уже завершили тестирование, не изменяются, средний балл не пересчитывается.

В выгружаемом файле добавляется информация о версии и основных метриках каждой из версий.

Результаты участников, проходивших разные версии добавляются в различные вкладки теста.

В разделе "Сложность вопросов" можно увидеть динамику изменения коэффициента сложности по каждой дате изменения данного вопроса.

Визуализировав данные, можно понять динамику и качество вносимых изменений.