Оценка качества тестов является важной составляющей подготовки теста к использованию при приеме экзаменов методом компьютерного тестирования. Проверка на повторяемость вопросов в тесте и дублируемость ответов среди вариантов ответов позволяет выявить точные копии вопросов и ответов среди предложенных вариантов ответов на вопрос теста. Ранее такая проверка не осуществлялась, что приводило к серьезным проблемам в процессе тестирования, когда у испытуемого один и тоже вопрос мог появиться несколько раз. Усугубляло эту ситуации то, что если вопрос был не корректен, т.е. варианты ответы подвергались сомнению и студенты были вынуждены прибегать к механизму апелляции, добавить баллы, в случае положительного решения по апелляции, было крайне сложно. Поэтому данная проверка является первичной, которую должен проходить контрольный тест. Если анализ ответов на полное соответствие является достаточно простой задачей, выполняемой автоматизированной системой, то для анализа вопросов теста необходимо использовать специальные модели.

Степень подобия строк можно определить различными способами. Два вопроса теста будем считать подобными, если они содержат примерно одинаковое количество слов (разница составляет не более р%), длиной не менее к символов (слова, с длиной менее к символов считаются не значимыми) и не менее q% слов имеют совпадение большее, чем г%. Вопросы, которые определены автоматизированной системой, как подобные, представляются для окончательно принятия решения ЛПР (лицу, принимающему решение). Так, например, два вопроса по иностранному языку «Выберите эквивалент к выражению: «Мне не везет» и «Выберите эквивалент к выражению: «В области науки» должны рассматриваться автоматизированной системой как похожие и представляться для рассмотрения ЛПР. Аналогично похожими должны считаться вопросы по информатике «Монитор компьютера предназначен для.» и «Для чего предназначен монитор компьютера?». Если в первом примере начало вопросов одинаково, то во втором примере порядок слов изменен.

В ЕНУ им. Л.Н. Гумилева используются следующие способы анализа качества теста и повышения его надежности:

• статистический анализ ответов студентов, как для отдельного теста, так и для всех тестов, используемых при проведении экзаменов текущей сессии;

• анализ ответов теста на повторяемость и наличие ответов, не пригодных для компьютерного тестирования;

• анализ вопросов теста на полное соответствие

• анализ вопросов теста на нечеткое соответствие;

• тестирование авторов для выявления некорректных вопросов;

• сравнение вопросов теста с тематическими вопросами по дисциплине, предоставляемыми студентам для подготовки к экзаменам;

• переработка формулировок вопросов для получения уникального варианта теста, имеющегося только в отделе оценки знаний;

• выделение и сохранение невалидных вопросов теста для предотвращения появления их в качестве новых тестовых заданий;

• сравнение новых тестовых заданий с имеющимися в базе данных.

⇐Применение новых технологий в информатике-стр.450 | Применение новых технологий в информатике | Применение новых технологий в информатике-стр.452⇒