Кабардино-Балкарский государственный университет
Опубликован: 30.11.2014 | Доступ: свободный | Студентов: 1117 / 467 | Длительность: 09:25:00
Специальности: Преподаватель
Лекция 4:

Оценка качества тестовых заданий

< Лекция 3 || Лекция 4: 123456 || Лекция 5 >

4.2. Комплексное оценивание качества тестового испытания

При комплексном оценивании качества тестового испытания (тестирования) проводится оценка:

  • соответствия его минимуму содержания ГОС (учебной дисциплины);
  • соответствия целям изучения учебной дисциплины;
  • качества сопровождающих нормативных документов (спецификация, кодификатор и др.);
  • соответствия формы и содержания морфологических и синтаксических единиц заданий их аналогам в ГОС, по учебной дисциплине;
  • профессионализма преподавателей, меры их тестологической, технологической и прагматической культуры при контроле результатов учебных достижений обучаемых;
  • аналитического, критического подхода при идентификации качества образовательных достижений обучающихся;
  • информации о качестве измерителей для решения задач стандартизации баз тестовых заданий (тестов).

Комплексная экспертиза качества тестовых материалов (например, КИМ ЕГЭ) состоит из следующих основных этапов (см. рис. 4.3):

  • предварительная их экспертиза, отбор материала согласно требованиям к тестам;
  • экспертное их оценивание (или внутренняя экспертиза), проводимое после составления "стартового" варианта теста;
  • тестологическая их экспертиза, проведение апробационного тестирования, расчет результатов статистических и иных характеристик качества тестовых заданий (тестов).
Этапы комплексной экспертизы качества тестовых измерителей (ТИ).  (по работе: Пермяков О.Е., Максимова О.А. Процедуры комплексной экспертизы качества тестовых заданий и тестов при формировании банка данных, http://jurnal.org/articles/2008/ped14.html)

Рис. 4.3. Этапы комплексной экспертизы качества тестовых измерителей (ТИ). (по работе: Пермяков О.Е., Максимова О.А. Процедуры комплексной экспертизы качества тестовых заданий и тестов при формировании банка данных, http://jurnal.org/articles/2008/ped14.html)

Предварительная экспертиза состоит из оценивания:

  • спецификации, кодификатора теста;
  • соответствия заданий (материалов) формальным требованиям для них, корректности формулировок тестовых заданий.

Экспертное оценивание качества материалов – четырехэтапное. Первый этап включает анализ (оценку):

  • семантики, корректности формулировки задания (текст, графика, таблицы), адекватность учебной программе (точность отражения событий, объектов, процессов; корректность и соответствие содержания тестового задания дидактическому модулю учебной программы);
  • композиции тестового задания (единства формы и содержания, семантической нагрузки на задание, включая инструкции и вспомогательные компоненты – таблицы, графику);
  • функциональный (диагностическая, прогностическая, коррекционная, воспитательная, обучающая нагрузка на задание);
  • вербальный (грамматическая четкость, логичность формулировки, восприятия тестового задания для тестируемых).

Второй этап включает прогноз успешности выполнения тестового задания в различной степени подготовленными обучающимися, формирование нормативов выполнения задания (теста). Включает:

  • выделение логических операций, которые соответствуют результатам когнитивных действий обучаемых;
  • фиксация ориентировочного времени, необходимого для выполнения задания.

Третий этап – анализ, оценивание всего теста по критериям, включает оценку:

  • соответствия теста целям обучения и гипотезам тестирования (модели тестируемого);
  • доступность теста тестируемому (содержания и инструкций заданий);
  • валидность теста (наличие по проверяемому учебному материалу необходимого количества тестовых заданий, по кодификатору учебной дисциплины, спецификации теста, учет психологических особенностей целевой аудитории и целевого уровня усвоения, репрезентативность и значимость);
  • композиция, внутренняя согласованность заданий в тесте согласно его назначению (сочетаемость, сбалансированность по сложности заданий, структурная и дидактическая полнота, целостность и иерархичность заданий);
  • эффективность формы тестирования (бланковое, компьютерное, адаптивное, ситуационное).

Четвертый этап – оформление экспертных оценок, суждений, рекомендаций по модификации и доработке задания. Результаты экспертизы представляются (протоколируются) строго, формализовано (в баллах, в выбранной шкале), доступно и понятно как экспертам, так и тестологам, с оценкой пригодности теста для испытаний, обучения.

Для комплексной экспертизы заданий (тестов) необходимо проведение апробационного тестирования на репрезентативных выборках. После такого тестирования последовательно осуществляется:

  • формирование матрицы ответов, в которой строка соответствует испытуемому, столбцы – заданиям теста, элементы таблицы – ответы, задаваемые в некоторой шкале или двоичные (0 – не выполнено, 1 – выполнено);
  • обработка матрицы ответов (трудность-легкость, дискриминативность, коэффициенты корреляции дистракторов с эталонами ответов);
  • расчет валидности теста с помощью корреляции показателей теста и определенных внешних критериев;
  • расчет парных корреляции (задания с заданием, попарно) для оценки внутренней согласованности всего теста;
  • оценка параллельности вариантов тестов (при апробационном тестировании) для анализа объективности и надежности тестирования;
  • оценка показателей надежности самого теста (точности измерения им уровня учебных достижений обучаемых).

Параллельный тест – это вариант, имеющий аналогичное содержание (согласно учебной единице), равные значения статистики (средние арифметические, дисперсии и парные корреляции).

Простой способ его использования: нечетные номера заданий – первая половина теста, четные – вторая.

Заключительный этап экспертизы – формирование самой комплексной оценки качества теста (задания). Реализуется этап с помощью процедур:

  • составление таблицы показателей качества по данным, полученным на предыдущих этапах;
  • формирование комплексных показателей качества;
  • нормирование показателей;
  • нахождение доверительных интервалов оценок;
  • формирование вербальной (числовой) шкалы качества;
  • составление итогового заключения-рекомендации по применению тестовых материалов, по их корректировке (доработке) с указанием причин.

Классическая тестология долго рассматривала лишь эмпирические показатели трудности. Сейчас много внимания уделяется и характеру умственной деятельности тестируемых.

Актуальна разработка методик, моделей оценивания:

  • тестов на многозначных лингвистических шкалах;
  • согласованности экспертов, тестологов, технологов по сконструированным тестовым заданиям и технологии тестирования, по уровню профессионализма;
  • объективности самого процесса педагогического тестирования;
  • на основе нечетких, многопараметрических, статистических и нейро-системных процедур по всем дисциплинам. Не менее актуальны проблемы:
  • Тестирование как сервис (ТaaS) – услуга, предоставляющая тесты и базы тестов, методики проектирования, реализации и анализа результатов тестирования в прикладной сфере и образовании, например, предоставление соответствующей услуги ФЭПО университетам страны;
  • Тестовая система как сервис (TSaaS) – услуга, предоставляющая виртуальную платформу для тестирования (подкласс класса PaaS), например, через "облака";
  • Программное обеспечение как сервис (STaaS) – услуга, предоставляющая полнофункциональную тестовую оболочку, например, через Web-браузер.
< Лекция 3 || Лекция 4: 123456 || Лекция 5 >
Наталья Кузьминова
Наталья Кузьминова
Павел Плехов
Павел Плехов

Кое как сдал Тест 2, перешёл к лекции 3, и вижу, что здесь как раз и рассказывается про то, что я сдавал до этого.

Как так?