Процедура разработки тестов
Для тестов учебных достижений существуют общие правила и этапы разработки:
1. Определение целей тестирования
2. Определение ресурсных возможностей разработчиков
3. Отбор содержания учебного материала
4. Конструирование технологической матрицы и ее экспертиза
5. Составление тестовых заданий и их экспертиза
6. Построение выборки для апробации заданий и тестов
7. Компоновка заданий для апробации
8. Апробация тестовых заданий
9. Определение и расчет показателей качества тестовых заданий
10. Отбраковка заданий и составление теста
11. Апробация теста
12. Определение и расчет показателей качества теста
13. Составление окончательного варианта теста
14. Стандартизация теста
15. Нормирование теста
16. Оснащение теста
Рассмотрим каждый этап подробнее:
1. Определение целей тестирования: В разных образовательных учреждениях разные ситуации, традиции, возможности учащихся и преподавателей по созданию новых или использованию готовых тестов, поэтому определение целей тестирования происходит с учетом организационного контекста. На этом этапе происходит описание усвоенного или не усвоенного учебного материала и оценка обучающегося относительно набора характеристик достаточного для достижения результата.
2. Определение ресурсных возможностей разработчиков: Ориентация на экспертное оценивание, проведение работ по определению перечня и объема учебных задач, критерия достижения необходимого уровня подготовки. Специалисты необходимы для экспертизы учебного материала.
3. Отбор содержания учебного материала: Отбирается материал, который касается ограниченной тематики.
4. Конструирование технологической матрицы и ее экспертиза: Форма представления отбора содержания образования для конструирования тестов достижений) и/или спецификации варианта теста, экспертиза матрицы и спецификации. Сложность матрицы ограничивается выбранным для оценки критерием.
5. Составление тестовых заданий и их экспертиза: Это отдельный этап и по времени и организационно. Возможная доработка заданий, не прошедших экспертизу. Методика независимой экспертизы представляет собой обычно стандартный вариант оценки заданий по двум критериям: сначала эксперту необходимо дать свой ответ на вопрос (решить задачу), а затем оценить его по двум характеристикам - сложность и качество. Надо отметить, что компетентность эксперта все же влияет на оценку им качества и сложности тестового задания. В диссертации А.А.Чумакова «Методика конструирования тестов профессиональных достижений с использованием интепнет-технологий» было показано, что те задания, на которые эксперт давал неправильный ответ, оценивались им, как низкокачественные. Этот факт можно объяснить тем, что на те вопросы, на которые эксперт не может дать однозначного ответа или же просто угадывает его, он склонен называть низкокачественными., т.е. по отношению к оценкам вопросов, на которые эксперт не дает правильного ответа, работают защитные механизмы самооценки, а вот по отношению к вопросам, где эксперт отвечает уверенно . оценочная стратегия (установка) оказывается более либеральной (менее строгой).
6. Построение выборки для апробации заданий и тестов: Требования к объему и балансу выборки относительно мягкие, определяемые требованиями отработки качества тестовых заданий.
7. Компоновка заданий для апробации: Определяется способом предъявления.
8. Апробация тестовых заданий: Проводится для отработки содержания заданий.
9. Определение и расчет показателей качества тестовых заданий.
10. Отбраковка заданий и составление теста: Отбираются задания, максимально покрывающие обследуемую область критерия. Сложные и простые задания включаются в тест.
11. Апробация теста: Предварительное тестирование стратифицированной выборки испытуемых для определения соответствия теста его целям и априорным характеристикам. Апробация есть необходимый этап для создаваемого теста перед его широким использованием. http://ege.ru/dict/dict1.htm )
12. Определение и расчет показателей качества теста
13. Составление окончательного варианта теста.
14. Стандартизация теста: Комплекс процедур и мероприятий, позволяющий создать для всех испытуемых равные условия.
15. Нормирование теста: Процесс получения количественных или качественных характеристик инструментария, на основе сравнения с которыми можно дать оценочное суждение.
16. Оснащение теста: Издание в буклетной или электронной форме со всеми сопутствующими инструктивными материалами.
Пропуск, по крайней мере, одного этапа в оптимальной последовательности шагов по конструированию теста, может привести к резкому снижению качества создаваемого инструмента.
Хотя,конечно, тест, созданный для проверки знаний обучаемых после изученной
темы, и тест, например, для итоговой аттестации обучающихся могут отличаться.
В зависимости от возможной широты использования применяются разные схемы составления тестов.
Этапы составления тестов учебных достижений
для тестов разного уровня применения
Уровень применения | Используется педагогом для профессиональных нужд | Используется для внутренних нужд учреждения |
1. Определение целей тестирования | да | да |
2. Определение ресурсных возможностей разработчиков | желательно | |
3. Отбор содержания учебного материала | да | да |
4. Конструирование технологической матрицы | желательно | да |
5. Составление тестовых заданий | да | да |
6. Построение выборки для апробации заданий и тестов | да | |
7. Компоновка заданий для апробации | да | да |
8. Апробация тестовых заданий | да | да |
9. Определение и расчет показателей качества тестовых заданий | желательно | желательно |
10. Отбраковка заданий и составление теста | да | да |
11. Апробация теста | желательно | желательно |
12. Определение и расчет показателей качества теста | ||
13. Составление окончательного варианта теста | да | да |
14. Стандартизация теста | да | |
15. Нормирование теста | ||
16. Оснащение теста | желательно |
http://www.gumer.info/bibliotek_Buks/Pedagog/testing/1.2.php
Таким образом, в самом общем виде тестовые задания должны быть составлены с учетом соответствующих правил; соответствовать содержанию учебного материала; быть проверены на практике (апробированы); иметь рассчитанные показатели качества, трудность и дискриминативность (способность задания разделять испытуемых в соответствии с успешностью их деятельности); быть достаточно краткими, ясными испытуемому. http://psy.msu.ru/science/autoref/chumakov.pdf
Правила составления тестовых заданий
Умение составлять тестовые задания приходит с опытом и является своего рода искусством. При составлении заданий необходимо придерживаться некоторых правил, основные из них следующие:
- содержание задания должно принадлежать одной предметной области и иметь определенную меру трудности;
- формулировки заданий должны быть краткими, четкими, корректными, не содержащими двусмысленности;
- предлагаемые варианты ответов должны быть короткими, равнопривлекательными и правдоподобными.
- содержание задания должно принадлежать одной предметной области и иметь определенную меру трудности;
- формулировки заданий должны быть краткими, четкими, корректными, не содержащими двусмысленности;
- предлагаемые варианты ответов должны быть короткими, равнопривлекательными и правдоподобными.
Работа над составлением тестов начинается со структурирования учебного курса, выделения в нем таких содержательных блоков, которые являются более или менее подходящими для проверки знаний. Затем определяется само понятие "знание" по каждой структурной единице и на этой основе составляется план теста.
Форма тестовых заданий зависит от их содержания. В настоящее время в педагогике выработано четыре основных формы тестовых заданий, которые являются основой для составления тестов по любым учебным дисциплинам:
1. Задания закрытой формы. Инструкция: обвести кружком, либо, если применяется компьютер, и тестовые задания подаются на монитор, нажать клавишу с номером правильного ответа. Вариативность заданий закрытой формы весьма велика, но в основе всегда лежит один и тот же принцип: испытуемому предлагается выбрать ответ на задание из нескольких предложенных, причем только один из них является правильным. При этом подразумевается, что все предложенные варианты ответа являются равнопривлекательными.
Например:
1. Задания закрытой формы. Инструкция: обвести кружком, либо, если применяется компьютер, и тестовые задания подаются на монитор, нажать клавишу с номером правильного ответа. Вариативность заданий закрытой формы весьма велика, но в основе всегда лежит один и тот же принцип: испытуемому предлагается выбрать ответ на задание из нескольких предложенных, причем только один из них является правильным. При этом подразумевается, что все предложенные варианты ответа являются равнопривлекательными.
Например:
КРЕПОСТНОЕ ПРАВО В РОССИИ ОТМЕНЕНО В 1. 1861 г.
2. 1862 г.
3. 1863 г.
2. 1862 г.
3. 1863 г.
КРЫМСКАЯ ВОЙНА НАЧАЛАСЬ В 1. 1856 г.
2. 1861 г.
3. 1863 г.
2. 1861 г.
3. 1863 г.
2. Задания открытой формы. Инструкция: дополнить. В отличие от заданий закрытой формы здесь не предлагается вариантов ответа, а делается пропуск смысловой единицы в каком-либо утверждении, причем предполагается, что заполнить этот пропуск можно строго однозначно. Например:
КРЕПОСТНОЕ ПРАВО В РОССИИ ОТМЕНЕНО В _____ ГОДУ.
КРЫМСКАЯ ВОЙНА НАЧАЛАСЬ В _____ ГОДУ.
3. Задания на соответствие. Инструкция: установить соответствие. Здесь необходимо установить соответствие между смысловыми единицами в правом и левом столбиках, причем справа вариантов дается больше, чем слева, то есть заведомо предполагается, что какие-то из них являются в данном случае неправильными. Например:
СОБЫТИЕ ДАТА
1. Отмена крепостного права А. 1853 г.
2. Начало Крымской войны Б. 1856 г.
3. Окончание Крымской войны В. 1861 г.
Г. 1862 г.
Д. 1863 г.
Ответы: 1___, 2___, 3___.
4. Задания на установление правильной последовательности. Инструкция: установить правильную последовательность. Достаточно сложная форма, проверяющая глубокие и прочные знания учебного материала. Смысл ее состоит в установлении последовательности каких-либо событий, действий, терминов и т.д. В пустых квадратиках надо расставить цифры. Например:
____
I____I - отмена крепостного права
____
I____I - начало Крымской войны
____
I____I - окончание Крымской войны
Обучающиеся как правило предпочитают первую форму, очевидно, потому, что чисто психологически легче решать задачу, когда знаешь, что один из предложенных ответов является правильным. По этой же причине третья и четвертая формы, сами по себе отнюдь не простые и требующие помимо знаний определенных интеллектуальных усилий, также предпочитаются второй форме, которая менее всего ориентирована на догадку.
Существуют различные разновидности и модификации тестовых заданий, однако все они основываются на этих четырех формах. Тест в готовом виде представляет собой не просто совокупность, а систему заданий возрастающей трудности.
Как правило, тест состоит из 30-60 заданий. Это отнюдь не жесткое ограничение, особенно когда речь идет о текущем контроле. Могут быть тесты, состоящие из 20, 15 и даже 10 заданий, вполне выполняющие свои функции.
Содержание тестовых заданий обсуждается с коллегами, которые дают им оценку. Однако по-настоящему цену того или иного задания, степень трудности его выполнения для обучающего можно определить только на практике. Иногда задания, кажущиеся преподавателю легкими, выполняют лишь сильныеучениками, и наоборот - с предположительно трудными справляется большинство. Поэтому по-настоящему работоспособный тест получается только после неоднократной шлифовки.
Важнейшим условием корректности применения тестов является недоступность их проверяемым до начала самой проверки. Как только ключ к основным заданиям становится известным обучающимся, тестовые задания необходимо менять.
Основными характеристиками теста являются его надежность и валидность. Понятие надежности связано с точностью измерений. Поскольку абсолютно точное измерение невозможно ни в одной науке, вопрос заключается в оценке погрешности и в определении на этой основе истинного значения искомой величины. Понятие валидности связано с пригодностью теста для достижения поставленной цели. И та, и другая характеристики рассчитываются с помощью соответствующих математических методов.
Итогом выполнения теста определенной группой обучающихся является матрица результатов. Если за каждое правильно выполненное задание ставится единица, а в противном случае ноль, то уровень знаний тестируемого по проблематике данного теста будет выражен в определенной сумме баллов. Расставив обучающихся по возрастанию или убыванию, мы получим ранжированный ряд соответственно уровню их знаний по данной дисциплине. Если такая ранжировка проводится регулярно в течение всего изучения предмета, то к экзамену преподаватель будет иметь достаточно четкое представление об уровне знаний обучающихся данного курса по своему предмету. Создается своеобразный рейтинг учеников по изучаемой дисциплине. По итогам выполнения тестовых заданий видны пробелы в знаниях каждогообучающегося, что позволяет индивидуализировать подход преподавателя. Появляется возможность четко, по одним и тем же критериям сравнивать уровень знаний разных учеников. Возможна и объективная оценка достижений преподавателя по разнице между исходным уровнем знанийобучающихся, определяемым по входному тесту и конечным уровнем результатов итогового теста. Разница в результатах и есть итог работы преподавателя.
Не останавливаясь на более сложных методах обработки результатов тестов, следует отметить, что в последнее время появились концепции, которые позволяют выразить уровень знаний каждого студента и каждого тестового задания в единых стандартизированных единицах - так называемых логитах, что позволяет сравнивать достижения студентов и преподавателей по разным учебным дисциплинам.
Таким образом, работа над внедрением тестового контроля включает в себя, во-первых, создание банка тестовых заданий, во-вторых, создание тестов, в-третьих, работу над их шлифовкой и совершенствованием, в-четвертых, использование тестов для контроля знаний.
http://www.hist.asu.ru/aik/testcont.html
