Министерство образования и молодежной политики

Забайкальского края

Государственное профессиональное образовательное учреждение

«Приаргунский сельскохозяйственный техникум»

Иванова А.Н.

ОБОБЩЕНИЕ ОПЫТА РАБОТЫ

по теме самообразования

«Тестирование как метод педагогического контроля»

Приаргунск 2014 г.

Организация-разработчик: ГПОУ «ПСХТ»

Автор: Иванова А.Н. - преподаватель спец дисциплин ГПОУ «ПСХТ»

Рассмотрено

на заседании ПЦК торгово-кулинарного цикла

Протокол № ___ от «__» ____________ 2014 г.

Председатель ПЦК ________ Скорнякова Л.М.

Содержание

Актуальность. Обоснование методической проблемы 4

1. Понятие теста 5

2. Требования к тестам 8

2.1. Требования к составу тестовых заданий 8

2.2. Требования к содержательной части тестовых заданий 8

3. Классификация тестов 11

4. Этапы создания тестов 16

4.1. Последовательность разработки тестового инструментария 16

4.2. Определение целей тестирования 17

4.3. Функции тестирования 18

4.4. Отбор содержания учебного материала 19

4.5. Составление тестовых заданий и их экспертиза 19

4.6. Компоновка и апробация 26

4.7. Анализ качества тестов 28

5. Компьютерное тестирование и тестовые оболочки 31

Заключение 33

Список литературы 35

Актуальность. Обоснование методической проблемы

В последние годы тестирование как метод оценки знаний все больше набирает популярность. Для любой образовательной системы, в том числе и для среднего профессионального образования (СПО), одной из основных и сложных задач во все времена являлась оценка знаний обучающихся. На сегодняшний день существует множество разнообразных методов оценки знаний: устный и письменный опрос, собеседование, диктант, вычислительные задания, деловые игры, зачёты, экзамены, тестирование. Каждый из методов имеет свои достоинства и недостатки.

Тесты как измерительный инструмент используются в большинстве стран мира. Их разработка и использование основано на мощной теории и подтверждено многочисленными эмпирическими исследованиями. Тестология как теория и практика тестирования существует более 120 лет, и за это время накоплен громадный опыт использования тестов в различных сферах человеческой деятельности, включая образование. Тесты не являются универсальным средством, границы использования тестирования достаточно хорошо известны, и это знание дает уверенность в том, что качественно подготовленный и использованный тестовый инструмент даст качественную и надежную информацию, соответствующую реальному положению дел.

Объективный тестовый контроль в процессе обучения характеризуется также большим воспитательным значением, так как он повышает ответственность за выполняемую работу не только обучающихся, но и преподавателя, приучает обучающихся к систематическому труду и аккуратности в выполнении учебных заданий, формирует у них положительные нравственные качества и создает здоровое общественное мнение.

Комплексное использование тестовых и не тестовых форм контроля над учебной деятельностью обучающихся, в конечном счете, направлено на повышение качества обучения.

1. Понятие теста

Существуют различные определения теста.

Тест - это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения.

Тест (англ. test - проба, испытание, исследование) в психологии и педагогике, стандартизированные задания, результат выполнения которых позволяет измерить психофизиологические и личностные характеристики, а также знания, умения и навыки испытуемого.

Тест - набор стандартизированных заданий по определённому материалу, устанавливающий степень усвоения его учащимися.

Тесты начали применяться в 1864 Дж. Фишером в Великобритании для проверки знаний учащихся. Теоретические основы тестирования были разработаны английским психологом Ф. Гальтоном (1883): применение серии одинаковых испытаний к большому числу индивидов; статистическая обработка результатов, выделение эталонов оценки.

Термин «Тест» впервые ввёл американский психолог Дж. Кеттелл (1890). Предложенная им серия из 50 тестов фактически представляла программу определения примитивных психофизиологических характеристик, базирующихся на наиболее разработанных в то время психологических экспериментах (например, измерение силы правой и левой рук посредством динамометра, скорости реакции на звук, и т.д.). Французский психолог А. Бине применил принципы тестологических исследований к высшим психическим функциям человека, в его серию тестов (1891) вошли задания на испытание памяти, типа представления, внимания, эстетические и этические чувства и т.д. Немецкий психолог В. Штерн ввёл коэффициент интеллектуальности (1911).

В начале 20 в. начинают разграничиваться психологические и педагогические направления в разработке тестов. Первый стандартизированный педагогический тест был составлен американским психологом Э. Торндайком. Развитие тестирования было одной из причин, обусловивших проникновение в психологию и педагогику математических методов. Американский психолог К. Спирмен разработал основные методы корреляционного анализа для стандартизации тестов и объективного измерения тестологических исследований. Статистические методы Спирмена сыграли большую роль в дальнейшем развитии тестов.

Системы тестов базируются на самых различных теоретических представлениях, однако составление теста строится по единой схеме:

1. определение целей теста;

2. составление теста в черновом виде;

3. апробация теста на репрезентативной выборке испытуемых и исправление недостатков;

4. разработка шкалы измерений на основе качественных соображений и статистической обработки результатов и правил интерпретации результатов.

Качество теста определяется по таким характеристикам, как валидность, определённость, простота, однозначность, равнотрудность.

Валидность (или адекватность целям проверки). При составлении задания выделяются существенные и несущественные признаки элементов знаний. Существенные признаки закладываются в эталонный ответ. В другие ответы закладываются несущественные признаки с учетом характерных ошибок. Если учащийся при работе с заданием знает и выделяет существенные признаки, а не формальные, то задание отвечает критерию валидности.

Определенность. После прочтения задания каждый учащийся понимает, какие действия он должен выполнить, какие знания продемонстрировать. Если учащийся после прочтения задания правильно действует и отвечает, задание считается определенным. Если на вопрос задания отвечает менее 70% учащихся, то его необходимо проверить на определенность.

Простота. Формулировки заданий и ответы должны быть четкими и краткими. Показателем простоты является скорость выполнения задания.

Однозначность. Задание должно иметь единственный правильность ответ-эталон.

Равнотрудность. При составлении тестов в нескольких вариантах равнотрудность определяется стабильностью по вопросам во всех вариантах одного и того же задания.

Практическое использование тестов связано с диагностированием личностных характеристик человека, выражаемых через количественные показатели. Прогнозирование развития личности породило особый вид тестов, основывающихся главным образом на методах глубинной психологии.

2. Требования к тестам

2.1 Требования к составу тестовых заданий

1. Тестовые задания должны быть структурированы по тематике дисциплины.

2. Задания по общепрофессиональным и специальным дисциплинам могут быть объединены (не более 3-х дисциплин) и должны быть рассчитаны на 40-45 минут.

3. Количественное соотношение тестовых заданий по дисциплинам должно соответствовать процентному отношению часовой учебной нагрузки.

4. Основой для составления теста являются выделенные важные элементарные учебные элементы, которые распределяются по вариантам. Оптимальное число таких вариантов 6-8.

5. По небольшим темам достаточно разработать 5-7 заданий на 1 вариант.

6. Для рубежного контроля разрабатывается 8-12 заданий на 1 вариант.

7. Для итогового контроля разрабатывается 15-24 задания на 1 вариант.

8. Тесты по гуманитарным, естественнонаучным, социально-экономическим дисциплинам должны быть рассчитаны на 25-30 минут.

2.2 Требования к содержательной части тестовых заданий

1. Тестовое задание должно быть представлено в форме краткого суждения, сформулировано ясным, четким языком, не должно быть двусмысленности или неясности формулировки;

2. Необходимо использовать задания с однозначными ответами;

3. Необходимо проверять, чтобы каждое тестовое задание имело отношение к конкретному факту, принципу, умению, знанию, т.е. обладало достаточной важностью для включения в тест;

4. Все тестовые задания должны быть связаны с целями обучения;

5. Задания составляются с учетом того, что среднее время на ответ не должно превышать 2 мин.;

6. В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора;

7. В тексте задания не должно быть преднамеренных подсказок или сленга;

8. В тексте не должны быть ассоциации, способствующие выбору правильного ответа с помощью догадки;

9. Исходные условия тестового задания не должны превышать 10-12 слов. В основную часть задания необходимо включать как можно больше слов, необходимых при формулировании задания, а для ответа оставить меньшую часть, наиболее важных, ключевых слов для данной проблемы;

10. Все ответы к заданию должны быть одинаковой длины и содержать не более 3-4 слов или символов;

11. Частота выбора одного и того же номера или положения для правильного ответа в различных заданиях должна быть примерно одинаковой;

12. В заданиях не должно быть материала, не относящегося к данной теме;

13. Из ответов исключаются все повторяющиеся слова путем вывода их в основной текст задания;

14. В ответах не рекомендуются слова «все», «ни одного», «никогда», «всегда» и т.п.;

15. Из числа неправильных ответов исключаются ответы, вытекающие один из другого;

16. В ответах должно быть не менее 4 вариантов (т.к. чем меньше вариантов, тем больше процент угадывания);

17. Форма тестового задания должна быть узнаваемой и не требовать дополнительных пояснений по способу ответа (заключения);

18. Элементы тестового задания могут содержать текст, формулы, графические изображения;

19. Стиль оформления заданий, входящих в один тест, должен быть единым;

Компьютерные тесты, кроме того, должны отвечать следующим требованиям:

1. Задания должны обязательно включать подробную инструкцию по технологии ввода ответа;

2. Соответствие формулировок тестовых заданий возможностям компьютера (т.е. учитывается специфика деятельности обучающегося при работе с компьютером и вычислительные возможности компьютера);

3. Каждое компьютерное задание должно быть вариативным.

3. Классификация тестов

Рассмотрим классификацию тестов по различным критериям.

Тестирование в образовательном процессе, может выполнять различные задачи. Исходя из этого, М.Б. Челышкова [11] предлагает следующую схему классификации тестов по видам педагогических задач:

Исходя из целей и задач тестирования, Зорин С.Ф. [12] предлагает следующую классификацию тестов по четырем основным признакам:

1. По степени однородности задач:

• гомогенные, включающие в себя совокупность стандартизованных заданий по одной учебной дисциплине или разделу дисциплины;

• гетерогенные, включающие в себя совокупность стандартизованных заданий, по нескольким учебным дисциплинам или разделам, но не требующие единовременного привлечения знаний из различных дисциплин или разделов.

2. По целям использования:

• определяющие тесты знаний или поведения учащегося в начале обучения;

• формирующие тесты прогресса, достигнутого в процессе обучения;

• диагностические тесты трудностей обучения и их источников в процессе обучения;

• суммирующие тесты основных достижений в конце обучения.

Все эти виды тестов имеют одинаковые принципы и методы разработки, но отличаются содержимым материала, включаемого в тест и уровнем его сложности.

3. По нормированию:

• нормативно-ориентированные тесты, основанием для сравнения в которых служат соответствующим образом обоснованные статистически полученные значения выполнения данного теста репрезентативной выборкой испытуемых;

• критериально-ориентированные тесты, предназначенные для определения уровня индивидуальных достижений испытуемого относительно некоторого заданного критерия; существующего в реальной практике и заранее известного уровня знаний, умений, навыков, необходимых для выполнения определенного вида деятельности;

• прогностические тесты, ориентированные на успешность дальнейшей деятельности;

• ненормированные тесты.

4. По направленности:

• тесты интеллекта, выявляющие уровень и особенности интеллекта;

• личностные тесты, с помощью которых изучаются особенности личности тестируемого;

• тесты достижений, предназначенные для оценивания результатов, достигнутых учениками в процессе обучения.

В образовательном процессе используются педагогические тесты, относящиеся к тестам достижений.

Исходя из свойств тестового инструментария, существует семь различных классифицирующих признаков.

1. По форме ответов:

• устные тесты, в которых ученик называет ответ, а администратор фиксирует его;

• письменные тесты, в которых ответ записывается самим учеником;

• компьютерные тесты, в которых ответы вносятся непосредственно в компьютер.

2. По средствам предъявления:

• бланковые тесты, с использованием тестовых тетрадей или бланков, в которых испытуемые отмечают или вписывают правильные ответы (вопросники личности, большинство тестов достижений и др.);

• компьютерные тесты, с применением компьютерных программ;

• предметные тесты, в которых необходимо манипулировать материальными объектами (кубики Косса, тест Стенквиста на сборку конструкций и узлов деталей, тест «Сложение фигур» из набора Векcлера);

• аппаратурные тесты, с использованием устройств для изучения особенностей внимания, восприятия, памяти и мышления («детектор лжи», аппарат для определения энцефалограмм мозга и др.);

• практические тесты, схожие с лабораторными работами - по химии, физике, биологии и пр., они снабжены соответствующими инструкциями и имеют тестовое оснащение.

3. По порядку следования вопросов:

• упорядоченные тесты, в которых задания логически упорядочены по какому-либо критерию, например по сложности;

• смешанные тесты, с неупорядоченной или произвольно формируемой последовательностью заданий;

• адаптивные тесты, в которых очередность предъявления каждого задания зависит от успешности выполнения испытуемым предыдущего задания.

Упорядоченные тесты несколько проще для выполнения, чем смешанные, но с другой стороны, использование компьютерных смешанных тестов со случайным порядком выдачи заданий позволяет избежать списывания.

Адаптивные тесты - это наиболее качественный инструмент, позволяющий точнее определить уровень знания тестируемого при предъявлении ему меньшего числа заданий.

4. По числу вариантов:

• безвариантные тесты, с единственным набором тестовых заданий;

• многовариантные тесты, с несколькими однородными наборами заданий;

• тесты со случайной выборкой, формирующийся из базы тестовых заданий непосредственно перед началом или в ходе процесса тестирования.

5. По характеру действий:

• вербальные тесты, основная часть задания и вариантов ответа в которых сформулирована словесно;

• невербальные тесты, связанные с практическим манипулированием объектами - карточками, блоками, деталями, изображениями.

6. По ведущей ориентации:

• тесты скорости, содержащие простые задачи, время решения которых ограничено настолько, что ни один испытуемый не успевает решить все задачи в заданное время;

• тесты мощности или результативности, включающие трудные задачи, время решения которых либо вовсе не ограничено, либо мягко лимитировано;

• смешанные тесты, которые объединяют в себе черты двух вышеперечисленных.

Наиболее часто на практике применяются смешанные тесты.

7. По количеству тестируемых:

• индивидуальные тесты, созданные для отдельного испытуемого или узкого типа испытуемых;

• групповые тесты, которые созданы для использования в некоторой группе испытуемых.

Тестовые задания также подразделяются на несколько видов. Основным классифицирующим фактором для них является характер ответов.

По характеру ответов тестовые задания делятся на две категории:

• задания открытого типа, когда испытуемому необходимо самостоятельно написать слово, словосочетание, предложение, знак, формулу и т.д.;

• задания закрытого типа, когда испытуемому необходимо выбрать из предложенных вариантов ответов тот или иной вариант.

В свою очередь, задания открытого типа делятся на задания дополнения, в которых испытуемый должен написать недостающий элемент в предложении, конструкции и задания свободного изложения, в которых ответы формулируются самостоятельно, без ограничений.

Задания закрытого типа делятся на задания одиночного или множественного выбора, в которых необходимо выбрать один или несколько элементов из множества, задания соответствия, с установлением соответствия элементов двух списков и задания последовательности, с установлением порядка следования элементов.

4. Этапы создания тестов

4.1 Последовательность разработки тестового инструментария педагСуществует множество стандартизованных методик по разработке педагогических тестов. Наиболее развернутую методику предлагает А.Н. Майоров.[1]. По его мнению, этапы разработки тестового инструментария, в общем случае, должны выглядеть следующим образом:

1. Определение целей тестирования.

2. Определение ресурсных возможностей разработчиков.

3. Отбор содержания учебного материала.

4. Конструирование технологической матрицы и её экспертиза.

5. Составление тестовых заданий и их экспертиза.

6. Построение выборки для апробации заданий и тестов.

7. Компоновка заданий для апробации.

8. Апробация тестовых заданий.

9. Определение и расчет показателей качества тестовых заданий.

10. Отбраковка заданий и составление теста.

11. Апробация теста.

12. Определение и расчет показателей качества теста.

13. Составление окончательного варианта теста.

14. Стандартизация теста.

15. Нормирование теста.

16. Оснащение теста.

С.Ф. Зорин [12] предлагает более упрощенный план, приемлемый для преподавателей:

1. Определение целей тестирования.

2. Отбор содержания учебного материала.

3. Конструирование технологической матрицы (желательно).

4. Составление тестовых заданий и их экспертиза.

5. Компоновка заданий для апробации.

6. Апробация тестовых заданий.

7. Определение и расчет показателей качества тестовых заданий (желательно).

8. Отбраковка заданий, составление и оснащение окончательного варианта теста.

4.2 Определение целей тестирования

Этап целеполагания является наиболее трудным и вместе с тем наиболее важным, от результатов его выполнения, в первую очередь, зависит качество содержания теста. В процессе целеполагания преподавателю необходимо решить вопрос о том, какие результаты учеников он хочет оценить с помощью теста. Методика формулирования целей теста основывается на определении места тестирования и его связи с другими учебными и контрольными мероприятиями. М.Б. Челышкова [11] приводит следующую иерархию целей образовательного процесса:

Данная схема показывает необходимость согласования и увязывания целей конкретного тестирования с более общими целями, а также с целями других контрольных мероприятий по курсу.

По мнению С.Ф. Зорина [12] эффективное тестирование своей основной целью должно ставить широкий и непрерывный контроль знаний учащихся сразу по нескольким темам учебной дисциплины. При необходимости измерения более глубоких знаний учащихся, преподаватель должен использовать другие формы контроля. Для более точного согласования целей теста с другими контрольными мероприятиями и общими целями учебного курса, необходимо включить тестирование в план проведения контрольных мероприятий по курсу.

Итак, в наиболее полном виде, цель тестирования должна отражать следующие аспекты:

1. Цель обучения по курсу.

2. Объем контролируемого учебного материала.

3. Место теста в учебном процессе

4. Форма использования результатов теста.

Сформулированная таким образом цель является не просто общей декларацией, а конкретным указанием к действию.

4.3 Функции тестирования

В учебном плане тестирование может выполнять различные функции, в зависимости от времени его проведения и потребностей преподавателя:

1. Претест готовности к обучению - проверка наличия у учеников уровня знаний, необходимого для усвоения материала курса.

2. Входной претест - определение уровня знаний, различий в знаниях и способностях учеников.

3. Формирующий тест - подтверждение усвоения пройденного материала для перехода к следующей теме.

4. Диагностический тест - определение пробелов в знаниях и причин этих пробелов.

5. Нормативно-ориентированный тест достижений - определение уровня знаний по курсу в конце обучения, выставление оценки.

6. Критериально-ориентированный тест достижений - проверка наличия у тестируемого наличия минимально достаточного уровня знаний по курсу.

Определив место тестирования в рамках курса, можно окончательно и наиболее точно сформулировать его цели.

4.4 Отбор содержания учебного материала

Одними из требований к тесту являются требования научной достоверности, значимости, соответствия современному знанию и соответствия источникам знания. Достижение этих требований достигается на этапе отбора содержания учебного материала за счет правильного выбора его источников. Основным таким источником всегда является план учебных занятий по курсу. Среди других - могут быть рекомендованные учебные пособия и книги, методические разработки, курс лекций. Главное требование к источникам - все они должны быть известны и доступны учащимся, и конечно, соответствовать требованиям действующего образовательного стандарта. Кроме включения уже известных составителю учебников, следует провести анализ вновь выпущенной литературы, в первую очередь, обратив внимание на изменения, появление новой фактической информации.

Для удобства дальнейшего составления тестовых заданий, отобранный материал следует скомпоновать в таблицу.

В процессе деления, разработчик должен следить за тем, чтобы соотношение количества учебных единиц в темах было пропорционально важности и сложности этих тем. Таким образом, обеспечивается выполнение требований полноты, оптимальности и сбалансированности теста.

Составленная таким образом таблица будет являться прообразом и основой при проектировании технологической матрицы тестирования.

4.5 Составление тестовых заданий и их экспертиза

Формулировка вопросов для теста осуществляется с использованием разработанной технологической матрицы.

В самом общем виде тестовые задания должны:

• соответствовать содержанию учебного материала;

• быть составлены с учетом соответствующих правил;

• быть проверены на практике (апробированы);

• быть ясными испытуемому.

С точки зрения Майорова А.Н. [1] минимальные требования к составу тестового задания состоят в наличии трех частей:

1. Инструкции.

2. Текста задания (вопроса).

3. Правильного ответа.

Инструкция должна содержать указания на то, что испытуемый должен сделать, каким образом выполнять задание, где и как делать пометки и записи, описывать то, что ученик должен «сделать руками», каким образом ему следует выполнять задание, где отмечать, как дописывать и т.д.

• Текст задания или вопроса представляет собой содержательное наполнение задания. Майоров А.Н. [1] выделяет следующие части вопроса:

• стимулирующий материал - материал, о котором говорится в вопросе. Он представлен обычно в виде текста, рисунка, таблицы или другого представления данных. Во многих случаях написание вопросов начинается со сбора подходящих текстов или с обдумывания ситуаций или тем, по которым можно сгруппировать ряд вопросов;

• введение - информация, предшествующая вопросу;

• вопрос - существенная часть вопроса;

• ограничения ответа - вопрос должен быть высокого качества, чтобы предотвратить не желаемые интерпретации учеников, используя ограничения, такие как: «По мнению автора…» или «Вычислите до 2-х десятичных знаков».

Структура и состав вопроса определяется в большей степени содержанием учебного материала.

Перечисленные составных части тестового задания являются минимально необходимыми для составления тестов.

Майоров А.Н. выделяет два типа заданий, которые объединяют шесть видов. К этим шести видам может быть сведено все многообразие существующих заданий без ущерба для их качества. Типы и виды тестовых заданий представлены на схеме:

К заданиям открытого типа относятся два вида - задания дополнения и задания свободного изложения. Их отличительной особенностью является то, что для их выполнения ученику необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Этот тип заданий не имеет вариантов неверных ответов и вариантов правильных ответов.

К заданиям закрытого типа относятся задания четырех видов: альтернативных ответов, множественного выбора, восстановления соответствия и восстановления последовательности.

Тестовые задания закрытого типа - предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос.

К заданиям закрытого типа относятся:

1. Задания альтернативных ответов (да - нет).

Задания альтернативных ответов являются самыми простыми, но не самыми распространенными при составлении тестов. Это связано, в основном, со специфичностью того материала, которому в большей степени соответствует эта форма заданий. Задания альтернативных ответов применяются для оценки одного элемента знаний.

Особенностью заданий альтернативных ответов является то, что вопрос должен быть сформулирован в форме утверждения, поскольку он предполагает согласие или несогласие, которое можно отнести к утверждению, что приводит, как правило, к тривиальному тестированию и используются достаточно редко.

2. Задания множественного выбора.

Это основной вид заданий, применяемый в тестах достижений. Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

3. Задания на восстановление соответствия.

Задания соответствия (восстановления соответствия), в которых необходимо найти или приравнять части, элементы, понятия - конструкциям, фигурам, утверждениям; восстановить соответствие между элементами двух списков.

К этому же типу следует отнести и задания, в которых требуется восстановить порядок ряда, упорядочить. Эти задания могут рассматриваться как частный случай задания на восстановления соответствия, в которых только один ряд, а другим, предполагаемым, является время.

4. Задания на восстановление последовательности.

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановление соответствия, когда одним из рядов является время, расстояние или иной конструкт, который подразумевается в виде ряда.

Задания на восстановление последовательности редко используются в тестах, хотя на самом деле это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью, простотой проверки. Оно подходит для любого предмета, там, где присутствует алгоритмическая деятельность или временные события. Для технологий это могут быть порядок технологических операций, для истории - восстановление временных последовательностей событий, для русского языка - этапы словообразования, для точных наук - алгоритмы решения задач и т.д.

Преимущества заданий закрытого типа:

• задания могут быть надежны, поскольку отсутствуют факторы, связанные с субъективными оценками, которые снижают надежность;

• оценивание заданий полностью объективно: между оценками различных проверяющих не может быть различий;

• неважно, умеют ли испытуемые хорошо формулировать ответы;

• задания этого типа легко обрабатываются, тестирование быстро проводится;

• простой алгоритм заполнения снижает количество случайных ошибок и описок;

• эти задания позволяют охватить большие области знания, что для тестов достижений особенно важно;

• возможна машинная обработка ответов;

• низкая вероятность угадывания правильных ответов;

• возможно получение точной оценки содержательности теста, что особенно важно для определения соответствия теста целям исследования.

К заданиям открытого типа относятся задания двух видов:

1. Дополнения (другое название: задачи с ограничением на ответы).

В этих заданиях испытуемые должны также самостоятельно давать ответы на вопросы, однако их возможности ограничены. Ограничения обеспечивают объективность оценивания результата выполнения задания, а формулировка ответа должна дать возможность однозначного оценивания.

2. Свободного изложения или свободного конструирования.

Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа.

Выполнение основного требования для заданий дополнения не представляется сложным, правильным ответом будет то самое выражение, слово и т.д., которое необходимо вписать испытуемому.

Для заданий свободного изложения выполнение основного требования к тестовым заданиям сложнее. Для выполнения этого требования необходимо формализовать сам ответ. В том случае, когда результатом выполнения задания служат цифровые выражения, структура фразы подразумевает два-три однозначных слова.

Основными трудностями при составлении заданий открытого типа является соблюдение основного требования к тестовым заданиям - наличия однозначного правильного ответа.

Формулирование вариантов ответов - один из самых сложных этапов составления задания. На этом этапе большинство вопросов бракуется именно по причине невозможности подобрать к ним хороший набор ответов, особенно неправильных. Варианты ответов в закрытом задании должны отвечать следующим ключевым требованиям:

• все варианты ответов, так же как и сам вопрос не должны допускать двусмысленностей или неопределенности их толкования;

• все варианты ответов должны выглядеть равноценно;

• не допускается вероятностный подход к ответам, то есть правильные варианты ответов должны быть неоспоримо правильными, а неправильные - неоспоримо неправильными;

• неправильные варианты ответов должны выглядеть достаточно правдоподобно;

• все варианты ответов должны иметь примерно одинаковую длину;

• варианты должны быть логически упорядочены (по смыслу, алфавиту или длине).

После составления тестовых заданий необходимо провести их экспертизу. Даже оценка заданий всего одним специалистом (экспертом) дает гарантии устранения целого ряда недостатков. Для проведения проверки экспертам предоставляются тестовые задания, в которых они, следуя специальной инструкции, делают отметки о соответствии целям и требованиям курса. Желательно, чтобы такая экспертиза производилась сторонними специалистами, поскольку они могут дать более объективную оценку качества материалов. Некоторые методы экспертизы предусматривают выставления трех- или пятибалльной оценки каждому заданию, другие - проверяют соответствие заданий некоторому набору критериев.

Зорин С.Ф. [12] предлагает следующий сокращенный перечень проверочных критериев для проведения экспертизы (скрининга):

1. Стиль. Является ли вопрос понятным, однозначным и простым по структуре?

2. Уместность. Соответствует ли вопрос теме, уровню и задачам тестирования?

3. Информативность. Достаточно ли в вопросе информации для правильного ответа?

4. Правильность. Верно, ли указаны все правильные варианты ответа?

5. Правдоподобность. Вероятен ли каждый из неправильных ответов?

Эксперту предоставляется контрольный лист и лист со списком заданий, точно в таком же виде и последовательности, в каком планируется выдавать их ученикам. Эксперт самостоятельно отвечает на вопрос, затем сверяет ответ со значением, указанном в контрольном листе. После этого он в таблице отмечает знаками «+» выполнение каждого из проверочных критериев, а невыполнение - знаками «-». Замечания и предложения по заданиям вписываются в отдельный столбец.

Все задания, забракованные хотя бы по одному критерию, должны быть доработаны, заменены или исключены из теста. Доработанные и вновь составленные задания также в обязательном порядке проходят проверку экспертами.

4.6 Компоновка и апробация тестовых заданий

После проведения экспертизы тестовых заданий, необходимо провести еще один этап их проверки - апробацию. Однако прежде чем приступить к апробации, необходимо скомпоновать отдельные задания в единый тест.

Отбор заданий для включения в тест необходимо производить в соответствии с количеством, указанным в технологической матрице.

По мнению Зорина С.Ф. [12] более рациональным методом является замена отбракованных тестовых заданий на новые и проведение повторной апробации теста. При этом значительно снижается время разработки теста, поскольку повторная апробация - процесс гораздо менее трудоемкий, чем составление избыточных заданий.

Отобранные задания включаются в тест в порядке следования так, чтобы вопросы были связаны друг с другом по смыслу или в порядке возрастания сложности. Второй метод расположения заданий наиболее подходит для тестов скорости, в которых испытуемому нет необходимости глубоко концентрироваться на какой-либо теме. Следует обратить внимание

на пространственное и шрифтовое оформление тестовых заданий. Главное требование к оформлению - оно не должно отвлекать ученика от решения заданий.

Обычно этап апробации проводится самим разработчиком, поэтому нет необходимости в составлении специальных инструкций по администрированию теста. В тест включается только инструкция для учеников по прохождению тестирования, в которой описываются следующие аспекты:

• тема тестирования;

• оценка за прохождение теста, её влияние на оценку по курсу;

• количество вопросов и продолжительность тестирования;

• возможность использования дополнительных материалов (учебники, лекции) и инструментов (калькулятор, бумага, карандаш);

• рекомендации по последовательности решения заданий;

• инструкции по заполнению бланков или по вводу данных в компьютер;

• рекомендации по решению отдельных заданий (при необходимости);

• санкции за списывание и нарушение дисциплины.

После завершения формирования теста, инструкций к нему и установления группы тестируемых для проведения пробного тестирования, можно приступать непосредственно к апробации. Проведение апробации тестового инструментария служит выполнению нескольких задач одновременно:

• определение трудности заданий с целью оценки их пригодности;

• отбраковка некачественных заданий;

• выявление ошибок и неточностей в заданиях;

• установление шкалы оценок для теста (нормирование);

• определение времени, необходимого для решения теста;

• выявление недостатков в инструкциях.

Весь процесс апробации должен проводится в тех же условиях, в которых планируется в дальнейшем проводить само тестирование. Все замечания, вопросы и проблемы, возникающие в ходе тестирования, незамедлительно фиксируются в протоколе для их последующего изучения и устранения.

4.7 Анализ качества тестов

Анализ теста, который предшествует процессу тестирования, особенно при использовании автоматизированных систем, несет в себе определенные сложности и накладывает специфические условия организации.

Формирование тестов для автоматизированных систем осуществляется, как правило, в разные периоды времени, разными преподавателями и имеют тенденцию увеличения базы вопросов для проведения процесса тестирования. Без использования математических моделей определения повтора трудно обойтись. Даже изменение порядка следования слов в предложении уже в целом меняет сам вопрос для автоматизированной системы. Поэтому в вопросах подготовки контрольных тестов важной проблемой выступает уникальность вопроса и его предполагаемых вариантов ответа, если это только не связано со специальными приемами уточнения глубины знаний учащихся в предметной области. Для предварительного анализа качества тестов проводится тестирование их составителей.

Статистический анализ качества тестов производится по двум направлениям:

• анализ вопросов теста на полное или частичное совпадение; анализ ответов заданий теста, как на повторяемость, так и на наличие недопустимых ответов, таких как «верны ответы а) и в)», «все ответы верны», «все ответы не верны» и т.д.;

• анализ ответов учеников.

Статистический анализ ответов проводится для отдельного теста, когда для каждого вопроса, который был задан ученикам во время тестирования, определяется количество правильных и неправильных ответов, а также указывается, был ли изменен правильный ответ в результате апелляции.

Оценка качества тестов является важной составляющей подготовки теста к использованию при приеме экзаменов методом компьютерного тестирования. Проверка на повторяемость вопросов в тесте и дублируемость ответов среди вариантов ответов позволяет выявить точные копии вопросов и ответов среди предложенных вариантов ответов на вопрос теста. Данная проверка является первичной, которую должен проходить контрольный тест. Если анализ ответов на полное соответствие является достаточно простой задачей, выполняемой автоматизированной системой, то для анализа вопросов теста необходимо использовать специальные модели.

Степень подобия строк можно определить различными способами. Два вопроса теста следует считать подобными, если они содержат примерно одинаковое количество слов (разница составляет не более p%), длиной не менее k символов (слова, с длиной менее k символов считаются не значимыми) и не менее q% слов имеют совпадение большее, чем r%. Вопросы, которые определены автоматизированной системой, как подобные,

представляются для окончательно принятия решения лицу, принимающему решение.

Так, например, два вопроса по иностранному языку «Выберите эквивалент к выражению: «Мне не везет» и «Выберите эквивалент к выражению: «В области науки» должны рассматриваться автоматизированной системой как похожие и представляться для рассмотрения лицу, принимающему решение.

По данным материалов XVIII Международной конференции. «Применение новых технологий в образовании», которая проходила 27-28 июня 2007 г. в городе Троицк Московской области на базе ГОУ ДПО «Центр новых педагогических технологий» Московской области, существуют следующие способы анализа качества теста и повышения его надежности:

• статистический анализ ответов учеников, как для отдельного теста, так и для всех тестов, используемых при проведении экзаменов;

• анализ ответов теста на повторяемость и наличие ответов, не пригодных для компьютерного тестирования;

• анализ вопросов теста на полное соответствие;

• анализ вопросов теста на нечеткое соответствие;

• тестирование авторов для выявления некорректных вопросов;

• сравнение вопросов теста с тематическими вопросами по дисциплине, предоставляемыми ученикам для подготовки к экзаменам;

• переработка формулировок вопросов для получения уникального варианта теста;

• выделение и сохранение невалидных вопросов теста для предотвращения появления их в качестве новых тестовых заданий;

• сравнение новых тестовых заданий с имеющимися в базе данных.

5. Компьютерное тестирование и тестовые оболочки

Основными преимуществами компьютерных тестовых систем являются их оперативность, объективность, возможность охватить большую аудиторию, автоматизация обработки результатов, возможность самоконтроля учащихся.

Тестирование в компьютерной форме исключает возможность ошибки преподавателя при проверке тестовых заданий, сводит к минимуму время, необходимое на проверку (время ожидания оценки учащимися), устраняет необходимость раздачи и сбора тестового материала на бумажных носителях.

В отличие от бланковых систем тестирования, компьютерные тесты позволяют использовать сложные методы контроля оценки знаний учащихся, снизить финансовые и временные затраты при проведении тестирования, применить в тестах мультимедийные задания, а так же повысить открытость процесса тестирования.

Но наряду с достоинствами, у компьютерных тестов есть и свои недостатки: повышается вероятность случайного выбора ответа, понижается внимание на оформление решения, теряется логика рассуждения, теряется информация о процессе выполнения отдельных заданий учащимися.

Для проведения компьютерного тестирования используют специальные программы (тестовые оболочки). В глобальной сети можно найти множество разных тестирующих программ и оболочек. Для создания тестирующей оболочки недостаточно хорошо владеть приемами программирования. Следует еще очень точно представлять себе условия, в которых применяется этот программный продукт.

Для создания тестов по предметной области разрабатываются специальные инструментальные программы-оболочки, позволяющие создавать компьютерные тесты путем формирования базы данных из набора тестовых заданий.

Инструментальные программы, позволяющие разрабатывать компьютерные тесты, можно разделить на два класса: универсальные и специализированные. Универсальные программы содержат тестовую оболочку как составную часть. Среди них Адонис (Москва), Link way (Microsoft), Фея (Томск), Радуга (Москва) и т.п. Специализированные тестовые оболочки предназначены лишь для формирования тестов. Это - Аист (Москва), I_now (Иркутск), Тест (Красноярск) и др.

Для того, чтобы разработать компьютерный вариант теста с помощью одной из названных выше программ, необходимо уяснить, какие формы тестовых заданий они допускают.

Перечисленные формы компьютерного представления тестовых заданий не исчерпывают их многообразия. Многое зависит от мастерства и изобретательности эксперта по тестированию. При создании тестов важно учитывать многие обстоятельства, например, личность тестируемого, вид контроля, методику использования тестов в учебном процессе и т.п.

Заключение

Анализируя теоретические исследования отечественных и зарубежных ученых, а также практику массового тестирования, можно утверждать, что педагогические тесты, отвечающие высоким критериям качества, обладают несомненными преимуществами перед традиционными субъективными формами контроля уровня обученности учащихся. Надежный и валидный педагогический тест полностью отвечает требованиям к технологии контроля знаний, умений навыков учащихся на всех этапах обучения.

Кроме того, компьютерное тестирование, благодаря своей новизне, повышает познавательный интерес учащихся как к самому предмету, используя нетрадиционные формы подачи вопросов, так и непосредственно к процессу тестирования, что облегчает контроль знаний учащихся.

Проанализировав и сравнив наиболее популярные тестовые оболочки, можно сделать вывод, что их использование в процессе контроля знаний учащихся достаточно эффективно при правильном выборе самого конструктора и грамотном построении вопросов, что нередко сводится опять же к возможностям самой тестовой оболочки. Существуют такие конструкторы, при помощи которых возможно проконтролировать и оценить лишь малую часть знаний учащихся, однако есть и такие, которые могут охватить практически все аспекты знаний по предмету.

В целом можно сказать, что тестовые оболочки, являясь новшеством в контроле знаний многих предметов, используются довольно редко, но имеют достаточно большую перспективу в будущем. Однако не стоит отказываться и от других, ставших уже традиционными способов контроля знаний, умений и навыков учащихся, дабы более полно представлять картину их сформированности у учащихся и наиболее объективно их оценивать.

Компьютерное тестирование имеет определенные преимущества по сравнению с традиционным бланковым тестированием, которые проявляются особенно заметно при массовых проверках (например: ЕГЭ). Предъявление вариантов теста на компьютере позволяет сэкономить средства, расходуемые обычно на печать и транспортировку бланковых тестов, а также упростить процесс обработки данных, облегчить аналитическую оценку результатов теста и т.д.

Благодаря компьютерному тестированию можно повысить информационную безопасность и предотвратить рассекречивание теста за счет высокой скорости передачи информации и специальной защиты электронных файлов.

Систематический контроль знаний большого числа проверяемых приводит к необходимости автоматизации контроля, использованию при его проведения компьютерной техники и соответствующего программного обеспечения.

Применение компьютеров при контроле знаний является экономически выгодным и обеспечивает повышение эффективности учебного процесса.

Список литературы

1. Майоров А.Н. Теория и практика создания тестов для системы образования. (Как выбирать, создавать и использовать тесты для целей образования). - М., «Интеллект-центр», 2001 - 296 с.

2. Аванесов В.С. Композиция тестовых заданий. - М., Центр тестирования, 2002.

3. minuspk.ru›resource/resource1324440316.doc

4. М.Б. Челышкова. Теория и практика конструирования педагогических тестов: Учебное пособие. - М: Логос, 2002. - 432 с.

5. Материалы XVIII Международной конференции. Применение новых технологий в образовании. АНО «ИТО» 27 - 28 июня 2007 г. Троицк

6. КомпьютерПресс 7'2006. compress.ru/.

7. Габова О.В., Русаков А.А. Тестирование - одна из форм диагностики и проверки успешности обучения. Педагогическая информатика, №3, 2005, - с. 13-17.

8. coolreferat.com/Тестовые_оболочки_и_возможности_их_использования_в_обучении_часть=3.

9. ru.wikipedia.org

10. festival.1september.ru/articles/419956/

11. Челышкова М.Б. Теория и практика конструирования педагогических тестов - M.: Логос, 2002.

12. Зорин С.Ф. Разработка автоматизированной системы контроля знаний студентов по дисциплине «Экономика предприятия». МГВМИ, 2007.

Размещено на Allbest.ru