Аттестационные тесты
Вниманию кадровых служб банков предлагается опыт специалистов Агентства "ВЭП" по составлению тестов. Вольное изложение материала говорит лишь о том, что над обозначенной проблемой еще предстоит вся основная теоретическая работа, результаты которой, безусловно, когда-то и кем-то обязательно будут изложены так, как это должно быть изложено, в канонах лучших классических теорий.
Составление тестов - дело несложное. Научиться этому очень даже можно, и требуется здесь только наличие двух условий. Условия эти из области знаний, так как речь мы поведем не о психологическом тестировании, а о тестировании персонала именно в области знаний, причем, специальных знаний (или незнаний).
Условие первое - нужно быть специалистом в той области знаний, по которой вы решили составить тесты. Условие это простое, потому что если вы решили составлять тесты, значит вы уже какой-никакой специалист и останавливаться на этом условии мы даже не будем.
Условие второе - при составлении тестов необходимо придерживаться определенных правил, если можно так сказать - стандартов. Второе условие более сложное, зато менее принципиальное, чем первое, и в ряде случаев им можно запросто пренебречь. Например, в тех случаях, когда вы хотите написать один единственный тест в своей жизни, да и тот не для аттестации, а для развлечения коллектива, то вы даже не задумывайтесь над тем, что есть какие-то правила написания тестов, просто пиши свой тест и все.
Тестирование (по оценке знаний) применяется и внедряется очень широко. Этот метод оценки находит применение и в школах, и в ВУЗАх, и в профобразовании, и при аттестациях в организациях, и может применяться буквально везде, где есть место теоретической подготовке. Так широко тестирование не применялось никогда ранее. И это не случайно. Связано это с тем, что сегодня тестирование получило возможность использовать программные средства, потому преимущества тестирования перед другими видами оценки резко пошли вверх.
Несмотря на широкое распространение тестирования как метода, правила написания тестов пока еще никем, никогда и нигде не представлялись широкой российской публике. Речь, конечно, идет о составлении аттестационных тестов, а не о психологических тестах. Это значит, что составление тестов происходит без правил, а это не правильно и требует соответствующих действий от сторонников тестирования. Так как никакие другие правила и стандарты, кроме тех, которые мы открыли для себя сами за 4 года работы с тестами, нам не известны, то мы предлагаем всем желающим наши рекомендации по процедуре составления тестов, которую мы называем - ТЕСТОСТРОЕНИЕ.
Правила составления тестов по оценке знаний.
Каждый тест состоит из составляющих его вопросов, а потому и начинать надо с правил написания самих вопросов.
Часть I. Правила составления вопросов.
Правило 1. Вопрос должен быть вопросом.
Прежде всего, каждый вопрос должен быть составлен в виде вопроса, т.е. начинаться он должен с таких слов, как "что", "как", "когда", "где", "сколько" или с фраз "в каких случаях", "в каком месте", "с кем из" и т.д., а заканчиваться, соответственно, знаком вопроса.
Давайте рассмотрим один пример с нарушением Правила 1.
Вопрос: Ценная бумага это:
- вексель
- закладная
- сберегательная книжка
- договор
Предлагаемый вопрос прекрасно демонстрирует недостатки формулирования вопроса не в виде вопроса.
Заметим, что вопрос задается в виде вопроса совсем не случайно. Вопрос должен нести смысл ничем не меньший, чем сам ответ. А что несет данный вопрос? О чем спрашивается в вопросе? Может быть о том, что такое - ценная бумага? Глядя на варианты ответа, понимаешь, что нет. В сам вопрос смысл никакой не вложен, и понять его можно только в совокупности с вариантами ответов, а именно, спрашивается о том, какие из указанных документов относятся к категории ценных бумаг. Так почему бы и не задать вопрос так, как надо ? "Какие из указанных документов относятся к ценным бумагам?". А если быть точным, то ценная бумага не "это", и даже не вексель. Понятие ценной бумаги излагается в Ст. 142 Гражданского кодекса РФ, и там ничего не говорится про вексель.
Тут самое время указать еще и на то, что вопросы должны бы нести в себе элемент образования. Термины, понятия и цельные формулировки, используемые в вопросе, обязательно "откладываются" в головах тех, кто на эти вопросы отвечает. А поскольку тестирование в процессе учебы и подготовки специалистов - не цель, а средство, то как средство, вопросы могут быть наделены разработчиком еще одним качеством - умеренной, но уверенной терминологией, что опять же положительно влияет на качество подготовки.
Подводя итог, отметим, что задавая вопрос в виде вопроса, разработчик вынужден составлять его максимально корректно. По-другому не получится или получится заметно плохо.
Правило 2. Вопрос должен составляться в соответствующих целях.Вопросы могут быть легкие или трудные, простые и сложные, наивные и каверзные. Однако нужно понимать, что если вопрос составляется для аттестации, то вопрос не должен быть сложным, хитрым или коварным. Если мы хотим узнать, знает специалист или не знает что-то, то мы и вопрос должны создавать с учетом этого. Если же мы хотим тестируемого однозначно "завалить" своим вопросом, то в таком случае мы должны понимать, что мы его именно заваливаем, а не пытаемся узнать, что знает тестируемый, т.е. цель вопроса не аттестационная. Коварные и хитрые вопросы "завального" уровня прекрасны для различного рода конкурсов, чемпионатов и прочих состязаний, а также для выяснения отношения с подчиненными, если вы член аттестационной комиссии.
Если же мы хотим таки добиться от работников больших знаний, то эти знания нужно давать (и усваивать) по частям. Предложенный вопрос для аттестации должен быть разбит минимум на три вопроса:
- 1) В течение какого срока действителен денежный чек?
- 2) Считается ли день выписки чека при установлении срока его действия?
- 3) Может ли чек быть предъявлен банку для оплаты накануне дня получения денежных средств?
Таким образом, задавая (составляя) вопрос мы не должны
забывать о том, какие цели мы преследуем.
Правило 3. Вопрос должен содержать ссылку на
первоисточник.
Каждый вопрос должен иметь ссылку на первоисточник, но не в самом тексте вопроса, разумеется, а, так сказать, "за вопросом". Нужно это для дальнейшей работы над ошибками тестируемыми или для апелляции.
Тот, кто составляет вопросы, должен указывать, а почему
именно такой вариант ответа верный, а не другой. Первоисточником могут быть не
только нормативные документы, как это делается в наших тестах. Ссылки могут быть
на учебники, статьи в газетах, даже на сообщения или сайты в Интернет - это уже
не важно, главное, чтобы первоисточник соответствовал по своему авторитету
затронутой теме и составленному вопросу, и был, в принципе, доступен. Наличие
ссылки говорит о том, что составитель теста объективен, что он не пишет все
подряд все то, что всплывает в его голове, пусть даже очень умной. Составитель
вопросов с большинством тех, кто будет отвечать на его вопросы никогда не
увидится, а им (тестируемым) точно захочется задать свои вопросы на ряд вопросов
разработчика. Наличие ссылки ? это своеобразная встреча сторон, диалог,
упрощающий любые возможные споры, а также демонстрация
объективности.
Правило 4. Количество вариантов ответов в
вопросе должно быть разумным.
Сколько должно быть вариантов ответов в вопросе? Этот вопрос наименее принципиален - сколько хотите, столько и делайте вариантов. Все здесь определяет здравый смысл. Один вариант ответа быть не может, это понятно. Два варианта ответов ? это для составителей-талантов или с оставителей-лентяев, так как в двух вариантах трудно раскрыть все многообразие возможных заблуждений и/или скрыть верный ответ.
Слишком много вариантов ответов также нехорошо, потому что тогда тестируемому трудно будет ориентироваться во всем многообразии предложенных вами "мыслительных лабиринтов". Тут, скорее всего, будут оцениваться уже не только и не столько знания, сколько другие качества специалиста: внимательность, зрительная память, крепкие нервы и проч. А ведь при оценке знаний нам не должны мешать посторонние факторы, иначе наши представления о знаниях специалиста будут искажены.
Если вариантов ответа на тот или иной вопрос получается довольно много, лучше сделать два, а то и три одинаковых, или почти одинаковых вопроса, с различными вариантами ответов.
В наших тестах количество вариантов ответов составляет от
трех до шести.
Правило 5. Неверные варианты ответов должны
быть правдоподобны.
Вы можете сказать, что это само собой разумеющееся правило. Спешим заметить, что многие составители тестов, после того, как сформулировали вопрос и правильный вариант ответа, все остальное пишут "на авось". Написанные по такому принципу варианты ответов вызывают улыбку у тех, кто что-то понимает в соответствующей теме. Для самых "маленьких" (для начинающих) такие вопросы еще сойдут, но далее наступает период, когда очевидно, что составитель тестов просто не представляет себе или не хочет показывать другим свое представление о соответствующей теме. Все это снижает авторитет самого составителя и всех его вопросов.
В качестве отступления скажем, в наших тестах программа регистрирует все варианты ответов, какие дают участники тестирования. Последующий анализ после прохождения тестов десятками специалистов, показывает, насколько правдоподобны те или иные неверные ответы. Если на како й-то вариант ответа никто и никогда "не попадается", то возникает соответствующий вопрос к разработчику данного вопроса: - "Скажите, уважаемый, а зачем вы данный вариант ответа написали"? Один "невостребованный" вариант ответа в одном вопросе - это не беда, это бывает. Но вот если все вопросы перенасыщены подобным "балластом", тогда это уже плохо, тогда пора менять разработчика или, как минимум, вести с ним разъяснительную работу.
Часть II. Правила составления тестов.
Привило 1. Нужно однозначно определиться с видом вопросов составляемого теста
Существует несколько вариантов составления тестов:
- Вариант, когда из предлагаемых ответов правильным является только один ответ
- Вариант, когда предлагается множественный выбор ответов из всех предлагаемых
- Вариант, когда ответы не приводятся вовсе, а тестируемый должен самостоятельно составить правильный ответ.
Последний вариант составления тестов мы, собственно, не считаем тестированием, на наш взгляд, это письменный экзамен, но поскольку нам известны другие мнения, пусть такой вариант составления вопросов тоже будет называться тестированием.
Составив тест соответствующего вида, об этом нужно
заблаговременно заявить тем, кто будет отвечать на вопросы вашего теста. Мешать
вопросы разных типов нельзя. Во-первых, потому, что дополнительное запутывание
тестируемых - это уже психология, а не оценка знаний в чистом виде. Во-вторых,
возможны случаи, когда составитель вопреки своей уверенности в правильности
варианта ответа будет не прав, например, когда один вариант включает в себя два
любых других, а и тестируемый выбирает что-то одно, либо один объединяющий, либо
два самостоятельных варината. В-третьих, сегодняшние тесты хороши именно тем,
что они работают с использованием программных средств, а, значит, все должно
быть однообразно, в противном случае, вы не получите хорошего анализа,
пренебрежение которым говорит о том, что вы не понимаете преимуществ
использования тестов с использованием программных средств.
Правило 2. Тест должен планироваться до
составления вопросов.
Тест - это инструмент оценки, применение которого должно
точно указывать и область, и уровень знания/незнания тестируемого. Впрочем, все
это прописные истины, о которых многие не задумываются, но с которыми все
сталкивались еще в школе: 5 - по математике, 3 - по химии, 2 ? по географии, и
всем было ясно, что из себя ученик представляет, и учителю, и ученику, и его
родителям.
Правило 3. Оптимальное количество вопросов в
тесте никем не установлено.
Большинство предлагаемых тестов содержит по 15-20 вопросов. Это несерьезно. Преимущество тестирования состоит в том, что за короткий промежуток времени о знаниях тестируемого можно получить не просто полное, а переполненное представление. Переполненное представление, конечно, в сравнении с другими методами оценки знаний. А что такое 15 вопросов? 15 вопросов можно задать и в устном порядке, даже приятней, хоть с человеком пообщаешься. На таких дистанциях КПД тестирования можно считать нулевым.
Вот если бы тест вопросов в 100 или 200! Некоторые вот тут говорят, мол, больше получаса отвечать на вопросы тяжело: утомляемость, невнимательность, раздражение. Исходя из практики, мы просто не уверены в таких заключениях. После 20-го вопроса тестируемый, по нашим наблюдениям, только начинает соображать, после 50-го вопроса он вполне в прекрасном тонусе и после 100-го - ничуть не хуже. Другое дело, если тестироваться не хочется вообще, тогда совершенно любые аргументы уместны. Но вы лучше вспомните, сколько времени в средней школе проходит каждый выпускной письменный экзамен (проходил до внедрения тестирования)? Тест - это умственная работа. И физически тяжело тестироваться только тем, кого умственная работа сильно перегружает (например, каждые полчаса).
Нам известен пример, когда все руководители филиалов одного из крупных региональных банков (более 30 филиалов) проходили тест в 230 вопросов и ничего, все живы. Зато каков эффект! Одно тестирование - и сразу всем ясна картина, и сразу каждому полный перечень банковских тем и отдельных вопросов для освоения до следующей аттестации (или переаттестации).
Так сколько вопросов в тесте оптимально? Не знаем. Но мы
готовы спорить, что с освоением тестирования количество вопросов в тестах будет
расти и через год - два в лучших заведениях будет предлагаться не менее ста
вопросов "за один присест".
Заключение.
Теперь, когда мы познакомили вас с нашими правилами создания тестов, остается отметить, что во всяком правиле возможны исключения. В любом случае все решает совокупность ваших способностей и ваша адекватность делаемому делу.
Предложенные нами правила - это наши выводы из четырехлетнего опыта работы с тестами. На каждое "почему" в составлении тестов у нас есть свой ответ, так много ситуаций нам приходилось разбирать. Наша сегодняшняя задача - обозначить общие подходы и основные правила в тестировании для того, чтобы другим уже не приходилось тратить время на пройденное нами.
Самые большие трудности в составлении тестов кроются все же не в квалификации составителя и, тем более, не в освоении тех правил, которые мы вам предложили, а совсем в другом. Составление тестов - это довольно кропотливая работа. Как ни банально, трудности, связанные с тем, что нужно просто сидеть и писать, и "шлифовать" вопросы являются основными трудностями перед теми, кто сталкивается с написанием тестов. Очень немногим удается осилить составление всего 1 приличного теста из 60 вопросов, хотя и, работая над тестами, все подчеркивают, что дело это, безусловно, полезное для разработчика. Работая над тестами, вы работаете с нормативными документами, т.е. повышаете квалификацию. В общем, специалист делает тесты, а тесты делают специалиста.
И последнее правило, не надо забывать, что тесты - это не цель, а средство достижения цели. Целью же является постоянное и системное повышение уровня знаний, профессиональной подготовки, квалификации специалистов, т.е. все то же - учиться, учиться и учиться (заимствовано). А тестирование лишь один из методов содействия обучению и подготовке, хотя, при сегодняшних возможностях программирования, тестирование - практически безальтернативный способ оценки коллективных знаний и персональных знаний каждого в коллективе.