Министерство образования и науки Российской Федерации

ТАМБОВСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

банков тестовых заданий

Тамбов – 2008

Рецензенты:

В методических рекомендациях излагаются основные правила составления тестовых заданий для оценки знаний учащихся и правила их представления в редакторе MSWord для дальнейшего их использования в системе адаптивного тестирования АСТ-тест.

Введение

Наряду с традиционными методами обучения и контроля знаний тестирование быстро становится необходимой частью учебного процесса. Это методическое направление в педагогике вновь возрождается в нашей стране.

Цель проведения экзаменов и другого контроля знаний в тестовой форме состоит в том, чтобы повысить объективность оценки уровня знаний. Когда тестирование знаний в группе студентов проводится по пройденному курсу, то полнота его изучения выявляется как для всей группы в целом, так и индивидуально для каждого студента.

В отличие от традиционного контроля в форме опроса, устного экзамена или зачета, которое отнимает много времени, тестирование проводится для студентов всей группы одновременно и, хотя процесс тестирования в целом менее продолжителен, он дает более объективную картину уровня знаний студентов. Тестирование, независимо от того, проводится оно в письменной форме или посредством компьютеров, психологически меньше нагружает студентов и преподавателей. Результаты тестирования после обработки на компьютере представляются в форме совокупности стандартных статистических показателей, пригодных для установления рейтинга знаний студентов и сравнительных характеристик студенческой группы в целом.

Следует отметить, что содержание данных рекомендаций не может носить обязательный характер. Имеющаяся законодательная база не обеспечивает полной определенности ни по форме тестов, ни по их содержанию. Это приводит к тому, что различные сложившиеся в стране центры тестирования, ссылаясь, в основном на труды одного автора (Аванесова В.С.) приводят свои требования к содержанию тестовых заданий.

В данном методическом пособии сделана попытка объединить общие принципы тестирования и содержания тестов и требования к содержанию тестовых заданий и их представление в редакторе MS Word АСТ (Адаптивной среды тестирования).

1. Введение в тестологию

Все известные педагогические задания можно разделить на три группы: тестовые, псевдотестовые и – если можно так назвать – нетестовые.

К нетестовым заданиям относятся задачи, вопросы, примеры, упражнения, кроссворды и все остальное, не имеющее отношения к тем тестам, которые разрабатываются преимущественно профессионалами для итогового контроля знаний. К нетестовым же относится и множество заданий неопределённой формы, называемых тестами вследствие упрощенного перевода с английского слова "test" – проверка, проба. Задание может быть тестовым и по форме, и по содержанию, но не соответствовать, тем не менее, специальным тестологическим требованиям к тестовым заданиям.

Название "псевдотестовые" как бы наталкивает на мысль об ущербности, неполноценности или даже их непригодности для тестирования. Естественно задать вопрос – а почему же они все-таки так названы? Это сделано только потому, что, будучи по форме очень похожими на тестовые задания, они не являются таковыми с точки зрения требований уже упоминавшейся математической теории тестов (Item Response Theory). Если для испытуемых одинакового уровня подготовленности правильный ответ на одно задание зависит от правильного на другое, то такие задания тест, в научном его понимании, не образуют. Именно в этом, статистическом, смысле они и были названы псевдотестовыми.

Псевдотестовые задания представляют собой новый вид контрольного материала, особо ценного для организации самостоятельной учебной работы и для самоконтроля, а также для проведения итоговой государственной аттестации выпускников образовательных учреждений. Потребность в таких заданиях возникает при попытках модернизации учебного процесса и при проведении итоговой государственной аттестации выпускников образовательных учреждений. В связи с тем, что итоговое тестирование проводится после окончания учебного процесса, оно только опосредованно влияет на качество обучения. Отсюда вытекает задача найти такую форму контроля знаний, которая органично вплетается в учебный процесс, ежедневно мотивируя работу учащихся.

Тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения .

Это и все другие современные словарные определения подчеркивают то, что тест означает проверку, испытание, но это не простое установление факта наличия или отсутствия какого-либо качества или свойства, что в состав теста входят тестовые задания, что тест должен быть стандартизирован и что назначение теста – это выявление личностных особенностей или приращений.

Тест не является аналогией отдельным заданиям, экзаменационным вопросам, анкетам, головоломкам и пр. В его основе лежит специально подготовленный и испытанный набор заданий, позволяющих объективно и надежно оценить исследуемые качества и свойства на основе использования статистических методов.

В настоящее время в нашей стране появилось несколько центров, в которых достаточно профессионально занимаются работой с тестовыми методиками. Среди наиболее активных следует назвать: Центр тестирования профессионального образования (ЦТПО, г. Москва), Центр оценки качества образования Института общего среднего образования РАО, Центр тестирования выпускников общеобразовательных учреждений Российской Федерации, Центр психологического и профессионального тестирования МГУ, Лаборатория аттестационных технологий Московского института повышения квалификации работников образования (МИПКРО), Лаборатория изучения образовательных систем Центра развития образования (г. Санкт-Петербург), Центр аттестации областного института повышения квалификации и переподготовки педагогических кадров (г. Вологда), Научно-информационный центр государственной аккредитации Минобразования России (г. Йошкар-Ола), Исследовательский центр проблем качества подготовки специалистов, Центр аттестации Института развития регионального образования (г. Екатеринбург) и целый ряд других.

Следует признать, что тесты достижений не являются инструментом для определения всего спектра учебных достижений. Одним из существенных ограничений применения тестирования учебных достижений являются ограничения, которые накладываются на ответы. Поэтому анализ способов решения задач, мыслительных операций, которые использует обучаемый при решении задач, в большинстве случаев оказывается затруднён, но не невозможен.

1.1. Классификация тестов

В настоящее время сформировались два подхода в тестировании – критериально-ориентированные тесты и нормативно-ориентированные тесты. Появившись как разные подходы к анализу результатов тестирования, отражающие разные основания для сравнения, сейчас эти два подхода определяют разницу на большинстве этапов создания теста.

При проверке минимально допустимого уровня знаний содержание заданий носит принципиально облегчённый характер. Этот подход выработан для органов управления образованием, стоящих перед необходимостью в короткое время проверить состояние образования в большом количестве учебных заведений, и не позволить последним опускаться ниже предельно допустимого уровня требований (такими являются тесты на определение остаточных знаний). В таких случаях говорят о критериально-ориентированной интерпретации результатов. При таком подходе посредством некоторого числа тестовых заданий определяется, какие дидактические единицы знает, а какие не знает испытуемый из данного стандарта.

При нормативно-ориентированной интерпретации результатов задача определения точного объема и структуры освоенного учебного материала отступает на задний план. В тест отбирается такое минимально достаточное количество заданий, которое позволяет сравнительно точно разделить тестируемых на классы по степени их обученности.

В.С. Аванесов вводит и третий подход – предметно-педагогический подход к интерпретации, где вывод выстраивается вдоль логической цепочки: содержание учебной дисциплины → генеральная совокупность задания для измерения знаний → тест как выборка задании из этой совокупности → ответы испытуемого → вероятностный вывод о его знаниях учебной дисциплины.

Реализуя задачу максимального разнообразия оценок в рамках подхода, ориентированного на норму, отбираются задания, которые дают максимальный разброс в оценках испытуемых, отбраковываются задания, с которыми справляются все обучающиеся или с которыми не справляется ни один из них, поскольку они, с точки зрения оценивания неинформативны. Однако когда вопрос касается анализа усвоения элементов учебного материала, то задания, с которыми справляются все или не справляется никто становятся чрезвычайно важными. Можно утверждать, что данный учебный элемент не освоен никем, а данный освоен всеми. Таким образом, критериально-ориентированные тесты дают возможность реализовать широкие диагностические возможности в отличие от тестов, ориентированных на норму.

1.2 Категории учебных целей

Первым компонентом требований системы научных знаний является характеристика объектов изучения с учетом глубины их освещения преподавателем и планируемого уровня усвоения студентами.

К элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о способах деятельности, методологические и оценочные знания.

Представляет интерес структура умений предложенная проф. И.И. Кулибабой:

– Специальные, формирующиеся в процессе изучения отдельных дисциплин;

– Рациональные, учебного труда, включающие умения пользоваться различными источниками знаний для решения познавательных задач, умения планировать и организовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, умение управлять последней в процессе учения;

– Интеллектуальные, представляющие собой ядро учебной деятельности и объединяющие все учебные дисциплины вуза.

За рубежом популярна следующая классификация целей обучения (или таксономия – по B.S. Bloom), которая представляет интерес для технологии разработки тестов:

1. Знание названий, имен, фактов.

2. Фактуальные знания.

3. Знание определений и понимание их смысла.

4. Сравнительные и сопоставительные знания.

5. Классификационные знания.

6. Знание противоположностей и противоречий, синомичных и антонимичных объектов.

7. Ассоциативные знания.

8. Причинные знания.

9. Алгоритмические, процедурные знания.

10. Обобщённые системные знания.

11. Оценочные знания.

12. Процессуальные знания.

13. Абстрактные знания.

14. Структурные знания.

15. Методологические знания.

Конкретизация учебных целей четко отражена в стандартах каждой специальности вуза. Профессор Кларин М.В. предлагает категории учебных целей в несколько измененном виде, в удобном для задач педагогического измерения (табл. 1).

1.3. Проблемы составления тестовых заданий

Многие авторы настаивают на том, что тестовые задания должны создаваться в форме утверждений, введя в требования к тестовым заданиям логическую форму высказывания. Это связано, во-первых, со словесным составом задания в тестовой форме: смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса, поскольку, в тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации.

Однако хорошо сформулированное задание в вопросительной форме ничем не уступает хорошо сформулированному вопросу в форме утверждения. Но если попытаться в форме вопроса поставить два отрицания, то такое задание становится совершенно непонятным. Мало того, в рекомендациях по составлению тестовых заданий Голландского института CITO дается такая рекомендация: "Используйте прямые вопросы. Предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце". Кроме того, анализ заданий, используемых при аттестации обучающихся, показывает, что преимущественной формой заданий (более 90 процентов) является прямой вопрос.

Один из поводов для критики тестирования заключается в том, что для большинства заданий существует вероятность случайного угадывания правильных ответов. В общем случае это проблема только заданий закрытого типа, и чем меньше возможных альтернатив предлагается испытуемому в рамках одного задания, тем больше вероятность угадывания. Эта проблема остро стоит для заданий альтернативных ответов, где вероятность угадывания максимальна и составляет 50 %, поэтому не рекомендуется использовать такие задания для тестов учебных достижений. Однако серия из пяти заданий альтернативных ответов даёт вероятность угадывания 0,0313, а из десяти заданий всего лишь 0,00098.

Проблема угадывания связана еще и с вопросом времени, выделяемого на тестирование и, в некоторой степени, с вопросом мотивации. Чем выше мотивация, тем больше вероятность того, что испытуемый попытается дать ответ случайно на те вопросы, на которые он не успевает ответить, то есть попытается угадать. В свою очередь количество вопросов, по которым возможно будет проведено угадывание, зависит от времени, выделяемого на тестирование. Чем оно короче, тем больше будет вопросов, на которые распространится случайное угадывание. Таким образом, для времени, выделяемого на тестирование, должен быть найден баланс: при малом времени возрастает вероятность угадывания, при большом времени возрастает вероятность подсказок и других нарушений дисциплины.

2. Порядок разработки банка тестовых заданий (БТЗ)

Чтобы создать корректный педагогический тест по некоторой дисциплине, требуется немало времени и средств. Однако все затраты оправданы выгодами, которые приносит тестирование учебному процессу. Работа по созданию БТЗ проходит поэтапно.

1 этап. Отбор учебного материала, подлежащего тестовому контролю, и его спецификация. Определяется круг тем, включаемых в тест, и относительное количество заданий, которым должен быть представлен каждый раздел курса. Содержание программного материала дисциплины разбивается на 5-6 смысловых блоков, примерно определяется содержательный вес каждого модуля так, чтобы процентное соотношение вопросов, формируемых по каждому блоку, соответствовало весу модуля.

2 этап. Создание заданий в тестовой форме по всему курсу или по проверяемой его части, объединение их в тематические группы, комплектование первичного, пробного, теста. Количество разрабатываемых заданий должно превышать предполагаемую длину теста (планируемое количество заданий в тесте) как минимум в 10 раз. При проектировании заданий необходимо учитывать равномерное распределение заданий по структуре, трудности и важности материала.

3 этап. Проверка первичного теста на группе испытуемых (студентов)

4 этап. Статистический анализ результатов первичного тестирования, выбраковка и корректировка тестовых заданий.

5 этап. Формирование из прошедших проверку заданий собственно теста, который должен состоять из заданий в тестовой форме различной трудности с учётом необходимого уровня усвоения знаний и максимально охватывающих всю программу дисциплины.

6 этап. Эмпирическая проверка теста для уточнения педагогических характеристик как отдельных тестовых заданий, так и всего теста в целом, его валидности, надёжности и др.

Задания, входящие в тест, подбираются так, чтобы они давали основу для проверки некоторых из таких категорий приобретенных знаний, как названия, имена; формулы; смысл слов, названий и имен; факты; определения; сравнение, сопоставление объектов; противоположности, противоречия, антонимы и т.п.; ассоциации; классификации; причинно-следственные отношения; алгоритмы, процедуры; технологии и технологические понятия; вероятностные понятия; абстрактные понятия; методология предмета (Аванесов, 1998)

Хорошо составленный тест обеспечивает широту охвата содержания предмета и проверяет глубину знаний, полученных студентами.

Нельзя не упомянуть и о времени, отводящемся на прохождение теста. С одной стороны в тесте должно быть как можно больше тестовых заданий как минимум для обеспечения надёжности теста. С другой стороны увеличение количества заданий ведёт к увеличению времени тестирования и, как следствие, к утомлению испытуемых, что в свою очередь снижает результаты тестирования.

Таким образом, необходимо найти оптимальное время, которое отражало бы баланс между временем выполнения теста (количеством заданий) и утомлением испытуемых.

Поэтому, проектируя и разрабатывая тесты, необходимо стремиться к тому, чтобы мотивация обучающихся была устойчивой и положительной, а работа – максимально разнообразной, чтобы снизить порог утомляемости испытуемого.

Большинство тестов рассчитано на время выполнения в 40–50 минут.

Таким образом, при составлении варианта теста для апробации, можно ориентироваться на время около часа. В процессе апробации реальные сроки должны быть уточнены. Для апробации следует брать некоторый запас тестовых заданий и соответственно времени. Запас заданий должен обеспечить необходимое количество заданий взамен тех, что будут отбракованы, а запас времени позволит оценить верхнюю границу приемлемого времени выполнения.

В качестве практического совета можно привести вполне современную рекомендацию С. Отиса : время теста должно быть таким, чтобы только 5 процентов испытуемых могли справиться со всеми заданиями.

3. Требования к банкУ тестовых заданий (БТЗ)

Каждый БТЗ должен сопровождаться спецификацией со следующей информацией: содержательная часть, качественные показатели и характеристики тестовых заданий. К содержательной части БТЗ относятся: цели применения теста, предметная область, авторский коллектив, структура и спецификации теста; дата сертификации и утверждения БТЗ. К качественным показателям относятся: валидность, количество заданий в различной форме. К физическим, характеристика теста следует отнести: физическое расположение теста, объем памяти носителя теста, наименование и размер файла (файлов), необходимых для проведения тестирования.

Тематическое содержание БТЗ определяется Государственным образовательным стандартом (ГОС).

БТЗ должен быть структурирован по разделам, темам и понятиям.

Каждое тестовое задание может иметь маркировку только одного элемента каждого уровня структуры.

Спецификации БТЗ должны строго соответствовать своему назначению и отвечать заданной величине содержательной валидности.

Тестовые задания в БТЗ должны быть представлены в различных формах и ранжированы по трем категориям трудности.

БТЗ должен пройти экспериментальную проверку, на основании которой будут определены показатели валидности и верности оценки, зафиксированные в сопроводительной к тесту документации.

Количество заданий в БТЗ должно превышать длину формируемого на его основе теста не менее чем в 10 раз.

Композиции тестов формируются из банка тестовых заданий. Рекомендуется использовать в тесте задания, представленные в различных тестовых формах. Тест должен содержать не менее 60 тестовых заданий для математических и естественнонаучных дисциплин, не менее 100 для гуманитарных дисциплин.

На БТЗ должны быть представлены документы об авторских правах его разработчиков

3.1. Спецификация БТЗ

После выполнения планирования содержания теста разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Иногда спецификацию делают в развернутом виде. Спецификация теста в развернутом виде включает:

1. Название теста.

2. Общая цель разработки.

3. Общие задачи, решаемые при применении теста.

5. План теста.

6. Характеристика содержания каждого задания: что оно измеряет (конкретное название проверяемых знаний, умений, навыков или представлений), возможность фасета, число допустимых вариантов фасета.

Среднее время выполнения задания и ориентировочная мера выполнимости (% ожидаемых правильных ответов) в выборочной совокупности испытуемых.

7. Характеристика ответов к каждому заданию: мера привлекательности каждого ответа в заданиях с выбором. Фасеты ответов.

8. Количество форм заданий и инструкций. Примеры заданий и инструкций к ним.

9. Оценки за выполнение заданий.

11. Определяемые характеристики качества заданий. Методы исследования.

12. Ожидаемая интерпретация тестовых результатов (варианты критериально-ориентированной, нормативно-ориентированной интерпретации или др.).

Создание краткой спецификации основано на сопряжении знаний и умений с процентным соотношением заданий по различным разделам (содержательным линиям дисциплины). Пример реализации подобного сопряжения показан в табл.2. Перечень знаний и умений условно включены:

– А – знание понятий, определений, терминов;

– Б – знание законов и формул;

– В – умение применять законы и формулы для решения задач;

– Г – умение интерпретировать результаты на графиках и схемах;

– Д – умение проводить оценочные суждения.

Табл. 2 – Гипотетическая спецификация теста

При заполнении ячеек таблицы в распределении заданий числа ставятся приближенно, и в процессе "обкатки" теста первоначальная раскладка может существенно измениться.

Спецификация должна охватить весь материал, изложенный в ГОСе по соответствующей учебной дисциплине или в рабочей программе

4. Состав и характеристика тестовых заданий

С точки зрения разработчика минимальные требования к составу тестового задания состоят в наличии трех частей:

1. Инструкции.

2. Текста задания (вопроса).

3. Правильного ответа.

Инструкция должна содержать указания на то, что испытуемый должен сделать, каким образом выполнять задание. Это может быть фраза "Выбрать правильный ответ", "наиболее правильный ответ", "все правильные ответы", "хотя бы один правильный ответ" и др. Инструкция должна быть составлена так, чтобы задание и способ его выполнения были абсолютно ясны любому из испытуемых и не приводили к ошибкам.

Испытуемому важно понять, что от него требуется, как он должен выполнять задание. Мало понять то, что необходимо установить правильную последовательность, то есть выполнить интеллектуальную операцию, но и то, как собственно ее устанавливать. Кроме этого, для многих заданий важно и то, в каком порядке эту правильную последовательность восстанавливать: от раннего (большего) к более позднему (меньшему) или наоборот. Например, задание на установление правильной последовательности, в которой в качестве элементов для упорядочивания предложены фамилии авторов физических законов становится непонятным, если не указать в каком именно порядке следует их располагать: в алфавитном, в хронологическом, по продолжительности жизни, по тому, кто сколько законов открыл, по географии проживания (с востока на запад) и др.

Для разработчиков тестовых заданий подготовка инструкции для испытуемых в каждом задании является необходимой, поскольку это позволяет взглянуть на задание с точки зрения испытуемого.

Текст задания или вопроса представляет собой содержательное наполнение задания.

4.1. Основные принципы составления тестовых заданий (ТЗ)

3. Используйте задания с однозначными ответами. В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора.

4. В тексте тестового задания не должно быть сленга (исключая случая составления теста специально для целей, связанных со знанием этих слов).

5. Следует избегать обобщающих слов, таких как: "всегда", "иногда", "никогда".

6. Формулировка тестового задания не должна начинаться с предлога, частицы, союза.

7. Избегайте использования очевидных, тривиальных формулировок при составлении тестовых заданий. Проверяйте, чтобы каждое тз имело отношение к конкретному факту, принципу, умению, знанию, т.е. Обладало достаточной важностью для включения в тест. Все ТЗ должны быть связаны с целями обучения

8. Избегайте потери времени. Этого можно достичь следующими способами:

– Используйте в тесте только столько тз, сколько необходимо для достижения всех целей тестирования. Т.е. При тестировании вашей целью должно являться не количество тестовых заданий, а отражение всех целей тестирования.

– Не пытайтесь “обхитрить” испытуемого любым путём. Исключайте тз и ответы (в закрытой форме, например), если их можно оценить, как "обманные".

– Тщательно продумывайте формулировку тз, чтобы избежать дублирования фраз слов.

– В основную часть задания необходимо включить как можно больше слов, необходимых при формулировании задания, а для ответа оставить меньшую часть, наиболее важных, ключевых слов для данной проблемы.

9. Избегайте взаимосвязанных заданий, где содержание одного задания подсказывает ответ на другое задание.

10. Избегайте непреднамеренных подсказок в заданиях и образцах ответа. Эти подсказки являются одним из способов угадывания правильного ответа без обладания достаточными знаниями или умениями. Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки. Такими подсказками могут быть:

– Грамматические подсказки

– Ассоциативные слова и определения (например, в тз закрытой формы использование одинаковых жаргонных фраз или слов в формулировке тз и в возможном ответе).

– Систематическое повторение некоторых черт правильного ответа. (например, в тз закрытой формы правильным чаще является ответ наиболее длинным по количеству символов).

11. При разработке заданий открытой формы следует предусмотреть и указать возможные варианты ответа.

12. Задания на установление соответствия:

– Задание необходимо сформулировать так, чтобы все содержание можно было выразить в виде двух однородных множеств. Элементы задающего столбца необходимо расположить слева (сверху), а элементы для выбора справа (внизу экрана). Для каждого столбца желательно ввести определенное название, обобщающее все элементы столбца.

– Необходимо, чтобы правый столбец содержал хотя бы несколько дистракторов. Еще лучше, когда число элементов правого множества примерно в два раза больше числа элементов левого столбца;

13. В задании на установление правильной последовательности четко формулируется критерий упорядочивания.

14. Национальные системы ряда стран ставят специфические требования к тестовым заданиям, на которые у нас пока обращается недостаточно внимания. В качестве примера приведём требование инструкции по составлению тестов, предоставленной NEAB (Northen Examinationes and Assesment Board): "Необходимо избегать вопросов, которые в каком-либо виде дают превосходство тестируемому определенного пола. Половой ориентации вопроса необходимо избегать в любом случае. Нельзя считать, что формулировка вопроса в мужском роде подразумевает большую легкость ответа, чем в женском роде. Использование формулы "он/она" также нежелательно, при формулировании вопросов. Лучше пользоваться неродовыми формулировками". Лучше обращаться к группе, а не к отдельному обучающемуся.

1. Норма трудности определяется разработчиком ТЗ и указывает субъективную величину того, насколько тяжело будет решить данное тестовое задание испытуемому с минимальным уровнем подготовки.

2. Норма трудности зависит от следующих факторов:

– количество концептов, необходимых для решения ТЗ;

– образ мышления, на который направлено ТЗ;

– форма ТЗ;

– уровень значимости ТЗ;

– глубина расположения ТЗ в спецификации;

– количество вариантов ответов.

3. Норма трудности ТЗ может оцениваться с учётом количества используемых концептов, необходимых для поиска правильного решения. Под концептом в дальнейшем понимается некоторое умозаключение (формула, правило, аксиома и т.д.), позволяющее приблизить правильное решение ТЗ. Чем больше шагов нужно выполнить для получения правильного ответа, тем выше норма трудности, тем сложнее считается ТЗ.

4. Норма трудности ТЗ зависит от образа мышления, на который направлено ТЗ.

5. Если ТЗ направлено на "опознание" какого-то объекта или на проверку "знания-знакомства", то такое ТЗ следует считать простым.

6. Если ТЗ направлено на выбор одного варианта ответа из многих с помощью знания всего одного концепта, то такое ТЗ следует считать простым.

7. Если ТЗ открытого типа направлено на выявление знания определения односложного базового термина, то такое ТЗ следует считать простым.

8. Если ТЗ направлено на применение усвоенных ранее знаний в типовых ситуациях (т.е. в тех ситуациях с которыми знаком испытуемый) или на проверку "знаний воспроизведения копии", то такое ТЗ следует считать ТЗ среднего уровня сложности. К ТЗ такого уровня сложности следует относить высказывания конъюнктивного или дизъюнктивного вида или ТЗ с несколькими концептами по выбору подмножества правильных вариантов из заданного множества дистракторов. В некоторых случаях к ТЗ такого уровня сложности могут быть отнесены ТЗ на соответствие и порядок.

9. Если ТЗ направлено на применение усвоенных знаний и умений в нестандартных условиях (т.е. в условиях, ранее не знакомых испытуемому) или на проверку "знаний умения и применения", то такое ТЗ следует считать сложным. К ТЗ такого уровня сложности относятся задания, сформулированные в виде утверждений импликативного типа. Такие задания требуют применения рассуждений в форме дедуктивного, индуктивного вывода и аналогии, причем для получения окончательного ответа необходима некоторая последовательность умозаключения (несколько концептов).

10. Назначение нормы трудности можно производить с учётом формы ТЗ. При этом наиболее простой формой ТЗ считается закрытая форма. Самая сложная форма ТЗ – на упорядочение и на соответствие. Открытая форма довольно часто бывает у ТЗ со средним уровнем сложности.

11. Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ основному и дополнительному материалам (уровень значимости ТЗ). Очевидно, что для каждой дисциплины есть определённый набор базовых понятий, например, прописанных в ГОСе, а есть понятия, относящиеся к дополнительному материалу, то есть материалу, который даётся лишь наиболее успешно обучающимся группам студентов. Поэтому, если ТЗ раскрывает базовое понятие, то такое задание можно считать простым, если же ТЗ принадлежит к дополнительному материалу, то его можно считать сложным.

12. Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ уровню "глубины" спецификации теста. Если ТЗ раскрывает самый нижний уровень иерархии спецификации теста (например, некоторое "Понятие"), то такое задание будет легким. Принадлежность ТЗ средним уровням иерархии спецификации теста (например, некоторой "Теме" или "Подтеме") повышает норму трудности – средний уровень сложности. Наконец, ТЗ, относящееся к верхнему уровню, корню дерева иерархии (например, к "Разделу", "Главе"), можно считать сложным.

13. Увеличение количества дистракторов также влияет на увеличение нормы трудности ТЗ.

14. При установлении нормы трудности тестовых материалов важно уметь сопоставлять приведенные факторы для различных случаев и учитывать все особенности предметной области.

5. ВИДЫ И ТИПЫ ТЕСТОВЫХ ЗАДАНИЙ

В современных компьютерных адаптивных системах тестирования (например АСТ) наиболее часто используются 4 вида тестовых заданий.

1. Открытого типа.

2. Закрытого типа.

3. Задания на установление соответствия.

4. Задания на установление последовательности.

Некоторые авторы дают более подробную классификацию – выделяя всего два типа заданий, которые объединяют шесть видов. К этим шести видам может быть сведено все многообразие существующих заданий без ущерба для их качества (рис. 1).

Рис. 1 – Типы и виды тестовых заданий

5.1. Задания открытого типа

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. Чаще всего задания со свободным изложением ответа используют в психологических, социологических тестах, а так же тестах интеллекта.

При компьютерном тестировании с целью определения уровня учебных достижений наличие эталонных вариантов ответов обязательно, более того – надо отметить особенность компьютерного тестирования – вводимый ответ испытуемого сравнивается с эталоном посимвольно, т. е. при наличии нескольких вариантов правильных ответов, синонимов и т. п. в эталонных ответах указываются все варианты.

Главной трудностью при составлении заданий открытого типа является соблюдение основного требования к тестовым заданиям – наличия однозначного правильного ответа. Существует несколько приемов, которые позволяют формализовать ответ, сделать его однозначным.

Положительными сторонами хорошо составленных заданий дополнения являются:

1) краткость и однозначность ответов;

2) необходимость воспроизведения ответа по памяти;

3) отсутствие необходимости искать несколько вариантов ответа;

4) простота формулировки вопросов;

5) простота проверки;

6) невозможность угадать ответ.

Основное преимущество этих заданий – невозможность угадать ответ, а основной недостаток – сложность формулировки правильного ответа. Тем не менее, для задач на вычисление, задач с формулами в качестве ответа эта форма представляется оптимальной.

После дополнения задания особым образом получается истинное или ложное высказывание, например:

Положительный заряд ядра определяется числом____

Прямоугольник, у которого все стороны равны называется ___________.

Приведем пример вопроса с нарушенным принципом однозначности ответа:

Площадь треугольника вычисляется по формуле _________.

При выполнении данного задания могут быть получены несколько правильных ответов, что при технологии тестирования недопустимо.

К тем принципам, которые уже известны, следует добавить несколько общих логических принципов, характерных не только для заданий открытой формы, но и других.

1. Принцип логической определенности содержания задания. Смысл его можно определить так: задание является логически определенным, если оно способно продуцировать у знающих испытуемых правильный ответ и если содержание и форма задания помогают организовать мыслительный процесс нахождения такого ответа.

Нарушением принципа логической определенности являются примеры:

Первая социал-демократическая партия была создана в _____. (Где или когда?)

В схеме абсолютных приоритетов также выполняется маскирование: на время обслуживания каждого запроса вводится … обслуживания запросов с равным или более низким приоритетом. (контрольное тестирование АСТ специальности 230104 по дисциплине "Операционные системы")

Правильный ответ – маскирование вряд ли при такой постановке вопроса сможет указать хоть один из испытуемых.

2. Вариативность (фасетность)содержания задания. ФАСЕТ – это форма записи нескольких вариантов одного и того же задания. Применение фасета позволяет в процессе контроля исключить списывание и другие искажения, известные из опыта проведения экзаменов, зачетов и др. традиционных форм проверки знаний. Идея фасета ассоциируется с известной практикой создания нескольких вариантов одинаково трудных заданий для проведения контрольных работ. Принцип фасетности является главным при композиции профессионально разрабатываемых тестовых заданий; он позволяет создавать сразу несколько вариантов одного и того же задания, а, следовательно, вариантов теста.

Ток силой {i}, проходя по проводнику {r} за время {t} секунд выделяет ____ джоулей тепла.

В этом задании имеется 3 символьных фасета, позволяющих в машинном варианте подставить любые комбинации допустимых значений силы тока, сопротивления и времени для проверки умения применять закон Джоуля-Ленца. Такие же фасеты можно сделать для проверки знаний всех физических законов и умений их применять для выполнения лабораторных и практических работ.

3. Принцип параллельности включает в себя 3 понятия, связанных между собой отношением кумулятивности:

– параллельность заданий (или вариантов заданий) по содержанию;

– параллельность по содержанию и форме;

– параллельность по содержанию, форме и по трудности заданий.

Параллельность заданий по содержанию достигается использованием принципа фасетности и применением 4 принципа – обратимости.

4. Принцип обратимости . На примере:

Операция нахождения производной функции называется_____

Обратное:

Дифференцированием называется операция нахождения_____

Задания, построенные по принципу обратимости, можно использовать в текущем и итоговом контроле знаний.

При применении обратимых заданий возникает вопрос выбора лучшего варианта для итогового тестирования. При осуществлении такого выбора полезно обсудить педагогические и психологические соображения и аргументы, опробовать все варианты на параллельных выборках и только после этого выбирается то задание, которое в большей степени обладает свойствами тестового задания для данного теста.

Если обратимые утверждения находятся в одном тесте, может возникнуть тавтология и испытуемые могут найти ответ на один вопрос из формулировки другого.

Если испытуемые хотя бы немного ориентируются в учебном материале, то в случае тавтологии ответ для одного задания они найдут из содержания другого.

Некоторые педагоги считают задания открытой формы лучше заданий с выбором одного ответа из нескольких, но это мнение спорно . Например:

Правильные варианты ответа: греческий;

Не каждый испытуемый, глядя на этот вариант задания, сообразит, что от него требуется. Для этого вначале нужно уяснить смысл задания – о каком свойстве идет речь, на какой вопрос требуется ответить. (Ведь это предложение и без вставленного ответа уже имеет смысл). В такой ситуации лучше задание с выбором:

Фалес – это первый... философ.

– греческий

– римский

– арабский

– египетский

Из двух заданий открытой и закрытой формы, выясняющих одно и то же, лучшей, в данном случае, является закрытая форма.

6. Краткость . Точность и легкость понимания растут по мере уменьшения словесного состава фразы и увеличения ее бессловесной подпочвы. Чем меньше слов, тем меньше недоразумений. Зачастую из вопроса опускаются слова "называется", "является" и т. п., что не затрудняет понимания.

7. Принцип неотрицательности . В основе задания не рекомендуется использование отрицательных частиц, а также определение понятия через перечисление элементов, не входящих в него. Характерные примеры приводит В.С. Аванесов:

Банки не ставятся на _______. (позвоночник)

Однако банки не ставятся не только на позвоночник, но и на многие другие части тела.

Точкой называется то, что не имеет _____.

По определению Евклида "Точкой называется то, что не имеет частей".

В этом задании нарушено логическое правило: определение не должно быть отрицательным. Испытуемые будут правы, если напишут, что точка не имеет длины, ширины, высоты, веса, запаха, вкуса и много чего еще.

5. Принцип логической соразмерности объема определяющего понятия объему определяемого.

Характерная особенность содержания заданий открытой формы в том, что они иногда порождают несколько правильных, но логически несоразмерных ответов, что нежелательно с точки зрения однозначной оценки и технологичности контроля.

Первым космонавтом был _____

Автор ожидал ответ "Гагарин", но наряду с этим от некоторых испытуемых получил ответы "русский человек", "мужчина", "советский гражданин" и другие, которые с разных сторон характеризуют Гагарина. Полученные ответы нельзя оценить как неправильные, но их трудно приравнять к ожидавшемуся правильному ответу. Такие ситуации недопустимы, так как при компьютерном тестировании ответ сравнивается с эталоном посимвольно.

Выход из подобной ситуации подсказывает логика. Для сужения объема искомого понятия задание лучше сформулировать: "ФАМИЛИЯ ПЕРВОГО КОСМОНАВТА". Таким образом, в задание вносится необходимое уточнение, что позволяет уменьшить объем понятия за счет уточнения содержания, после чего испытуемый дает только один правильный ответ

С точки зрения композиции задания открытого типа должны содержать обязательные элементы:

1. Инструкция для испытуемых . Это может быть фраза "дополнить", а также более конкретные инструкции: "указать в именительном падеже", "указать с точностью до сотых", "указать через пробел (запятую)" в том случае, если предполагается ввести два слова, "указать дату в формате ДДММГГГГ" (или только год).

Положительный электрод называется ____

3. Ответы к заданиям . Во всяком тестовом задании заранее определяется, что однозначно считается правильным ответом на заданный вопрос.

Например:

Увеличение числа слоев ядра ОС ведет к некоторому замедлению его работы за счет межслойного взаимодействия, а уменьшение – … расширяемость и логичность системы.

Ответ автора (контрольное тестирование АСТ специальности 230104 по дисциплине "Операционные системы") – ухудшает , а вполне возможны и множество других вариантов, например, снижает, усложняет и т.д. В данном случае необходимо либо предусмотреть в качестве эталонных ответов все синонимы (что при богатстве русского языка невозможно), либо не давать задания открытого типа на слова общего характера.

В большинстве случаев ответы к заданиям открытой формы испытуемые пишут в конце задания. Допустимы случаи, когда ответы ставят не в самом конце тестового утверждения. Чем ближе пропуск к началу предложения, тем хуже понимается смысл задания. Поэтому пропуск для ответа лучше делать как можно ближе к концу предложения.

Задания открытой формы применяются там, где нужно исключить вероятность получения правильного ответа посредством угадывания и тем самым повысить качество педагогического измерения. Задания открытой формы, поэтому, являются более трудными как для испытуемых, так и для создателей теста. От создателей они требуют тщательной проработки, учета множества правил, а от испытуемых – конкретных знаний.

5.2. Задания закрытого типа

К заданиям закрытого типа относятся задания нескольких видов: альтернативных ответов (АО), множественного выбора. Тестовые задания закрытого типа предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор, от английского глагола to distract – отвлекать.

Если к заданиям задаются готовые ответы на выбор (обычно один правильный, а остальные неправильные), то это задания с выбором одного правильного ответа. Следование закону исключения третьего налагает логический запрет на применение таких ответов, как "правильного ответа нет", "все ответы правильные" или "все ответы неправильные", которые в практике еще встречаются.

Задания с выбором одного или нескольких ответов являются самой критикуемой формой. Сторонники привычных подходов утверждают, что по-настоящему проверить знания можно только в процессе непосредственного общения с учеником, задавая ему уточняющие вопросы, что помогает лучше прояснить подлинную глубину, прочность и обоснованность знаний. С подобными утверждениями надо согласиться. Но есть еще вопросы экономии живого труда преподавателей и испытуемых, экономии временных затрат и вообще проблемы повышения эффективности образовательного процесса.

Нередко считается, что найти правильный ответ гораздо легче, чем формулировать его самому. Однако в хорошо сделанных заданиях незнающему ученику неправильные ответы часто кажутся более правдоподобными, чем правильные. Талант разработчика теста раскрывается в процессе создания именно неправильных, но очень правдоподобных ответов. Другое возражение – что тестовое задание с выбором одного или нескольких правильных ответов годится только для оценки знаний так называемого низшего уровня.

В содержании всех учебных дисциплин имеется много таких элементов знаний, которые называются дихотомическими. Это знания, которые позволяют разделить мир надвое: определить правильность или неправильность фактов, методов, процессов; знания о том, что хорошо, что плохо, что можно, а чего нельзя делать ни при каких обстоятельствах. Для проверки именно таких знаний применяются задания в тестовой форме с двумя ответами.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – "да-нет", "правильно-неправильно" и пр.

Поощрения в трудовую книжку

– записываются

– не записываются

Задания альтернативных ответов являются самыми простыми, но не самыми распространенными при составлении тестов. Это связано, в основном, со специфичностью того материала, которому в большей степени соответствует эта форма заданий. Задания альтернативных ответов применяются для оценки одного элемента знаний. Использование заданий альтернативных ответов в виде отдельного вопроса, одиночно, приводит, как правило, к тривиальному тестированию и нежелательно для использования. О том же говорят и рекомендации СIТО: "Вопросы альтернативных ответов предлагают только одну альтернативу, которую тестируемый либо принимает как правильную, либо отвергает". Таким образом, у испытуемых есть возможность на 50 % отгадать правильный ответ на один вопрос. Поэтому эти задания целесообразно применять сериями к одному элементу знаний, надо иметь в виду, что шанс отгадать 10 таких вопросов равен 0,00098.

В индивидуальном порядке вопросы альтернативных ответов не очень эффективны, а вот длинные серии таких вопросов имеют определенные преимущества. Ответы на них обычно не занимают много времени, и есть возможность охватить весь материал по предмету, задавая как можно больше вопросов по нему.

Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

Обычный вопрос состоит из введения, самого вопроса и ряда альтернатив, каждая из которых представляет собой ответ на вопрос. Обычно трудно найти более 4 интересных и оригинальных альтернатив и к тому же на их чтение уйдет больше времени экзаменуемого. Вероятно, минимальное количество возможных альтернатив – это 3, максимальное количество альтернатив будет зависеть от объема теста. В том случае, если это цифровые выражения, то 5-6 вариантов не могут оказаться слишком длинными для чтения. Оптимальной можно считать 5 альтернативных ответов, при этом необходимо учитывать, что не всегда это возможно.

В заданиях множественного выбора количество правильных ответов объективными причинами не ограничивается. Необходимость испытуемому самому определять количество правильных ответов значительно усложняет само задание.

Поиск правдоподобных однородных ответов составляет основную трудность для разработчиков заданий множественного выбора.

При составлении заданий множественного выбора следует руководствоваться принципом однородности:

3. Принцип однородности . Подбираются такие ответы, которые относятся к одному роду, виду, отображают основные стороны, грани явления. Этот принцип применяется в заданиях с различным числом ответов.

При создании заданий по принципу однородности существенным фактором усиления их эффективности является использование сходных по написанию или звучанию букв, цифр, знаков, слов или словосочетаний. Это позволяет делать ответы правдоподобными, логически безупречными. Очень характерный пример приводит В.С.Аванесов:

Наносы на склонах, вызванные дождевыми и талыми водами, называются

– делювий

– аллювий

– иллювий

– элювий

Принцип однородности часто дает возможность создать полную систему ответов, в которой нечего добавить:

Все арифметические операции над двоичными числами в эвм сводятся к

– сложению

– вычитанию

– умножению

– делению

При формировании заданий с выбором особое внимание уделяется подбору неправильных ответов. Например:

Абсолютную влажность определяют

– гигрометром

– психрометром

– барометром

– термометром

Намек на правильный ответ для понятия "влажность" дает перевод на русский язык латинского слова "гигро", в то время как правильный ответ второй. В общем, чем лучше дистракторы, тем лучше задания. Талант разработчика проявляется, в первую очередь, в подборе дистракторов. Каждый ответ должен привлекать к себе испытуемых; при этом правильный привлекает к себе знающих, неправильный – незнающих. Иначе говоря, не только правильные, но и неправильные ответы выбираются в зависимости от подготовки.

Очевидно, что правильный ответ должен быть совершенным. С другой стороны, он не должен сильно отличаться от других отвлекающих вариантов по длине или стилю. Часто допускается ошибка при написании вопросов – это то, что правильный ответ обычно очень тщательно сформулирован и длиннее, чем другие варианты, так чтобы было легко вычленить его даже тому, кто не владеет предметом.

5. Принцип импликации .

Тестовый контроль знаний иногда критикуют за некий примитивизм, не позволяющий якобы проверить знание причинно-следственных отношений. Ошибочность подобной критики видна из следующих примеров, где используется принцип импликации, который относится к формулировке содержания. Содержание при этом имеет логическую форму условного суждения вида "если….., то"

Если при данном объеме производства рыночная цена товара меньше средних переменных затрат, то фирме следует

– уменьшить выпуск

– увеличить выпуск

– ничего не менять

– прекратить производство

6. Принцип формулирования заданий с ответами, правильными в различной мере.

При формулировке задания обязательно указывать, что требуется отметить "наиболее правильный ответ". Содержание задания обычно нацеливается на проверку сопоставительных знаний, а ответы формулируются так, чтобы был реальный выбор между ответами, правильными в разной степени.

Момент инерции можно определить относительно

– оси

– оси и плоскости

– оси, плоскости и точки

Здесь все ответы правильные, но наиболее правильный – третий.

В результате общей устремленности к уменьшению числа слов в тестовых заданиях нередко опускаются такие слова, как "является", "называется", в результате чего задания становятся менее однообразными по подбору слов, но все-таки понимаемыми.

Примерное число слов в заданиях – 10-15, в общем, чем меньше, тем лучше. Утяжеление заданий требованием что-то найти, решить и затем еще сравнить или объяснить отрицательно сказываются на качестве задания, хотя с педагогической точки зрения легко понять причину такой формулировки.

Краткость заданий в тестовой форме вытекает из преимуществ логической формы высказывания, поэтому задания всегда короче задач и вопросов. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться ясности смысла содержания задания. Исключаются повторы, малопонятные, редко употребляемые, а также неизвестные испытуемым символы, иностранные слова, затрудняющие восприятие смысла. Хорошо, когда задания содержат не более одного придаточного предложения.

Например:

5.2.3. Задания с выбором нескольких правильных ответов

Кроме заданий, где имеется только один правильный ответ, а остальные – неправильные, есть и такие задания, в которых нужно выбрать несколько правильных ответов из числа предложенных. Особенность заданий с выбором нескольких правильных ответов является то, что испытуемому надо не только найти правильные ответы, но и определить полноту своего ответа. Следовательно, эти задания по форме труднее, чем задания с выбором одного правильного ответа.

К философским понятиям относятся

– атом

– бытие

– развитие

– знание

– свобода

– качество

– революция

– количество

Художники эпохи возрождения

– Гойя

– Рафаэль

– Шарден

– Боттичелли

– Сикейрос

– Леонардо да Винчи

– Рублев

В этих заданиях используется только один принцип композиции – это принцип однородности ответов. Все приведенные примеры связаны с идеей проверки знаний о принадлежности к тому или иному роду, виду, классу.

Задания с выбором нескольких правильных ответов очень удобны для проверки знаний, которые можно отнести к типу "что для чего".

Общее число ответов, по мнению некоторых авторов, желательно иметь от 5 до 7. При этом возникает вопрос оптимальной доли числа правильных и неправильных ответов. Добиваться равенства количества правильных и неправильных ответов в каждом задании не следует, потому что испытуемые должны быть готовы к тому, что в любом задании может оказаться любое количество правильных ответов. При компьютерном тестировании следует обратить внимание испытуемых на графическое оформление ответов в заданиях с единственным правильным ответом и с несколькими правильными ответами. В АСТ-системе задание считается выполненным неправильно, если испытуемый переходит к следующему заданию, найдя только один правильный ответ, а не все из эталонных ответов.

5.3. Задания на восстановление соответствия

В заданиях соответствия (восстановления соответствия) необходимо найти соответствие (или приравнять части, элементы, понятия) – между элементами двух списков (множеств).

Эта форма заданий достаточно разнообразна и может быть с успехом использована по всем учебным предметам и предметным областям. Практически в каждом предмете существует широкая возможность их использования. Задачи соответствия требуют подбора подходящего ответа.

Задания на установление соответствия особенно полезны для ассоциирования физических, математических и других формул со сферами их практического применения. В любом учебном предмете встречается учебная информация, в которой изучаемые объекты (понятия, величины и т. п.) разбиваются на виды, классы, типы и т. д. Для каждого из этих видов существует множество свойств и характеристик, принципов, правил и норм использования, так что есть возможность составления вопросов на установление соответствия этих терминов их характеристикам. Причем, вопросы на установление соответствия в этом случае будут более рациональны, чем вопросы с выбором правильного ответа из перечня.

Обычно задание соответствия состоит из двух столбцов: в первом – вопросы, утверждения, факты, понятия и т. д., во втором идет список утверждений или свойств, объектов, которые надо поставить в соответствие. Число элементов второго столбца примерно в два раза больше числа элементов левого столбца, чтобы последняя пара не подбиралась методом исключения.

Главными преимуществами заданий этого вида являются: возможность быстрой оценки знаний, умений и навыков в конкретной области знаний, и экономичность размещения задач в тесте.

При конструировании заданий на установление соответствия необходимо учитывать требование, вытекающие из особенностей восприятия – число входных данных одного списка не должно превышать 5-6; если их больше, лучше составить еще одну или несколько задач.

Задания на установление соответствия позволяют проверить так называемые ассоциативные знания, существующие в каждой учебной дисциплине. Это знание о взаимосвязи определений и фактов, авторов и их произведений, форм и содержания, сущности и явлений, о соотношении между различными предметами, свойствами, законами, формулами, датами.

Педагогический смысл применения таких заданий заключается в стремлении активизировать собственную учебную деятельность учащихся посредством усиления ассоциаций изучаемых элементов и осмысления результатов контроля и самоконтроля. У испытуемых появляется важное для процесса самостоятельного учения знание о том, чего они не знают.

При составлении заданий на установление соответствия используются уже названные принципы фасетности, краткость и точность формулировок, понятность для всех испытуемых.

Важнейшим требованием к заданиям на установление соответствия является требование однородности элементов групп.

Соответствие формулы и результата ее вычисления:

Еще одним требованием при составлении заданий на соответствие является взаимная однозначность соответствия, т. е. каждому элементу первого множества ставится в соответствие только один элемент второго множества.

5.4. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановление соответствия, когда одним из рядов является время, расстояние или иной континуальный конструкт, который подразумевается в виде ряда. Поскольку эта форма заданий требует особой инструкции, мы выделили ее в отдельный подраздел.

Задания на восстановление последовательности незаслуженно редко используются в тестах. На самом деле это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью и простотой проверки. Оно подходит для любого предмета, там, где присутствует алгоритмическая деятельность или временные события. Для технологий это может быть порядок технологических операций, для гуманитарных дисциплин – восстановление временных последовательностей событий, для точных наук – алгоритмы решения задач и этот список практически бесконечен.

Кроме перечисленных принципов, при составлении заданий на упорядочивание элементов следует отметить обязательность инструкции для испытуемых – в какой именно последовательности располагать элементы – от большего к меньшему, в алфавитном, хронологическом порядке и т. п.

Если в задании подразумевается иерархия, то следует указать с чего начинать отсчет – от младшего или старшего (высшего) элемента. При проведении тестирования испытуемые обязательно требовали пояснений к следующим заданиям (с чего начинать?), хотя порядок не вызывал трудностей.

ПЕРЕЧИСЛИТЕ В ПРАВИЛЬНОМ ПОРЯДКЕ ОРГАНЫ ГОСУДАРСТВЕННОЙ ВЛАСТИ ФРГ

1: Бундестаг

2: Бундесрат

3: Федеральный президент

4: Федеральный канцлер

В данном вопросе нет т.н. "точки отсчета", т.е. с чего начинать перечисление.

Данный тип заданий позволяет проверять культуру алгоритмического мышления (нацеленной на определение наилучшей последовательности действий при решении тех или иных задач), знания, умения, навыки по установлению правильной последовательности различных по содержанию "объектов": 1) исторических событий; 2) технологических действий, операций, расчетов (в том числе при решении типовых задач); 3) процессов; 4) терминов в научных определениях; 5) событий сюжетов различного рода художественных произведений и т.п. Название задания фиксирует то, что должен продемонстрировать студент, ключевое слово названия лучше всего писать в именительном падеже. Содержание задания включает в себя название и ранжируемые "объекты". Место для ответов – это прямоугольники, нарисованные слева, против названия каждого элемента. В них нужно проставлять соответствующие цифры (ранги). В самом задании элементы ставятся в случайном порядке, чтобы в их расположении не было никакого намека на правильный порядок. Для предотвращения угадывания окончания всех слов лучше писать в именительном падеже. Оценка за выполнение каждого задания может варьироваться в зависимости от его важности и трудности. Чаще всего, однако, используется дихотомическая оценка 1/0, при которой один балл дается за правильную расстановку всех рангов в задании, ноль – при ошибке в ответе. Возможно использовать и такое правило: безошибочное решение оценивается, например, 3 баллами; ошибка конце задания – 2 баллами; ошибка в середине – 1 баллом; ошибка в начале – 0 баллов.

Установить правильную последовательность:

СОБЫТИЯ ФЕВРАЛЯ-ОКТЯБРЯ 1917 г.

VI cъезд РСДРП (б)

отречение царя Николая II

приезд Ленина

создание Петроградского совета

взятие Зимнего дворца

Корниловский мятеж

ликвидация двоевластия

II съезд Советов

В пользу того, что задания в тесте должны быть максимально разнообразными, можно привести три существенных довода.

1. Задания разного типа делают тестирование более разнообразным, с точки зрения испытуемых. Более разнообразная деятельность позволяет отодвинуть порог наступления утомления и, как следствие, позволяет больше времени выделить на тестирование, а, имея больший запас времени, мы имеем возможность поместить в тест большее количество заданий и, как следствие, получить более надежный инструмент.

2. Имея тест, состоящий из заданий одного вида, мы всегда имеем реальную опасность получить в качестве составляющей итогового балла умение обучаемых работать с этой формой заданий. Те, кто быстрее приспособятся к ней, те, для кого эта форма окажется наиболее удобной, получат преимущества. Этого можно избежать, используя задания различного вида.

3. Для разных элементов содержания образования подходят разные по форме задания. Для сложных определений, проверки понимания фактического материала – задания альтернативных ответов, для знаний временных или пространственных явлений – задания на восстановление последовательности и т. д. Поэтому, пытаясь свести все многообразие учебного материала к одной форме, мы заведомо делаем тест, в котором содержание не соответствует форме. И, как следствие, он будет менее качественным. Исходя из этих соображений, в тесты следует включать задания разного типа и вида.

6.1. Формулировка заданий в форме вопроса.

Каждый элемент из группы заключений располагается в отдельной строке (параграфе) , перед правильным заключением проставляется знак +: (плюс и двоеточие), а перед дистрактором (правдоподобным ответом) – знак –: (минус и двоеточие).

Перед элементами из группы заключений не проставляется нумерация, так как при предъявлении заданий, эти элементы перемешиваются.

S : { формулировка задания}

-: { неправильный ответ}

-: { неправильный ответ}

+: { правильный ответ}

-: { неправильный ответ}

Пример №1 (без OLE -объектов)

S : К направлению живописи импрессионизм относятся картины:

-: Рембрандта

-: Веласкеса

-: Левитана

Пример №2 (с OLE I:

S : { формулировка задания}

L1: {элемент первой группы}

L2: {элемент первой группы}

L3: {элемент первой группы}

R1: {элемент второй группы}

R2: {элемент второй группы}

R3: {элемент второй группы}

Пример №1 ( без OLE- объектов )

S : Соответствие между картиной и художником

L1: Иванов

L2: Врубель

L3: Малевич

L4: Тропинин

R1: Явление Христа народу

R3: Черный квадрат

R4: Кружевница

R5: Портрет Льва Толстого

Элементы следуют правильными парами

Перед каждым из первой группы элементов проставляется символ L : (двоеточие) – L1:

Перед каждым из второй группы элементов проставляется символ R , порядковый номер пары и знак : (двоеточие) – R 1:

Если пара неполная, то служебные символы проставляются все равно.

S : { формулировка задания}

1: {первый элемент}

2: {второй элемент}

3: {третий элемент}

4: {четвертый элемент}

5: {пятый элемент}

6: {шестой элемент}

Пример №1

S : Хронологическая последовательность смены знаков зодиака в астрологии:

3: Близнецы

Особенность работы программы с
дополнительными символами MSWord

Программа AST-Maker не всегда корректно обрабатывает дополнительные символы MSWord, вставляемые с использованием пункта меню «Вставка→Символ». Для корректного отображения заданий, содержащих дополнительные символы MSWord рекомендуем Вам использовать символ «#» который устанавливается перед служебным символом « : ».

I : {{ 3}} КТ=; МТ=;

S : Согласно гипотезе ### излучение света происходит не непрерывно, а дискретно.

(в данном случае предусмотрены варианты написания в разных падежах – Планк, Планка)

I : {{ 1}} КТ=; МТ=;

Частица с нулевой массой покоя, часть света - ###.

(предусмотрено возможное ошибочное написание, например – «фатон»)

Пример 4. Задания открытой формы с OLE-объектом

I : {{ 29 }} Динамика-18 КТ=; МТ=;

S :

+: 7/10

Задания на установление соответствия

I : {{ 27 }} динамика-16с КТ=; МТ=;

S : На грузовом автомобиле перевозят контейнер по горизонтальной дороге. Соответствие между движением автомобиля и состоянием силы трения покоя, действующей на контейнер:

L1: набирает скорость, двигаясь с постоянным ускорением

R1: постоянна и направлена по направлению скорости

L2: набирает скорость, двигаясь с возрастающим ускорением

R2: возрастает и направлена по направлению скорости

L3: набирает скорость, двигаясь с убывающим ускорением

R3: убывает и направлена по направлению скорости

R4: равна нулю

R5: постоянна и направлена против направления скорости

I : {{ 31 }} ТЗ № 25[копия] КТ=; МТ=;

S: Мальчик бросил мяч массой 100 г вертикально вверх и поймал его в точке бросания. Мяч достиг высоты 5 м. Работа силы тяжести равна...

L1: на всем пути

L2: при движении мяча вверх

L3: при движении мяча вниз

Задания на установление правильной последовательности

I : {{ 195 }} ТЗ - 1) КТ=; МТ=;

S: Правильная хронологическая последовательность событий:

1: создание психологической лаборатории Крепелином во Франции

2: открытие экспериментальной психологической лаборатории Бехтеревым в Казани

3: открытие психологической лаборатории Корсаковым в Москве

4: разработка Бернштейном и Россолимо методик экспериментально - психологического исследования больных с психическими расстройствами

5: издание первого учебника по медицинской психологии Кречмером

6: разработка Мясищевым экспериментальных психологических методов изучения нарушений эмоций

I : {{ 196 }} ТЗ - 39) КТ=; МТ=;

S: Нарушения памяти в порядке возрастания их степени выраженности:

1: Гипомнезия

2: Амнезия

3: Корсаковский синдром

4: Прогрессирующая амнезия

1. Аванесов, В. С. Композиция тестовых заданий [Текст] : учеб. кн. для преподавателей вузов, учителей школ, студ. и аспирантов пед. вузов / В. С. Аванесов. – 2-е изд. – М. : Адепт, 1998. – 217 с.

2. Адаптивное тестирование: учеб.-метод. пособие / Н. М. Опарина [и др]. – Хабаровск: Изд-во ДВГУПС, 2007. – 95. : ил.

3. Адаптивное компьютерное тестирование: методическое пособие / Под ред. В.И. Васильева. – М.: МГУП, 2006. – 34 с.

Приложение 1 . Оформление структуры материалов:

Для того чтобы документ Word перерабатывался программой SWAP, необходимо проставить служебные символы:

По наиболее часто встречающейся в отечественной и зарубежной литературе классификации предтестовых заданий выделяют :

Задания с выбором, в которых студенты выбирают правильный ответ из данного набора ответов;

Задания с конструируемым ответом, требующие от студента самостоятельного получения ответов;

Задания на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств;

Задания на установление правильной последовательности, в которых от студента требуется указать порядок элементов, действий или процессов, перечисленных в условии.

Предложенные четыре формы тестовых заданий являются основными и наиболее распространенными, но абсолютизировать их нет никаких оснований. Часто специфика содержания контролируемого предмета требует использования новых форм, более адекватных целям разработки тестов. Обычно такие инновации строятся на основе сочетания отдельных элементов перечисленных основных форм.

Вне зависимости от формы задания в тесте должны подчиняться общим требованиям:

Каждое задание имеет свой порядковый номер, который может изменяться после статистической оценки трудности задания и выбора стратегии предъявления заданий теста;

Каждое задание имеет эталон правильного ответа (эталон оценивания для заданий со свободно конструируемым ответом);

Все элементы в задании располагаются на четко определенных местах, фиксированных в рамках выбранной формы;

Для заданий разрабатывается стандартная инструкция по выполнению, которая не меняется в рамках каждой формы и предваряет формулировку заданий в тесте;

Для каждого задания разрабатывается правило выставления дихотомической или политомической оценки, общее для всех заданий одной формы и сопровождающееся инструкцией по проверке со стандартизованными процедурами подсчета сырых (первичных) баллов по тесту.

Процесс тестовых измерений предельно стандартизируется, если:

Ни одному студенту не дается никаких преимуществ перед другими;

Заранее разработанная система подсчета баллов применяется ко всем ответам студентов без исключения;

В тест включены задания одной формы либо разных форм с регламентированными весовыми коэффициентами, значения которых получены статистическим путем;

Тестирование различных групп испытуемых проводится в одинаковое время в сходных условиях;

Группа тестируемых выровнена по мотивации;

Все испытуемые выполняют одни и те же задания.

Последнее условие не исключает возможности списывания, подсказки и других нарушений, поэтому обычно стараются создать несколько параллельных по содержанию и трудности вариантов одного теста. В целом выбор формы заданий и число вариантов теста зависят от содержания контролируемого курса, целей контроля, требуемого уровня надежности теста. В частности, при аттестации стараются включить больше заданий с выбором ответа, поскольку они в силу высокой технологичности и благодаря автоматизированным процедурам проверки позволяют увеличить охваченный в тесте объем содержания, длину теста, надежность и содержательную валидность результатов педагогических измерений.

В заданиях с выбором (или закрытые задания – название, используемое в некоторой отечественной литературе методического характера) можно выделить основную часть, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем. Среди ответов правильным чаще всего бывает только один, хотя не исключаются и другие варианты с выбором нескольких правильных, в том числе и в разной степени, ответов.

Неправильные, но правдоподобные ответы называются дистракторами. Если в задании два ответа, один из которых дистрактор, то вероятность случайного выбора правильного ответа путем угадывания равна 50%. Число дистракторов выбирают таким, чтобы задание не стало слишком громоздким и трудно читаемым, но вместе с тем стараются не допустить слишком большой вероятности угадывания правильного ответа. Поэтому чаще всего в заданиях бывает 4 или 5 дистракторов, хотя в отдельных случаях, когда есть такая необходимость, их число может достигать 6–7.

Задания с двумя ответами обычно используют для экспресс-диагностики, например в автоматизированных контрольно-обучающих программах для входа в обучающий модуль, при адаптивном тестировании или для самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в собственных знаниях. Использование заданий с двумя и тремя ответами в итоговом контроле приводит к росту ошибки измерения из-за угадывания, поэтому их никогда не включают в аттестационные тесты, куда для большей надежности помещают все задания с одинаковым числом ответов.

Если дистракторы сформулированы некорректно, без малейшей привлекательности даже для самых слабых испытуемых группы, то они перестают выполнять свою функцию, и на деле получается задание не с запланированным, а с меньшим числом ответов. В самом плохом случае, когда все дистракторы в задании не работают, большинство студентов выполнит задание верно, выбрав единственный правдоподобный правильный ответ. В идеале каждый дистрактор должен в равной мере привлекать всех испытуемых, выбирающих неправильный ответ. Мера привлекательности дистракторов оценивается после первой апробации теста на репрезентативной выборке испытуемых с помощью подсчета долей студентов, выбравших каждый из дистракторов в качестве правильного ответа. Конечно, точное равенство долей является определенной идеализацией, практически недостижимой при эмпирической проверке, но тем не менее, создавая задания, к этому равенству нужно стремиться.

Углубленный анализ частоты выбора каждого дистрактора студентами с различным уровнем подготовленности позволяет сделать вывод о валидности неправильных ответов. Если дистрактор чаще привлекает слабых студентов, выполнивших верно незначительное число заданий в тесте, то он считается валидным. В противном случае, когда дистрактор кажется привлекательным в основном сильным студентам, его валидность невысока, и задание подлежит переработке. В целом можно сказать, что тестовое задание считается «хорошо работающим», если знающие студенты выполняют его правильно, а незнающие выбирают любой из дистракторов с равной вероятностью.

Если тестирование проводится с помощью бланков, то задания с выбором одного правильного ответа сопровождаются инструкцией: «ОБВЕДИТЕ НОМЕР (БУКВУ) ПРАВИЛЬНОГО ОТВЕТА».

Задания с несколькими правильными ответами обычно используют в текущем контроле для проверки классификационных и фактуальных знаний, хотя встречаются случаи, когда специфика содержания дисциплины вынуждает включать их в итоговые тесты. Они сопровождаются специальной инструкцией, подчеркивающей необходимость выбора всех правильных ответов и имеющей вид: «ОБВЕДИТЕ НОМЕРА ВСЕХ ПРАВИЛЬНЫХ ОТВЕТОВ».

Когда дистракторов слишком мало, а правильных ответов намного больше, то их легко угадать. В качестве выхода из подобной ситуации можно включить в число ответов только один неправильный, а студентов попросить выбрать один ошибочный ответ, если это не противоречит дидактическим целям контроля и допускается содержанием предмета. В этом случае инструкция имеет вид: «ОБВЕДИТЕ НОМЕР НЕПРАВИЛЬНОГО ОТВЕТА».

Иногда по замыслу автора при разработке задания закладываются несколько правильных ответов, среди которых есть более правильный и менее предпочтительный. В этом случае задание сопровождается инструкцией: «ОБВЕДИТЕ НОМЕР НАИБОЛЕЕ ПРАВИЛЬНОГО ОТВЕТА».

При компьютерной выдаче заданий инструкция может иметь вид: «ДЛЯ ОТВЕТА НАЖМИТЕ КЛАВИШУ С НОМЕРОМ (БУКВОЙ) ПРАВИЛЬНОГО ОТВЕТА».

Обычно если все задания сформулированы в одной форме, то инструкция приводится в начале теста. В противном случае, когда в тест включены задания разных форм, инструкция меняется при каждом изменении формы. Легко представить, насколько осложнит выполнение теста чередование инструкций на выбор правильного и неправильного ответов. Невнимательные студенты, не умеющие концентрировать внимание на изменяющейся инструкции, неизбежно запутаются и выполнят часть заданий неправильно даже в том случае, когда они наверняка знают верный ответ. Поэтому в тесте рекомендуется менять инструкцию как можно реже – ровно столько раз, сколько требует стратегия предъявления заданий теста.

Задания с выбором имеют ряд преимуществ, связанных с быстротой их выполнения, простотой подсчета итоговых баллов по тесту, возможностью автоматизации процедур проверки ответов студентов и вытекающей отсюда минимизацией субъективного фактора при оценивании результатов выполнения теста. С их помощью можно более полно охватить содержание проверяемой учебной дисциплины и, следовательно, повысить содержательную валидность теста. Несомненным достоинством формы заданий с выбором является ее универсальность, она годится практически для любого предмета.

К числу недостатков заданий с выбором следует отнести эффект угадывания, характерный для слабо подготовленных испытуемых при ответах на наиболее трудные задания теста. Хотя возможность угадывания действительно существует, тестологи с ним научились бороться, используя различные методы. Иногда вводят специальные инструкции, ориентирующие испытуемых на пропуск незнакомого задания вместо ответа путем догадки. В других случаях добавляют специальные весовые коэффициенты, близкие к нулю, в подсчете баллов слабых студентов, полученных по наиболее трудным заданиям теста. Иногда применяют специальную формулу для коррекции индивидуальных баллов с поправкой на догадку. Последний метод и поясняющая его формула приводятся в конце этой главы.

Определенные трудности возникают при использовании заданий с выбором для проверки умений продуктивного уровня, связанных с применением знаний в незнакомой ситуации, творческими аспектами подготовки и случаями, когда требуется преобразование условий поставленной перед студентами задачи. Тогда задания с выбором готовых ответов использовать чаще всего невозможно. В случае массового аттестационного тестирования, когда необходимо привлечь эффективные компьютеризованные технологии для подсчета баллов испытуемых и получить высокую объективность результатов педагогического измерения, достоинства заданий с выбором явно перевешивают недостатки. Поэтому такая форма нередко доминирует при разработке итоговых аттестационных тестов.

Задания с выбором ответа должны удовлетворять ряду требований, выполнение которых позволяет повысить качество теста:

В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;

Основная часть задания формулируется предельно кратко, желательно не более одного предложения из 7–8 слов;

Синтаксическая конструкция задания предельно упрощается без ущерба для корректности содержания и однозначного его понимания учащимися;

В основную часть задания включают большую часть условия задания, а для ответа оставляют не более 2–3 наиболее важных ключевых слов для сформулированной в условии проблемы;

Все ответы к одному заданию должны быть приблизительно одной длины либо правильный ответ может быть короче других, но не во всех заданиях теста;

Из текста задания исключаются все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;

Частота выбора номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова либо номер места для правильного ответа выбирается случайным образом;

Все дистракторы к каждому заданию должны быть равновероятно привлекательными для испытуемых, не знающих правильного ответа.

При разработке заданий необходимо обеспечить их относительную независимость, исключающую цепочную логику выполнения, когда ответ из одного задания служит условием для другого задания теста. Тесты учебных достижений не могут содержать задания-ловушки, присутствующие в психологических тестах.

Проще всего подбирать дистракторы в заданиях с двумя ответами посредством отрицания того, что является верным. Однако не рекомендуется вместо дистракторов использовать слова «да – нет», поскольку в противном случае довольно трудно сформулировать утверждения, на которые можно дать недвусмысленный ответ.

Задание 1

ЕСЛИ ВЫЧИТАЕМОЕ УВЕЛИЧИЛИ НА 12 ЕДИНИЦ, А РАЗНОСТЬ ТАКЖЕ УВЕЛИЧИЛАСЬ НА 15 ЕДИНИЦ, ТО УМЕНЬШАЕМОЕ

А. Увеличилось

Б. Уменьшилось

Задания с тремя ответами, также как и с двумя ответами, обычно используют в экспресс-диагностике. Иногда три ответа появляются вследствие удаления неработающих дистракторов. В целом их можно считать неудачными, поскольку они недостаточно кратки, и вместе с тем в них высока вероятность угадывания правильного ответа.

Задание 2

ВЫСОКИЕ ТЕМПЫ УРБАНИЗАЦИИ В ЛАТИНСКОЙ АМЕРИКЕ СВЯЗАНЫ С

A. Быстрым экономическим ростом

Б. Усилением роли крупных городов

B. Массовой миграцией населения из деревень в города

В большинстве тестов встречаются задания с 4–5 ответами, из которых один верный. При умелой разработке они достаточно краткие, и в них невысока вероятность угадывания правильного ответа (0,25 при четырех ответах и 0,20 при пяти).

Задание 3

ПРЕДПОЛОЖЕНИЕ О ТОМ, ЧТО ДЕНЬГИ ЯВЛЯЮТСЯ СПЕЦИФИЧЕСКИМ ТОВАРОМ, СООТВЕТСТВУЕТ ТЕОРИИ ДЕНЕГ

A. Номиналистической

Б. Металлической

B. Количественной

Г. Трудовой

Задание 4

КАКАЯ СТРУКТУРА ПРЕДСТАВЛЯЕТ СОБОЙ РЕШЕТЧАТУЮ ОРГАНИЗАЦИЮ, ПОСТРОЕННУЮ НА ПРИНЦИПЕ ДВОЙНОГО ПОДЧИНЕНИЯ ИСПОЛНИТЕЛЕЙ?

A. Проектная

Б. Системная

B. Матричная

Г. Функциональная

Д. Географическая

Задание 5

ФУНКЦИЮ МЕРЫ СТОИМОСТИ ВЫПОЛНЯЮТ:

A. Металлические деньги

Б. Идеальные деньги

B. Реальные деньги

Г. Мысленно представляемые деньги

Д. Кредитные деньги

Иногда задание с выбором имеет двойную структуру, предлагая набор высказываний или положений, которые оцениваются путем сопоставления с предлагаемыми ответами. Например, в задании 6 высказывания, характеризующие понятие «Управление», должны сопоставляться с различными вариантами их истинности.

Задание 6

КАКИЕ ВЫСКАЗЫВАНИЯ ДАЮТ ХАРАКТЕРИСТИКУ ПОНЯТИЯ «УПРАВЛЕНИЕ»?

1. Процесс распределения и движения ресурсов в организации с заранее заданной целью, по заранее разработанному плану и с непрерывным контролем результатов деятельности.

2. Совокупность методов, принципов, средств и форм управления организациями с целью повышения эффективности деятельности.

A. Только первое

Б. Только второе

B. Ни первое, ни второе

Несмотря на кажущуюся привлекательность, в содержательном плане задание 6 неудачно сформулировано, поскольку может привести к неоднозначной трактовке ответов студентов. Выбор двух ответов А и Б равносилен выбору ответа Г, хотя ответы к заданию всегда должны обладать свойством относительной независимости и, образно говоря, отрицать друг друга.

Другой пример модификации формы задания с выбором ответов приводится в задании 7, где выбранный ответ предлагается мысленно подставить на место прочерка в основной части.

Задание 7

МЕНЕДЖМЕНТ – ЭТО КООРДИНАЦИЯ _________ РЕСУРСОВ С ЦЕЛЬЮ РЕШЕНИЯ ПОСТАВЛЕННЫХ УПРАВЛЕНЧЕСКИХ ЗАДАЧ.

A. Информационных

Б. Людских

B. Временных

Г. Материальных

Даже в условиях хорошо организованного процесса тестирования один вариант теста невозможно применять из-за списывания, подсказок и других подобных нежелательных эффектов. Поэтому всегда приходится разрабатывать 5–8 параллельных вариантов теста, для которых можно использовать фасетные задания. Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста. Каждый испытуемый получает из фасета только один вариант задания. При этом все испытуемые группы выполняют однотипные задания, но с разными элементами фасета и, соответственно, с разными ответами. Таким образом, решаются одновременно две задачи: устраняется возможность списывания и обеспечивается параллельность вариантов тестов. Например, в задании 8 содержатся два задания теста, получаемые для каждого из городов, приведенных в фигурных скобках.

Задание 8

К ДВОРЦОВЫМ КОМПЛЕКСАМ ОКРЕСТНОСТЕЙ

{Москвы

Санкт–Петербурга}

ОТНОСЯТСЯ:

1) Павловск, Ораниенбаум

2) Архангельское, Царицыно

3) Петергоф, Гатчина

4) Царское Село, Стрельня

В задании 9 автор предлагает выбрать тот элемент, который не имеет отношения к предмету экономической теории, что не вполне оправданно дидактическими целями контроля, но в данном случае допускается содержанием предмета.

Задание 9

ПОЛОЖЕНИЯ, НЕ ИМЕЮЩИЕ ОТНОШЕНИЕ К ПРЕДМЕТУ ЭКОНОМИЧЕСКОЙ ТЕОРИИ

A. Экономическое благо

Б. Неограниченность ресурсов

B. Максимизация удовлетворения потребностей Г. Эффективное использование ресурсов

Д. Правовые отношения

Такие задания, а также задания с несколькими правильными ответами, как в задании 10, обычно стараются не включать в аттестационные тесты, результаты которых используются для принятия административно-управленческих решений в образовании.

Задание 10

УКАЖИТЕ ТРИ ИНТЕГРАЛЬНЫХ ПАРАМЕТРА СРЕДЫ, ВЛИЯЮЩИЕ НА ФУНКЦИЮ ПРИНЯТИЯ РЕШЕНИЯ

A. Неопределенность

Б. Сложность

B. Динамичность

Г. Определенность

Д. Ограниченность

Появление частично правильных ответов студентов, возникающих при выборе не всех запланированных верных ответов в каждом таком задании теста, приводит к снижению объективности и сопоставимости тестовых баллов. Если избежать нескольких правильных ответов невозможно, то для повышения стандартизации оценочных процедур вводят определенное решающее правило. Например, если испытуемый выбирает все правильные ответы, то он получает 1 балл, во всех других случаях – 0 баллов.

При подсчете результатов выполнения заданий с выбором одного правильного ответа обычно предпочитают дихотомическую оценку. За правильное выполнение задания испытуемый получает 1 балл, а за неправильный ответ или пропуск – 0. Суммирование всех единиц позволяет вычислить индивидуальный (первичный или сырой) балл испытуемого, который в случае дихотомической оценки просто равен количеству правильно выполненных заданий в тесте. Если правильный ответ не единственный, то чаще всего используется политомическая оценка, которую устанавливают пропорционально числу правильно выбранных ответов.

Если тест состоит из заданий с выбором, то индивидуальные баллы испытуемых будут существенно искажены эффектом случайного угадывания ответов. Поэтому сырые баллы стараются скорректировать, вводя поправки на догадку. Формула коррекции баллов, полученных в результате выполнения заданий с ответами, из которых только один верный, имеет вид

X" i = X i – [W i / (k – 1)]

где i – номер любого испытуемого группы; X" i - скорректированный балл i -го испытуемого; X i - тестовый балл до коррекции; W i – число невыполненных (неправильно выполненных, пропущенных и недостигнутых) заданий теста, а X + W i = n , где n - число заданий в тесте.

При выполнении заданий с двумя ответами k – 1 = 1, поэтому для каждого испытуемого вычисляется разность между числом правильно выполненных и невыполненных им заданий теста. С увеличением количества дистракторов к заданию число вычитаемых баллов уменьшается, что вполне естественно, так как чем больше дистракторов, тем труднее угадать правильный ответ.

Сама по себе формула коррекции обладает определенными недостатками, снижающими точность тестовых измерений. Это связано с тем, что в основу ее построения положен ряд искусственных предположений, нередко не согласующихся с реальной процедурой выполнения теста. В частности, далеко не в полной мере выполняется предположение о том, что все неправильные ответы являются следствием случайного угадывания. Столь же условно другое предположение об одинаковой вероятности выбора каждого ответа задания теста.

В процессе создания заданий отдельные требования к форме неосознанно нарушаются. Как правило, это бывает связано с тем, что все внимание разработчика поглощено содержанием, а не формой. Нарушение отдельных требований порождает ряд характерных недостатков, возникающих даже у опытных авторов в процессе работы над заданиями теста. К числу наиболее распространенных недостатков предтестовых заданий можно отнести:

Отсутствие логической корректности в формулировках заданий теста, приводящее к незапланированным правильным ответам;

Нарушение правильных пропорций в форме задания, когда ответы намного длиннее основной части задания;

Нарушение требования краткости, вызванное включением лишних слов или представлением в тестовой форме того содержания, которое не годится для проверки с помощью теста;

Выбор ответов по разным основаниям;

Просчеты разработчиков заданий, способствующие угадыванию правильных ответов без выполнения заданий теста.

Например, неудачным можно считать задание 11, в котором приведена короткая основная часть и длинные ответы в силу того, что разработчик явно напрасно переставил их местами. Если само определение кругооборота капитала, данное на втором месте под буквой «Б», поместить в начало задания, то ответы могут состоять только из одного или нескольких слов.

Задание 11

КРУГООБОРОТ КАПИТАЛА – ЭТО

A. Непрерывное и последовательное движение денежного капитала

Б. Последовательное превращение капитала из одной функциональной формы в другую

B. Возвращение авансированной стоимости

Г. Функционирование товарного капитала

Неудачно подобраны ответы в задании 12, если рассматривать их безотносительно к содержательным просчетам автора. Если первые три ответа сравнивают между собой объем выпуска продукции монополиста и конкуренцию, то четвертый нацелен на установление причинной связи между объектами.

Задание 12

ОБЪЕМ ВЫПУСКА ПРОДУКЦИИ МОНОПОЛИСТА ПО СРАВНЕНИЮ С СОВЕРШЕННОЙ КОНКУРЕНЦИЕЙ БУДЕТ

Б. Меньше

B. Такой же

Г. Зависит от конъюнктуры рынка

Отсутствует содержательная и логическая корректность в задании 13, где из восьми приведенных параметров в ответах используются только пять.

Задание 13

КАКИЕ ДВА ПАРАМЕТРА НЕ ИСПОЛЬЗУЮТСЯ ДЛЯ АНАЛИЗА ОТЛИЧИЙ КУЛЬТУР СТРАН ДРУГ ОТ ДРУГА?

1. Взаимоотношение человека и окружающей среды

2. Оценка времени

3. Природа людей

4. Манера общения

5. Оценка степени активности

6. Свобода доступа информации

7. Взаимоотношение людей

8. Отношение к обладанию пространством

A. Четвертый и шестой

Б. Третий и шестой

B. Третий и пятый

Г. Четвертый и седьмой

Задание 14

A. Чутко реагирует на изменение внешней среды и изменяется в соответствии с ними

Б. Воспринимает из внешней среды все новые тенденции и обязательно применяет их в своей деятельности

B. Открыта для любых нововведений, необходимых собственнику

Г. Чутко реагирует на поведение конкурентов и воспринимает наиболее эффективные принципы решения управленческих задач

Задание 15, хотя и выглядит довольно громоздко, выгодно отличается от большинства приведенных выше примеров, поскольку содержит постановку проблемы, а не нацелено, как чаще всего бывает, на проверку фактологического или понятийного материала.

Задание 15

КАК БУДЕТ ВЫГЛЯДЕТЬ ЦЕЛЕВАЯ ФУНКЦИЯ В МАТЕМАТИЧЕСКОЙ МОДЕЛИ ПРОЦЕССА УПРАВЛЕНИЯ ПРИМЕНИТЕЛЬНО К СЛЕДУЮЩЕЙ ЗАДАЧЕ:

Фирма производит два напитка: «Тоник» и «Тархун». Объем производства ограничен количеством вспомогательных добавок и производственной мощностью. Производство 1 л «Тоника» занимает 0,02 часа работы оборудования, производство 1 л «Тархуна» занимает 0,04 часа. Расход вспомогательных добавок 0,01 кг/л у «Тоника» и 0,04 кг/л у «Тархуна». Ежедневный ресурс времени работы оборудования 24 часа. Ресурс вспомогательных добавок 16 кг в сутки. Прибыль от реализации 1 л «Тоника» 0,1 р/л, а у «Тархуна» – 0,3 р/л.

Сколько продукции «Тоник» и «Тархун» нужно производить ежедневно с целью максимизации ежедневной прибыли?

A. 0,01 х 1 + 0,04 х 2 > max

Б. 0,02 х 1 + 0,03 х 2 > max

B. 0,02 х 1 + 0,04 х 2 > max

Г. 0,03 х 1 + 0,01 х 2 > max

В заданиях с конструируемым ответом (встречаются также названия: задания на дополнение, открытые задания) готовые ответы не даются, их должен придумать или получить сам студент. Задания с конструируемым ответом бывают двух видов, один из которых предполагает получение испытуемым строго регламентированных по содержанию и форме представления правильных ответов. Второй – задания со свободно конструируемыми ответами, в которых испытуемые составляют развернутые ответы, произвольные по содержанию и форме представления и включающие полное решение задачи с пояснениями, микросочинения (эссе) и т.д.

Задания с конструируемыми ответами кажутся студентам более трудными, так как в них исключается догадка. Действительно, легче выбрать правильный ответ из предложенных, основываясь иногда не столько на знаниях, сколько на интуиции, чем самому его сформулировать или найти в процессе решения поставленных проблем. Но именно это свойство исключительно привлекательно для педагогов, особенно для тех, кто привык в своей работе опираться на традиционные средства контроля и не доверяет тестам.

В заданиях первого вида обычно ответ бывает достаточно кратким: в виде слова, числа, формулы, символа и т.д. Для разработки заданий с конструируемым регламентированным ответом необходимо мысленно сформулировать вопрос, затем записать четкий и краткий ответ, в котором на месте ключевого слова, символа или числа ставится прочерк. В силу однозначности правильного ответа проверка результатов выполнения заданий с конструируемым регламентированным ответом носит довольно объективный характер, ее осуществляют в компьютерной форме с последующей перепроверкой всех неправильных ответов студентов экспертным путем. Ответы на задания приводятся на месте прочерка или заносятся студентами в специальный бланк.

Например: Впишите правильный ответ.

Задание 1

Определение конечных показателей, которые должны быть достигнуты, и соответствующих средств, необходимых для получения определенных конечных результатов, включает в себя функции ___________________ .

Задание 2

Форма влияния, предполагающая маскировку настоящих намерений и целей – _______________.

При выполнении заданий с конструируемым регламентированным ответом нередко появляются частично правильные и правильные в разной степени ответы. Дописывая ответ на месте прочерка, испытуемый может предложить синонимы пропущенного запланированного разработчиком слова или изменить порядок следования элементов в пропущенной формуле, что значительно затрудняет автоматизированную проверку и оценку результатов тестируемых. По этим причинам в процессе проверки нередко приходится разрабатывать дополнительные соглашения об оценках для частично правильных ответов.

Задания с конструируемыми регламентированными ответами должны удовлетворять ряду требований:

Каждое задание необходимо нацелить только на одно дополняемое слово, символ и т.д., место для которого рекомендуется обозначить прочерком или точками;

Прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;

Все прочерки в заданиях для одного теста рекомендуется делать равной длины;

Место для ответа лучше отводить в конце задания или как можно ближе к концу;

После прочерка, если это возможно, указываются единицы измерения;

Текст задания должен обладать предельно простой синтаксической конструкцией и содержать минимальное количество информации, необходимое для правильного выполнения задания.

Задания второго вида со свободно конструируемым ответом не имеют никаких ограничений по содержанию и форме представления ответов. За отпущенное время тестируемый может писать что угодно и как угодно на специальных бланках для ответов. Несомненно, такие условия выполнения во многом близки к традиционным письменным работам, и потому задания со свободно конструируемым ответом воспринимаются положительно абсолютным большинством педагогов. Они интересны и разнообразны в содержательном плане.

Разработка заданий второго типа неоправданно может показаться легкой. На самом деле трудно не сформулировать задание, а предложить эталон оптимального ответа вместе со стандартизованными правилами оценки результатов его выполнения. Например, формулировка задания по истории с развернутым ответом достаточно кратка.

Задание 3

НАЗОВИТЕ ОСНОВНЫЕ ЗАДАЧИ, КОТОРЫЕ РЕШАЛИСЬ ВО ВНЕШНЕЙ ПОЛИТИКЕ РОССИИ В XVII В. (УКАЖИТЕ НЕ МЕНЕЕ ДВУХ ЗАДАЧ). ПРИВЕДИТЕ ПРИМЕРЫ ВОЙН, ПОХОДОВ И ЭКСПЕДИЦИЙ XVII В., ПРЕДПРИНИМАВШИХСЯ ДЛЯ РЕШЕНИЯ ЭТИХ ЗАДАЧ (НЕ МЕНЕЕ ТРЕХ ПРИМЕРОВ).

Но для того чтобы задание попало в тест, его автору необходимо стандартизовать процедуру проверки, а это объемная работа, вызывающая подчас много нареканий из-за неоднозначности результатов ее выполнения.

В естественных науках предложить эталон выполнения вместе с оценочными критериями гораздо легче. Например, к заданию 4 можно предложить следующие критерии для оценки результатов выполнения

Задание 4

ПРИ КАКИХ ЗНАЧЕНИЯХ X СООТВЕТСТВЕННЫЕ ЗНАЧЕНИЯ ФУНКЦИЙ f (x ) = log 2 x и g (x ) = log 2 (3 – x ) БУДУТ ОТЛИЧАТЬСЯ МЕНЬШЕ, ЧЕМ НА 1?

Проверка заданий с развернутыми ответами проводится экспертами в соответствии со стандартизованными инструкциями, содержащими эталон оптимального ответа с описывающими его характеристиками и признаками качества, как в приведенном примере. К эталону должны прилагаться оценочные категории для выставления политомической оценки, нуждающиеся в апробации и статистическом обосновании качества, поскольку среди них могут быть как не работающие, так и снижающие дифференцирующий эффект теста.

Задания с развернутыми ответами требуют значительных затрат преподавательского труда при проверке, когда экспертам приходится анализировать множество правильных в разной степени ответов и сравнивать их с эталоном, не принимая во внимание полноту, внешнее оформление ответов, орфографические ошибки и все то, что не входит в критерии для выставления политомической оценки. Иногда проверку стараются стандартизовать путем разработки компьютерных экспертных программ .

Вне автоматизированных систем проверка результатов выполнения заданий с развернутыми ответами довольно субъективна, а согласование оценок нескольких экспертов затруднено, поэтому обычно такие задания занимают не более 10–15% от общей длины аттестационного теста.

Задания со свободно конструируемым ответом в основном предназначены для оценки когнитивных умений. Их следует разрабатывать только в тех случаях, когда нельзя использовать более простые формы;

Длина и сложность ответа может варьироваться в широких пределах (вплоть до нескольких страниц текста ответа, обоснования приведенного решения проблемы и т.д.). В инструкции желательно ввести ограничения на максимальную длину ответа для каждого задания;

Формулировка задания должна включать постановку проблемы, эталон выполнения и оценочные критерии. Постановочная часть должна быть настолько четкой, чтобы минимизировать возможные отклонения в правильных ответах студентов от планируемого разработчиком эталона выполнения;

Выбор временных рамок для выполнения каждого задания должен позволять студенту сформулировать достаточно развернутый ответ и успеть его записать.

Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить, если:

Грамотно составлять задание, руководствуясь приведенными выше рекомендациями;

Использовать при проверке только разработанную стандартизованную схему оценивания не более чем с тремя оценочными категориями (0, 1, 2);

Обучить экспертов по проверке заданий пользовать стандартизованными критериями оценивания;

Привлекать не менее двух экспертов для проверки каждого задания и приглашать третьего эксперта в случае расхождений оценок первых двух более чем на один балл;

Использовать принципы анонимности проверяемых работ и независимости экспертных суждений;

Не смотреть на оценку, данную предыдущему заданию, при оценивании последующего.

Задания типа эссе можно оценивать в соответствии со следующим:

Простыми схемами оценивания, когда критерии строятся с ориентацией на содержание ответов студентов;

Усложненными схемами оценивания, учитывающими при экспертизе содержание ответов, характеристики качества представления текста, его полноту и стиль или любые другие факторы, кажущиеся важными разработчику задания;

При любой схеме оценивания задания со свободно конструируемыми ответами нуждаются в политомической оценке, что иногда неоправданно завышает их общий вес в балле по тесту. Для того чтобы избежать такого завышения и для уменьшения влияния субъективного компонента, число критериев оценивания обычно стараются сделать достаточно малым, ограничиваясь политомическими оценками, например, от 0 до 3 или от 0 до 2.

Для заданий с кратким регламентированным ответом, сформулированных в виде незаконченных утверждений и предъявляемых без специальных бланков для ответа, обычно используют инструкцию, состоящую из одного слова: «ДОПОЛНИТЕ». В тех случаях, когда для ответов к заданиям с кратким регламентированным ответом необходимо давать ответы в специальных бланках, а не рядом с заданиями, инструкция может иметь вид: «ОТВЕТЫ К ЗАДАНИЯМ ЗАПИШИТЕ В БЛАНКЕ ОТВЕТОВ СПРАВА ОТ СООТВЕТСТВУЮЩИХ НОМЕРОВ ЗАДАНИЙ. КАЖДУЮ БУКВУ ПИШИТЕ В ОТДЕЛЬНОЙ КЛЕТОЧКЕ В СООТВЕТСТВИИ С ПРИВЕДЕННЫМИ ОБРАЗЦАМИ НА БЛАНКЕ ОТВЕТОВ».

Инструкция для заданий со свободно конструируемым ответом обычно имеет произвольную форму. Главное сказать столько, чтобы в максимальной степени облегчить и стандартизовать работу экспертов при проверке результатов тестирования для снижения влияния субъективных факторов и повышения надежности педагогических измерений. В самом общем виде для предметов гуманитарного цикла инструкция может иметь вид: «ДЛЯ ОТВЕТОВ НА ЗАДАНИЯ ИСПОЛЬЗУЙТЕ ОТДЕЛЬНЫЙ БЛАНК ОТВЕТОВ. ЗАПИШИТЕ СНАЧАЛА НОМЕР ЗАДАНИЯ, А ЗАТЕМ РАЗВЕРНУТЫЙ ОТВЕТ НА НЕГО. ОТВЕТЫ ЗАПИСЫВАЙТЕ РАЗБОРЧИВО».

Задания на соответствие имеют специфический вид, где под инструкцией располагаются элементы двух множеств, соответствие между которыми предлагается установить испытуемому. Слева обычно приводятся элементы задающего множества, содержащие постановку проблемы, справа – элементы, подлежащие выбору.

Соответствие между элементами двух столбцов может быть взаимно однозначным, когда каждому элементу справа соответствует только один элемент слева. Если число элементов в двух столбцах одинаковое, то для последнего элемента задающего множества выбор не произойдет. Встречаются случаи, определяемые спецификой содержания предмета, когда для нескольких элементов левого столбца выбираются одни и те же элементы справа, поэтому их может оказаться меньше, чем слева. И наконец, оптимальным является задание, в котором правое множество содержит больше элементов, каждый из которых выбирается только один раз. Например, удачное задание 1, а не удачное 2, поскольку число элементов для выбора справа равно числу элементов в левом столбце.

Задание 1

К КАЖДОМУ ИЗ ТРЕХ ЭЛЕМЕНТОВ (1, 2, 3) ПОДБИРАЕТСЯ ОДИН СООТВЕТСТВУЮЩИЙ ЭЛЕМЕНТ ИЗ ПРАВОЙ ЧАСТИ С БУКВАМИ (А, Б, В, Г, Д, Е, Ж, З, И, К).

Определите соответствие ролей менеджера трем блокам согласно модели Г. Минцберга

Ответы можно представить в виде таблицы, в таком случае отпадает необходимость в подробной инструкции, подобной той, которая приведена для задания 1.

Задание 2

УСТАНОВИТЕ СООТВЕТСТВИЕ

Лишние элементы правого столбца, не подлежащие выбору при правильных ответах, называются дистракторами. Как и в заданиях с выбором ответов, наибольшие трудности при разработке связаны с подбором правдоподобных избыточных элементов в правом множестве. Мера правдоподобности каждого дистрактора устанавливается эмпирически.

При разработке заданий на соответствие следует руководствоваться следующими правилами:

Задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств с соответствующими названиями;

Элементы задающего столбца располагаются слева, а элементы для выбора – справа;

Желательно, чтобы каждый столбец имел определенное название, обобщающее все элементы столбца;

Необходимо, чтобы правый столбец содержал хотя бы несколько дистракторов. Еще лучше, если число элементов правого множества будет примерно в два раза больше числа элементов левого столбца;

Необходимо, чтобы все дистракторы в одном задании были равновероятно правдоподобны;

Элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста.

В аттестационном тесте задания на соответствие малоэффективны в силу их громоздкости, не позволяющей охватить большой объем содержания.

К заданиям на соответствие прилагается стандартная инструкция, состоящая из двух слов: «УСТАНОВИТЕ СООТВЕТСТВИЕ». Иногда инструкцию делают развернутой, особенно в тех случаях, когда есть отдельный бланк ответов. Например, инструкция может иметь вид: «БУКВЫ, СООТВЕТСТВУЮЩИЕ ЗАДАННЫМ ЭЛЕМЕНТАМ, ЗАПИШИТЕ СНАЧАЛА В ТАБЛИЦУ, ПРИВЕДЕННУЮ В ТЕКСТЕ ЗАДАНИЯ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНК».

Результаты выполнения заданий на соответствие оцениваются либо дихотомической, либо политомической оценкой. При дихотомическом оценивании 1 балл выставляется за все правильно установленные соответствия в задании теста. Если хотя бы одно соответствие неверно, то за частично правильно выполненное задание на соответствие испытуемый получает 0 баллов. Другой способ заключается в выставлении по одному баллу за каждое правильное соответствие, тогда при проверке заданий на соответствие используется политомическая оценка, и общее количество баллов за задание равно числу правильно установленных соответствий.

Тестовые задания четвертой формы предназначены для оценки уровня владения последовательностью действий, процессов и т.п. В таких заданиях в произвольном порядке приводятся элементы, связанные с определенной задачей, а испытуемый должен установить правильный порядок предложенных элементов и указать его заданным способом в специально отведенном для этого месте.

Стандартная инструкция к заданиям четвертой формы имеет вид: «УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ». Иногда инструкцию включают в текст задания.

Задание 1

РАСПОЛОЖИТЕ ИМЕНА РУССКИХ ПОЛКОВОДЦЕВ В ХРОНОЛОГИЧЕСКОЙ ПОСЛЕДОВАТЕЛЬНОСТИ ИХ ДЕЯТЕЛЬНОСТИ. ЗАПИШИТЕ БУКВЫ, КОТОРЫМИ ОБОЗНАЧЕНЫ ИМЕНА, В ПРАВИЛЬНОЙ ПОСЛЕДОВАТЕЛЬНОСТИ В ПРИВЕДЕННУЮ В ТЕКСТЕ ЗАДАНИЯ ТАБЛИЦУ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНК.

A) Дмитрий Пожарский

Б) Алексей Ермолов

B) Михаил Скобелев

Г) Алексей Орлов

Задание 2

УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ МЕХАНИЗМА ВЫДОХА, РАССТАВИВ НОМЕРА В ОТВЕДЕННЫХ МЕСТАХ:

? – спадение легких

? – торможение центра дыхательных мышц в спинном мозге

? – возбуждение центра выдоха в продолговатом мозге

? – расслабление диафрагмы и вспомогательных мышц

? – уменьшение грудной полости

Во многих случаях задания на установление правильной последовательности крайне нетехнологичны либо не применимы в силу специфики содержания предмета. Они громоздки и нередко допускают неоднозначную последовательность ответов, поэтому не рекомендуются к использованию в аттестационных тестах.

В процессе разработки теста у автора всегда возникает вопрос: остановиться ли на какой-нибудь одной форме заданий либо принять решение о совмещении различных форм в одном тесте? А если остановиться на одной, то какой отдать предпочтение? Выбор автора во многом определяется спецификой содержания учебной дисциплины, целями создания и применения теста. Немало здесь зависит от технологии проверки, сбора и обработки эмпирических данных, от технического и материального обеспечения процесса применения теста. Легко организовать компьютеризованный сбор и анализ результатов выполнения теста в том случае, когда все задания с выбором ответов.

Результаты выполнения заданий с конструируемыми ответами требуют ручной обработки. Как правило, для оценки результатов их выполнения приходится привлекать экспертов, а это требует дополнительных материальных затрат и времени на проверку.

Преимущества и недостатки различных форм заданий

1. Задания с двумя ответами

Преимущества : благодаря краткости позволяют охватить большой объем материала, легко разрабатываются (только один дистрактор), быстро с высокой объективностью обрабатываются результаты выполнения.

Недостатки : стимулируют механическое запоминание, поощряют угадывание, требуют увеличения количества заданий и, соответственно, времени тестирования для компенсации эффекта угадывания.

2. Задания с выбором из четырех-пяти ответов

Преимущества : годятся для самых различных учебных предметов, в силу краткости формулировок в тесте можно охватить большой объем содержания, обеспечивают возможность автоматизированной проверки и высокую объективность оценок студентов, позволяют провести развернутый статистический анализ своих характеристик, скорректировать их и значительно повысить надежность педагогических измерений.

Недостатки : требуют значительной работы авторов при выборе дистракторов и коррекции баллов студентов, не годятся для проверки продуктивного уровня деятельности и когнитивных умений.

3. Задания с конструируемыми регламентированными ответами

Преимущества : просты в разработке, исключено угадывание, частично годятся для автоматизированной проверки.

Недостатки : проверяют в основном знание фактологического материала или понятийного аппарата, обычно (в гуманитарных предметах) слишком легкие, иногда приводят к неоднозначным правильным и частично правильным ответам.

4. Задания со свободно конструируемыми ответами

Преимущества : позволяют оценивать сложные учебные достижения, в том числе коммуникативные умения, творческий уровень деятельности, легко формулируются как традиционные задания, исключают угадывание.

Недостатки : требуют длительной дорогостоящей процедуры проверки, значительного времени выполнения, не позволяют охватить значительный объем содержания предмета, снижают надежность педагогических измерений.

5. Задания на соответствие

Преимущества : просты в разработке, идеально подходят для оценивания ассоциативных знаний и проведения текущего контроля, уменьшают эффект угадывания.

Недостатки : чаще всего используются при проверке репродуктивного уровня деятельности и алгоритмических умений, громоздки по форме представления.

Сравнительная характеристика технологических свойств различных тестовых форм представлена в табл. 5.1.

Таблица 5.1 Сравнительные технологические характеристики форм

Выбор формы предтестовых заданий определяется спецификой контролируемого содержания и целями создания теста. Каждая форма заданий имеет свои достоинства и недостатки, свою сферу применения.

Разработка предтестовых заданий проводится сообразно стандартизованным требованиям, содержание которых зависит от специфики тестовой формы. Задания с выбором ответов наиболее удобны при итоговом контроле в силу ряда технологических преимуществ, повышающих эффективность процессов применения итогового теста и оценки результатов студентов. Задания на дополнение предпочтительны при обучающем контроле.

Современные тенденции в разработке итоговых тестов связаны с отходом от моноформности и широким использованием заданий на дополнение, поскольку многообразие проверяемых знаний и умений требует введения различных форм в тесте.

1. Обведите номер правильного ответа.

Тестовые задания с двумя ответами эффективнее использовать в контроле:

1) текущем

2) тематическом

3) итоговом

4) входном

2. Обведите номер правильного ответа.

1) текущего

2) итогового

3) входного

3. Обведите номер правильного ответа.

Вероятность угадывания номера места правильного ответа в задании с пятью дистракторами будет:

4. Найдите два существенных недостатка в задании, переформулируйте задание для устранения недостатков.

Для какого класса животных характерны признаки: хладнокровные, обитающие в воде и на суше, размножаются в воде?

1. Класс рыб

2. Класс пресмыкающихся

3. Класс земноводных

4. Класс млекопитающих

5. Предложите метод улучшения формулировки заданий.

Что из нижеперечисленного было ликвидировано реформами 60-х годов XIX века в России?

1. Самодержавие

2. Крепостничество

3. Сословность

4. Помещичья собственность на землю

5. Национальный гнет