5. Структура теста

Задание получает испытуемый и, выполняя его, формулирует своё решение, ответ.

Эталон находится в распоряжении экзаменатора или заложен в некоторый экзаменатор (компьютер).

Ответ испытуемого сравнивается с эталоном и по принятой для данного теста методике выносится суждение о тестируемом качестве.

Тест (Т) = Задание (З) + Эталон (Э).

124

ВеБра1ко1.дхсС 28.02.2008 16:15 Раде 12Ы5

125

_Лекция № 4. Инструменты диагностики качества знаний учащихся. Тесты_

Процедуру тестирования можно изобразить в виде следующей схемы (см. рис. 11).

( ) Эталон

Задание / \ Ответ -? Ка = п/р; —? Оценка

Рис. 11

Приведённые формула и схема тестирования выглядят тривиально, и это действительно так. Нетривиален, однако, их дидактический смысл, который состоит, во-первых, в стремлении создать у читателя прочное представление о том, что тест без эталона — это не тест, а обычное контрольное задание, подверженное всем случайностям глазомерной оценки. Во-вторых, столь же прочно утвердить в сознании читателя мысль о том, что в тестировании сравнение ответа учащегося с эталоном и подсчёт Ка обязательны.

Суждение о качестве выполнения теста без сравнения с эталоном превращает объективную процедуру контроля в субъективную со всеми присущими последней недостатками. Конечно, сопоставление с эталоном, если тестирование осуществляется вручную, создаёт для экзаменатора дополнительную нагрузку по сравнению с глазомерной оценкой того же ответа учащегося, но зато делает тестирование качества знаний учащегося объективным. Это неудобство успешно снимается при применении различных приспособлений для определения Ка, самым успешным из которых является компьютер.

Задание теста создаётся в полном соответствии с требованиями содержательной и функциональной валидности тестирования при соблюдении требования однозначности и определённости его формулировки. Это значит, что задание теста безусловно выполнимо на основе изученного в классе содержания предмета и по конструкции соответствует определению диагностируемого уровня усвоения. Отсюда следует, что тесты должны различаться по четырём уровням мастерства. Другие параметры качества знаний характеризуют их различные особенности и учитываются при создании тестов, но на конструкцию теста не влияют. Так,

125

-е-

ВеБраІкоІ.дхсІ 28.02.2008 16:15 Раде Іії-б

12 26

В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА

можно говорить о наборах тестов на различных ступенях абстракции или степени осознанности, различных по надёжности или автоматизации, но это не изменит дифференцировку тестов по четырём уровням усвоения.

Для удобства пользования эталоном при его сопоставлении с ответом испытуемого, в эталоне указываются существенные операции теста, т.е. те операции, выполнение которых является полным и правильным решением задания. Только существенные операции теста учитываются при вычислении коэффициента усвоения Ка. Число «п» означает число правильно выполненных существенных операций теста; число «р» означает общее число существенных операций в тесте.

5.1. Надёжность тестирования

Возникает вопрос о выборе числа тестов в батарее тестов данного уровня для надёжного тестирования знаний учащихся. Под надёжностью тестирования понимается стабильность его результата при повторных испытаниях одного и того же испытуемого. Надёжность тестирования обозначим греческой буквой Ц (мю). Надёжность батареи тестов выражается в процентах. Например, если надёжность Ц = 40%, это означает, что в 40% повторных проб будет один и тот же результат, а в 60% случаев другие результаты. Конечно, такое тестирование является ненадёжным и его можно применять только для ориентировочных срезов в текущей учебной работе. Никаких итоговых суждений по такой батарее тестов выносить нельзя. Надёжность батареи тестов зависит от числа существенных операций во всём тестовом наборе данного уровня и определяется по специально построенным графикам — номограммам.

Надёжность (%)

100 75 50

10 20 30 40

80

100

Число

существенных операций

-о-

Рис. 12

126

0

ВеБра1ко1.дхсС 28.02.2008 16:15 Раде

12 27

Лекция № 4. Инструменты диагностики качества знаний учащихся. Тесты

Минимальная надёжность батареи тестов для итоговой характеристики качества знаний испытуемого может быть не ниже ц = 75% и зависит, как и в случае с коэффициентом автоматизации, от характера диагностируемой деятельности: для лётчика ц = 100%; для врача минимум ц = 75%; для учителя ц = 75% и т.д.

Из номограммы видно, что для достижения ц = 75% батарея тестов должна содержать не менее 80 существенных операций. Такое число операций сложно иметь в тестовой батарее для текущего контроля, но несложно — для итоговой оценки.

В практике американского тестирования часто можно встретить «слоноподобные» тестовые батареи объёмом в сотни и сотни существенных операций и требующие для их выполнения целого рабочего дня. Например, квалификационный экзамен на медсестру содержит свыше тысячи операций и продолжается шесть часов. Такой объём батареи не имеет ничего общего со стремлением экзаменаторов к повышенной надёжности суждений. Скорее всего, экзаменаторы вообще не думают о надёжности. Их задача, по-видимому, состоит в том, чтобы провалить испытуемого для повторного получения оплаты (и немалой) за переэкзаменовку. Их нисколько не смущает, что среднее число попыток сдать этот чудовищно перегруженный и беспардонно инвалидный по всем статьям экзамен для кандидатов в медсёстры составляет от 6 до 10 раз, и экзаменаторы превращаются в экзекуторов.

В то же время батарея тестов даже первого уровня с 75-процентной надёжностью выполняется максимум за один час даже флегматиком и прекрасно дифференцирует подготовленного испытуемого от идущего на экзамен «на авось».

Анекдотический случай произошёл однажды с автором на экзамене по педагогике, и я всегда его рассказываю в назидание либеральным экзаменаторам.

Студент, явно не школьного возраста, был не подготовлен к экзамену, который проводился по тестам первого уровня. Получив очередной «неуд», студент искренне удивлялся тому, что никак не может «угадать» правильные ответы, и всякий раз просил повторить тест. Зная надёжность теста, это ему разрешалось. После седьмой попытки студент чистосердечно признался, что к экзамену не готовился и предмет в течение семестра не изучал, что надеялся на русский «авось», и слёзно молил поставить ему «тройку», чтобы не остаться без стипендии — единственного ис-

127

-е-

Bespalko1.qxd 28.02.2008 16:15 Page 12^8

В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА

точника существования его семьи. При этом студент не скупился на «твёрдые» обещания употребить своё каникулярное время на изучение предмета и после каникул повторно проэкзаменоваться. Автор никогда не играл роль добренького, рассеянного, либерального профессора, а, напротив, чётко формулировал цели обучения и столь же чётко экзаменовал их достижение студентами. В этот раз автор поддался гипнозу «искренности» студента и, к удивлению секретаря кафедры, произнёс: «Ну зачем же тройка по педагогике будущему учителю? Я вам авансом поставлю четвёрку, а осенью вы мне докажете, что я в вас не ошибся». Нечего и говорить, что осенью студент и носа не показал на кафедре, но «большой нос» показал своему профессору. В «Литературной газете», где в это время обсуждалась статья его профессора о пользе тестов, он описал свой опыт тестового экзамена следующим образом: «Семь раз тесты показывали, что я не знаю предмета, но оказалось, что тесты просто не понимают творческих ответов — стоило профессору поговорить со мной, как в моей зачётке появилась четвёрка». За последующие тридцать лет преподавания автор больше ни разу не был загипнотизирован студенческими уговорами.