7. Тест-лестница

144

-е-

ВеБра1ко1.дхсС 28.02.2008 16:15 Раде 1Н5

Лекция № 4. Инструменты диагностики качества знаний учащихся. Тесты

тически представить структуру теста — лестницы в следующем виде (где Т — тестовая батарея):

Та1р1Т0,5 + Та2Р1Т0,5 + Тазр1Т0,5 + Та1р2Т0,5 и т.д.

Здесь параметр уровень усвоения (а) символизирует общую высоту лестницы, параметр ступень абстракции (р) — высоту лестничной ступеньки, а параметр автоматизации (т) — скорость восхождения по лестнице.

Общая высота, на которую учащийся может подняться по лестнице тестов и скорость перемещения по лестнице характеризуют качество усвоения учащимся предмета и могут служить надёжными исходными ориентирами для выбора целей последующего обучения и распределения учащихся по группам с одинаковыми познавательными возможностями. Тест-лестница удобна также для итогового контроля усвоения, выявляя полную картину успехов учащихся. Ниже приводится пример теста-лестницы по некоторым разделам нетрадиционной педагогики:

Тест-лестница (нетрадиционная педагогика)

Эта лестница тестов построена не только на базе изложенного выше материала. Её задача в основном иллюстративная. В ней специально нарушена содержательная валидность теста, чтобы показать её влияние на результат тестирования. Выполнив эти тесты и подсчитав свой Ка по каждой батарее тестов (пользуясь эталонами, расположенными в конце каждой батареи), вы сможете оценить качество вашего усвоения изученного в лекциях № 1-4 по 12-балльной шкале. Одновременно вы оцените обучающую способность письменной лекции как формы и метода обучения.

Приготовьте лист бумаги и карандаш, чтобы записать свои ответы на задания тестов.

Батарея а1; Р1 ; т = не ограничено.

1. Является ли учебный элемент (УЭ) единицей количества информации, содержащейся в учебнике?

2. Является ли термин «педагогика» синонимом термина «наука об образовании»?

3. Возможно ли по результатам тестирования на первом уровне судить о качестве усвоения на втором уровне?

145

-е-

Bespa1ko1.qxd 28.02.2008 16:15 Page 1г6

146

В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА

4. Отражает ли показатель Кт ступень абстракции текста учебника?

5. Характеризует ли показатель ИИ объём формальной информации в учебнике?

6. Можно ли объединить показатели уровня усвоения и ступени абстракции в один показатель качества обучения?

7. Характеризует ли показатель Кт достигнутое учащимся мастерство?

8. Может ли учащийся достичь третьего уровня мастерства по учебнику, изложенному на первой ступени абстракции?

9. Возможно ли использование тестов достижений для проверки знаний учащихся о нормах социального поведения?

10. Возможно ли, чтобы при тестировании с помощью теста-лестницы учащийся показал результат: Ка2 > Ка1?

11. Является ли педагогическая система объектом педагогики?

12. Может ли одна и та же педагогическая система обслуживать учебные потребности «артистов» и «мыслителей»?

13. Может ли быть высокой успеваемость по а при низкой у?

14. Является ли параметр в различительным показателем для «артистов» и «мыслителей»?

15. Является ли показатель а различительным показателем для «артистов» и «мыслителей»?

16. Каков основной признак тестов первого уровня?

1) в них даны варианты ответов на выбор;

2) всегда имеется только один правильный ответ;

3) в тесте всегда есть полный и правильный ответ на вопрос;

4) сначала надо решить задачу, а затем выбрать правильный ответ.

17. Решение типовой задачи — это деятельность:

1) первого уровня мастерства;

2) первой ступени абстракции;

3) второго уровня мастерства;

4) второй ступени абстракции.

18. Если при описании учебного элемента используется его математическая модель (формула), то это:

1) второй уровень мастерства;

2) вторая ступень абстракции;

3) третий уровень мастерства;

4) третья ступень абстракции.

146

-е-

ВеБра1ко1.дхс1 28.02.2008 16:15 Раде 1г-7

Лекция № 4. Инструменты диагностики качества знаний учащихся. Тесты

19. Что отличает исполнителя от эксперта?

1) исполнитель создаёт новые алгоритмы решения типовых задач;

2) исполнитель применяет готовые алгоритмы под руководством профессионала;

3) исполнитель трансформирует задачу для использования типовых алгоритмов;

4) исполнитель использует алгоритм по памяти для решения типовых задач.

20. Чем отличается эксперт от творца?

1) эксперт создаёт объективно новый алгоритм;

2) эксперт создаёт объективно новую информацию;

3) эксперт изобретает новые объекты;

4) эксперт совершенствует уже известное.

21. Единицей содержания обучения является:

1) уровень усвоения;

2) ступень абстракции;

3) учебный элемент;

4) объём формальной информации бит.

22. Интеллектуальные задатки личности являются её:

1) социальными свойствами;

2) моральными качествами;

3) генетическими свойствами;

4) трудовыми качествами.

23. Корректный тест отличается от некорректного:

1) наличием эталона;

2) содержательной валидностью;

3) функциональной валидностью;

4) простотой.

24. Диагностичность цели означает, что она описана в виде:

1) параметров;

2) правил;

3) показателей;

4) оценок.

25. К какому уровню деятельности относятся вышеприведённые тесты?

1) первому;

2) третьему;

3) пятому;

4) промежуточному.

147

Bespalko1.qxd 28.02.2008 16:15 Page 1^г8

В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА

26. Сопоставьте методы деятельности (1-4) с уровнями усвоения (А-Г):

1) эвристическая;А) творец;

2) воспроизводящая;Б) ученик;

3) творческая; В) эксперт;

4) узнавание. Г) исполнитель.

27. Сопоставьте символы с их названиями:

1) а; А) число учебных элементов;

2) в; Б) автоматизация;

3) т; В) ступень абстракции;

4) N. Г) уровень усвоения.

28. Сопоставьте уровни усвоения с соответствующими тестами достижений:

1) творец; А) узнавание;

2) ученик; Б) типичная задача;

3) эксперт; В) проект;

4) исполнитель. Г) исследование.

29. Сопоставьте формулу с её названием:

1. Ка = п/р; А) коэффициент усвоения;

2. Кт = Тпр / Тст. Б) коэффициент автоматизации.

30. Сопоставьте свойства личности с соответствующими качествами:

1. генетические; А) уровень усвоения;

2. социальные; Б) темперамент;

3. опыт; В) идеология;

4. психологические. Г) внимание.

-о- № теста Эталон № теста Эталон № теста Эталон 1 нет 2 да 3 нет 4 нет 5 да 6 нет 7 да 8 да 9 да 10 да 11 3 12 3 13 4 14 4 15 4 16 (1-в; 2-г; 17 (1-г; 2-в; 18 (1-г; 2-а; 3-а; 4-б) 3-б; 4-а) 3-в; 4-б) 19 (1-а; 2-б) 20 4 21 3 22 3 23 1, 2, 3, 4 24 1 25 1 26 (1-в; 2-г; 3-а; 4-б)

27 (1-г; 2-в; 3-б; 4-а)

28 (1-г; 2-а; 3-в; 4-б)

29 (1-а; 2-б)

30 (1-б; 2-в; 3-а; 4-г)

148

ВеБра1ко1.дхс1 28.02.2008 16:15 Раде 1г-0

Лекция № 4. Инструменты диагностики качества знаний учащихся. Тесты

Р = 73 (в варианте «бумага — карандаш»).

Если цель обучения — первый уровень и вы безошибочно выполнили эти тесты, то ваша оценка по 12-балльной шкале 3 балла. Удовлетворены? Если нет — беритесь за тесты второго уровня. Если удовлетворены — переходите к следующему параграфу.

Батарея а2; Р2; т = не ограничено.

1. Чтобы сделать оценку знаний объективной надо (заполните пропуски):

а) найти ...; б) определить ...; в) создать ...; г) применить ....

2.

3. Если деятельность на первом и втором уровнях — воспроизводящая, то в чём состоит различие в мастерстве Ученика и Исполнителя-профессионала (см.рис. 5)?

4. Определите, пользуясь рисунком 12, надёжность предложенной вам выше батареи тестов первого уровня.

5. На сколько операций надо увеличить данную батарею тестов первого уровня, чтобы она стала 100% надёжной?

6. На сколько операций надо увеличить данную батарею тестов второго уровня, чтобы она стала 75% надёжной?

7. Чем отличается «просвещение» от «научения»? Эталоны а2:

1. а) найти параметры качества знаний; б) определить диапазон изменения этих параметров; в) создать инструмент (тест) выявления и измерения параметров; г) применить адекватную шкалу оценки качества знаний.

2. 1) при К1 = 1,0, К2 = 0,5, что 2) по 12-балльной шкале = 0,0.

3. а) ученик действует по подсказке; б) исполнитель действует по памяти.

4. 1) р = 73; 2) г = 75%.

5. 1) чтобы г = 100%, 2) р должно быть не меньше 400,3) отсюда: 400 - 73 = 327.

6. Также: 80 - 16 = 64.

7. 1) просвещение информирует о природе, обществе и человеке;

2) научение учит профессиональной деятельности. Р = 16.

Если цель обучения — второй уровень и вы безошибочно выполнили эти тесты, то ваша оценка по 12-балльной шкале 6 баллов. Удовлетворены? Если нет — дерзайте и беритесь за тесты

149

-е-

Bespalkol.qxd 28.02.2008 16:15 Page 15r0

В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА

третьего уровня. Если удовлетворены — переходите к следующему параграфу

Батарея X; в2 ; Т = не ограничено.

1. Создайте надёжную (75%) тест-лестницу а1—3 по вашему предмету.

2. Проведите тестирование нескольких учащихся.

3. Проверьте качество выполнения ими теста-лестницы.

4. Подсчитайте Ка1—3 и оцените знания испытуемых по 12-балльной шкале (максимально достигнутый балл).

5. Почему успешные (по финальному тесту) выпускники как российских, так и американских школ проваливаются на вступительных экзаменах в вузы?

6. Как исправить эту ситуацию? Эталоны (Xj:

1. Число существенных операций в этом тесте равно удвоенному числу созданных тестов (тест + эталон).

2. Число существенных операций равно числу учащихся, умноженному на число батарей тестов в лестнице.

3. Число существенных операций равно (подсчёт —n— по эталону) числу батарей в лестнице, умноженному на число учащихся.

4. Число существенных операций равно числу испытуемых, умноженному на число батарей в лестнице (подсчёт Ка).

5. Типичность этого явления для США была очень откровенно вскрыта губернатором штата Огайо Бобом Тафтом, он сказал: «Студенты могут успешно закончить 12-летнюю школу, чтобы наконец узнать о невозможности достичь даже нижних ступеней общественной лестницы до конца своей жизни. Чтобы изменить это положение вещей, надо фундаментально перестроить наш святой Институт — американскую high school». То же самое можно повторить и для российской школы.

6. В терминах уровня усвоения и коэффициента мастерства Каэтот кажущийся парадокс довольно легко объяснить. В стремлении повысить процент получивших среднее образование школы опускают планку тестирования до первого уровня усвоения с коэффициентом мастерства K1 = 0,5 и ниже. В это же время вступительные экзамены вузы считают для себя оскорбительным проводить ниже второго-третьего уровней и провалы даже школьных медалистов становятся неизбежными.

Следует также принять во внимание 1) возможное неконтролируемое изменение ступени абстракции, 2) автоматизации,

150

Bespalko1.qxd 28.02.2008 16:15 Page 1-5*1

151

Лекция № 4. Инструменты диагностики качества знаний учащихся. Тесты

3) осознанности и 4) содержательной валидности тестов (добавление УЭ). 5) Дополнительным фактором провалов может оказаться ненужная секретивность испытаний и 6) драконовские методы контроля на экзамене (запрет на шпаргалки и учебники). Р = X всех существенных операций.

Если цель обучения — третий уровень и вы безошибочно выполнили эти тесты, то ваша оценка по 12-балльной шкале 9 баллов. Удовлетворены? Если нет — дерзайте и беритесь за тесты четвёртого уровня. Если удовлетворены — переходите к следующему параграфу.

Тест а4:

В 2005 году в штате Техас разразился громкий скандал, связанный с фальсификацией результатов итогового теста в школах города Хьюстона. Явление получило своё название «Хьюстонское чудо».

Исследуйте и объясните педагогические причины «Хюстон-ского чуда».

Эталон а4:

Испытуемый из имеющихся в Интернете публикаций должен дать следующее описание этого явления и прийти к соответствующим выводам:

1. Так называемое Хьюстонское чудо после короткой рекламной шумихи оказалось примитивным мошенничеством и обманом общественного мнения.

2. В прекрасном городе Хьюстоне под руководством самого начальника управления образованием штата и нескольких директоров школ были предприняты радикальные меры по преодолению легендарно низкого качества обучения в школах города.

3. Была провозглашена достойная цель обучения:устранить более чем 50-процентный отсев из школ и радикально поднять предельно низкую успеваемость в школах (15-20% по финальному тесту).

4. Подход к достижению этих целей был абсолютно тоталитарным: учителям и директорам школ было предписано, что если они не поднимут радикально успеваемость в школах, они будут дисквалифицированы и уволены. «Не можете учить — уходите!» было начертано в начальственных бумагах.

5. В то же самое время были обещаны большие премии тем, кто сумеет достичь поставленных целей.

6. Это типичный тоталитарный стиль управления методом «кнута и пряника».

7. Что не было сказано учителям и директорам школ — так это как поднять прежде неподъёмную успеваемость. Без этого никакое педагогическое чудо невозможно.

151

Bespalkol.qxd 28.02.2008 16:15 Page 1ИК2

В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА

8. Напуганные санкциями и прельщенные премиями педагоги были брошены на произвол судьбы в поисках некоего чудодейственного средства для выхода из создавшейся безвыходной ситуации, чтобы «и овцы были целы, и волки сыты».

9. Неизбежно возникла хорошо известная и старая как мир мошенническая практика, называемая «процентоманией». Это попросту бесстыдное надувательство всех вовлечённых в сферу образования: и органов управления образованием, и родителей, и самих учащихся. Учителя завышали все результаты успеваемости, чтобы удовлетворить волюнтаристские требования администрации.

10. «Успех» Хьюстона прозвучал по всей Америке: «Если хотим — можем!» — утверждало на всех собраниях и совещаниях начальство.

11. Популярность руководителя Хьюстонского управления образованием стала легендарной, и вскоре сам Президент США Д. Буш пригласил на должность министра образования своего знаменитого земляка для проведения своей не менее знаменитой реформы образования «No Child Left Behind».

12. Вскоре, однако, обман вскрылся, и «Великое Хюстонское чудо» раскрылось в виде примитивного жульничества, хорошо знакомого нам по пресловутому «Липецкому методу» 60-х годов, породившему общесоюзную «процентоманию».

13. Когда разразился скандал, вновь испечённый министр образования был без лишнего шума уволен, а вместе с ним дисквалифицированы десятки директоров школ и учителей, но жирные премии, выплаченные им за шесть лет мистификации, остались при них.

Р = 13.

Если цель обучения — четвёртый уровень и вы безошибочно выполнили эти тесты, то ваша оценка по 12-балльной шкале 12 баллов. Выше не бывает — переходите к следующему параграфу.