Как-то весной 1983 года я слушал Уиллиса Стэтсона, председателя приемной комиссии Пенсильванского университета, который описывал проблемы вверенного ему подразделения — фактически ошибки, которые оно допускало.
Я пришел потому, что возглавлял один из колледжей в Пене и имел возможность наблюдать вблизи плоды неудачного отбора. Я вызвался предоставить приемной комисии свой тест, чтобы проверить, не сможет ли он предсказать будущую успеваемость лучше, чем существующие методы. «В конце концов, — жаловался Стэтсон, — это всего лишь статистический прогноз, и нам приходится считаться с возможностью некоторого процента ошибок». Я спросил у него, как в Пене набирают первокурсников. «Мы учитываем три важных фактора, — сказал он. — Школьные оценки, оценки при поступлении и результаты промежуточной проверки. У нас имеется регрессивное уравнение — слава Богу, мне не.надо объяснять тебе, что это такое. Мы подставляем эти оценки в уравнение и получаем некое число, скажем, 3,1. Фактически это прогнозируемая средняя оценка первокурсника. Мы называем ее индексом предсказания (PI). Если он достаточно высок, тебя принимают». Я, конечно, знал, что такое регрессивное уравнение, и как легко впасть в ошибку, пользуясь ими. Они принимают во внимание факторы из прошлого, например, результаты вашего теста SAT, школьные оценки, и увязывают их с неким будущим критерием, типа ожидаемой средней оценки в колледже. В результате неких манипуляций каждому фактору прошлого придается определенный вес для лучшей 234 Мартин Э. П. Зелигмав подгонки. Так, например, если бы вы пожелали предсказать вес новорожденного исходя из веса его родителей, мы могли бы взять данные, скажем, по последней тысяче младенцев, родившихся в определенном родильном доме, выписать их вес и вес их родителей, а потом установить, что если разделить вес матери на 21,7, а вес отца на 43,4, потом найти среднеарифметическое двух частных, то как раз получится вес младенца. При этом сами по себе числа 21,7 И 43,4 не имеют решительно никакого значения, не связаны ни с какими законами природы; это просто статистические коэффициенты. К регрессионным уравнениям прибегают, если не знают, что еще можно придумать. Именно в таком положении оказалась приемная комиссия. Собрав данные теста SAT и школьные оценки в. нескольких группах первокурсников, они увязали их уравнением со средними оценками этих студентов в колледже. И увидели, что приближенно (но только приближенно) оценки в колледже тем выше, чем выше результаты по SAT и школьные оценки. При этом может оказаться, что оценки по SAT вдвое сильнее влияют на оценки в колледже, чем школьные, и в полтора раза сильнее, чем данные промежуточной проверки. Все это учитывается числовыми коэффициентами, с которыми указанные оценки входят в уравнение; значения этих коэффициентов, «весов», выбираются так, чтобы обеспечить наилучшее совпадение средних оценок в колледже с корнями уравнения. Фактически эти веса достаточно произвольны, являются подгоночными статистическими коэффициентами.
Именно поэтому предсказание носит статистический характер. Большинство прогнозов сбывается, но при этом возможно большое количество ошибок. А за этими ошибками стоят расстроенные и обращающиеся с жалобами родители, перегруженные преподаватели и учебные неудачи студентов. Школа 235 «Мы допускаем два вида ошибок, — продолжал Стэт-сон. — Во-первых, некоторое количество студентов, к счастью, небольшое, учится на первом курсе намного хуже, чем в соответствии с прогнозом. Во-вторых, намного большее количество учится существенно лучше, чем можно было бы ожидать исходя из их PL Но все равно нам бы хотелось уменьшить погрешность наших прогнозов. Расскажи мне еще про этот твой тест». Я рассказал ему и про ASQ, и про теорию, которая за ним стоит. Объяснил, что люди, которые согласно тесту являются оптимистами, показывают обычно лучшие результаты, чем можно было бы предположить, потому что перед лицом вызова они стараются сильнее, в то время как пессимисты при неудачах сдаются. Через час я перешел к тесту ASQ и тому, как он работает. Я рассказал, чем мы занимались с «Метрополитэн Лайф Иншуренс Колшани» и высказал предположение, какие последствия могло бы иметь использование теста ASQ при отборе абитуриентов в Пенсильванский университет: дальнейшее уменьшение погрешности прогноза и возможность предсказать оценки первокурсника надежнее, чем по PL «Вы теряете некоторых сильных ребят, — сказал я, — и принимаете других, которые все равно отсеются. В любом случае это трагедия для ребят и плохо для Пена». В конце концов Стэтсон сказал: «Ну, что ж, давай попробуем. Возьмемся за курс, который должен кончать колледж в 1987 году». В первую же неделю, как был сформирован курс-87, свыше трехсот его студентов были подвергнуты тесту ASQ. И мы стали... просто ждать. Ждать, пока не начнутся их страдания в первую же сессию посередине первого семестра, и затем, когда начнется вторая сессия, ужасные две недели в конце семестра. Мы ждали, когда эти студенты, многие из которых блистали в средней школе, поймут, что такое 236 Мартин Э. П. Зелигмаи настоящее соревнование в одном из ведущих университетов. Мы ждали, когда одни из них согнутся, а другие встанут во весь рост перед лицом вызова. В конце первого семестра мы наглядно увидели те ошибки, которые вызывали беспокойство Стэтсона. Практически треть студентов выглядела или намного лучше, или намного хуже, чем предсказывали регрессивные уравнения на основании данных теста SAT, школьных и промежуточных оценок. Из этой сотни первокурсников человек двадцать выглядели намного хуже, а около восьмидесяти — намного лучше. В итоге мы увидели то, чего ожидали — то же, с чем мы встречались у страховых агентов и четвероклассников. Первокурсники, что оказались на высоте и добились результатов выше, чем им полагалось согласно «таланту», были при поступлении, как правило, оптимистами. Те, кто продемонстрировал результаты, хуже ожидаемых — пришли пессимистами.