Свойства шкалы

экспертов, отвечающими одной и той же шкале

Взглянем на проблему однородности совокупности .экспертов с несколько иной точки зрения.

Представим себе, что один эксперт приписал какому-то суждению балл 3, а другой — балл 2. Используя в качестве способа усреднения подобных оценок соответствующую медиану, мы тем самым предполагали, что эти оценки получены по одной и той же порядковой шкале. Другими словами, мы предполагали, что, во-первых, в эмпирии существует некоторое отношение порядка, т. е. что с точки зрения одних экспертов суждение отражает больше положительных эмоций по отношению к предмету установки, чем с точки зрения других; во-вторых, это отношение декватно отображается в числовое в процессе экспертного опроса. Применительно к указанным выше баллам это означает, что второй эксперт считает наше суждение «нагруженным» более положительным отношением, чем первый. Чтобы убедиться в том, что это отнюдь не всегда отвечает истине, вспомним пример с претендентами на должность, рассмотренный нами в п. 1.2. Взглянем на рис. 1.1 и 1.2. Допустим, что они отвечают нашим первому и второму респонденту соответственно, а вместо абстрактного суждения в качестве оцениваемого объекта фигурирует претендент Ж. Несмотря на то что в первом случае УЖ = 3, а во втором случае УЖ = 2, совершенно ясно, что для первого респондента объектЖболее значим, чем для второго.

Нетрудно также показать, что когда разные эксперты приписывают некоторому суждению один и тот же балл, это не обязательно означает, что они одинаково оценивают это суждение. А это значит, что наша шкала даже не номинальная. С такой шкалой вообще невозможно работать. Ситуацию можно интерпретировать как случай, когда разные эксперты оценивают суждения по разным шкалам. Естественно, для чисел, полученных по разным шкалам, мы не имеем права рассчиты вать ни медиану, ни какие-либо другие параметры распределения, поскольку распределения-то как раз у нас и нет. Можно ли в таком случае сделать какое-либо модельное предположение, позволяющее «узаконить» те действия, которые предлагает Терстоун?

Подобное предположение действительно может быть сделано, и говорит оно о более глубоком понимании однородности нашей совокупности экспертов. Это предположение (явно или неявно) делается при использовании очень многих методов математической статистики. Итак, рассмотрим произвольное суждение. Вспомним, что мнение каждого человека, в том числе и эксперта, об этом суждении плюралистично, представляет собой распределение, и будем считать, что это распределение (а его у нас нет) совпадает с тем, которое мы фактически получили в результате опроса всех наших экспертов. Другими словами, будем считать, что распределение, получающееся в результате многократного опроса одного респондента, совпадает с тем распределением, которое получается в результате однократного опроса многих респондентов. Это и есть наше предположение. Нетрудно видеть, что оно действительно говорит о некоторой однородности совокупности респондентов (экспертов). Таким образом, наше предположение об однородности состоит в интерпретации совокупности оценок, отвечающих одному суждению, не как совокупности оценок, данных разными экспертами, не как совокупности шкальных значений респондентов, с этим суждением согласных (а выше мы делали оба эти предположения), а как совокупности оценок, данных этому суждению одним респондентом при разных условиях опроса. Ясно, что каждая такая совокупность отвечает порядковой шкале.

Теперь рассмотрим, что происходит в сознании одного эксперта при размещении им суждений по ячейкам.

Рассмотрение ячеек как интервалов числовой оси

Известный, использованный Терстоун ом способ расчета медиан (с помощью кумуляты) предполагает, что каждый эксперт, относя суждение к той или иной категории, указывает не отдельную точку оси, а некоторый ее интервал. Медиана какого-либо суждения вполне может оказаться равной, скажем, пе 5 или 6, а 5,8. А то, что эксперт не указывает точное местонахождение суждения в том или ином интервале, означает, что он по каким-то причинам не может этого сделать. Сказанное станет более ясным позже, когда мы приведем пример расчета медианы.

Гипотеза о равенстве расстояний между суждениями,

отнесенными к соседним ячейкам

Применим к рассматриваемому случаю соображения, высказанные в п 1.2.

Эксперты, раскладывая суждения по ячейкам (категориям), фактически не приписывают им никаких чисел. Они говорят только об относительном порядке этих суждений и совсем не утверждают того, что, например, первой ячейке отвечает число 1, второй — число 2 и т. д. Если мы хотим строить шкалу, адекватно отражающую реальность, не надо додумывать за респондента, не надо навязывать реальности числа там, где они не возникают естественным образом. Точнее, не надо навязывать респонденту число, когда явно мы не требуем от него никакой числовой оценки (рекомендуем читателю сравнить сказанное также и с приведенными далее, в главе 9, рассуждениями по поводу метода одномерного развертывания).

Тем не менее обходиться совсем без модельных представлений вряд ли возможно. Особенно если мы хотим достичь интервального уровня измерения. Опишем, какие элементы моделирования представляются нам более разумными, чем рассмотрение номеров ячеек как чисел.

Обеспечение интервальное™ строящейся шкалы, как следует из соответствующего определения (п. 1.1), сопряжено с умением выявлять, равны ли те или иные отрезки используемого нами континуума (точнее, стоит ли что-нибудь реальное за очевидными арифметическими равенствами).

В литературе при описании метода построения шкалы Терстоуна часто говорится о том, что при размещении суждений по ячейкам эксперт должен стремиться к тому, чтобы расстояния между суждениями, отнесенными к соседним ячейкам, были одинаковыми. Нам это требование представляется помехой построению такой шкалы, которая адекватно отражала бы истинные настроения респондентов.

Во-первых, эксперт далеко не всегда может определить, одинаковы расстояния между какими-либо суждениями или нет. Во-вторых, даже если предположить, что проблема определения расстояний между суждениями экспертом решена, у нас нет никакой гарантии, что среди рассматриваемых суждений найдутся хотя бы какие-то, равноотстоящие друг от друга.

Тем не менее все же нередко мы можем допустить, что суждения, отнесенные к соседним ячейкам, равноотстоят друг от друга. Правомерность такого допущения связана с определением количества используемых ячеек: если мы хотим, чтобы получаемую шкалу можно было считать интервальной, требуется, чтобы это количество было относительно большим. Вполне может быть, что некий эксперт, поставив на первое место суждение sr на второе — s2 на третье — s3 руководствовался (может быть, даже не давая себе в этом отчета), скажем, следующим расположением этих суждений на нашей латентной оси (рис. 5.4):

| Sl I Sz [ S3 j

j 9 j j щ j

1-яяч. 2-яяч. 3-яяч.

Рис. 5.4. Возможность разного восприятия экспертом различий между суждениями, относимыми им к соседним градациям

Ясно, что в таком случае интервалы между суждениями не будут равны: s2 - st > - s2. Но чем мельче отвечающие разным градациям

интервалы, тем более незначительным будет указанное неравенство. И им в конце концов можно будет пренебречь.

Кроме того, человеку трудно дифференцировать свои представления о большом количестве качественно различных состояний какой- либо переменной. Это тоже дает основания считать расстояния между суждениями, отнесенными к соседним градациям, одинаковыми.

Именно поэтому стремление получить интервальный уровень измерения за счет обеспечения хотя бы приблизительного равенства расстояний между соседними градациями шкалы заставляет исследователя использовать как можно большее число градаций.

Отметим, однако, что количество градаций не должно быть слишком большим.

Вероятно, именно количество ячеек, равное 11, может удовлетворить обоим нашим требованиям.

Неоднозначность совокупности рангов, приписанных суждениям

одним экспертом

Выше мы фактически показали, что ранги, приписанные рассматриваемым суждениям одним экспертом, можно считать полученными по шкале более высокого типа, чем порядковая по интервальной шкале (поскольку для этих рангов осмыслены равенства разностей). Покажем, что эти ранги не являются числами в общепринятом смысле этого слова, что они определены не однозначно, а лишь с точностью до таких преобразований, которые сохраняют структуру интервалов (другими словами, покажем, что полученная шкала не может расцениваться как щкала более высокого типа, чем интервальная; о таких шкалах пойдет речь в главе 14).

Сделанные выше предположения означают, в частности, что при определении номера ячейки, подходящей для того или иного суждения, эксперт мысленно видит фрагмент числовой оси, разделенный на 11 равных интервалов, и должен выявить, к какому из этих интервалов суждение относится. При этом не фиксируются ни место отрезка на прямой, ни его длина. Респондент об этом не думает! И поэтому наша модель не должна включать в себя соответствующих уточнений.

Для анализа результатов работы экспертов мы можем использовать, например, отрезок от 0 до 11, считая длину каждого интервала равной единице, а можем длину отрезка считать равной 5500, начинать откладывать интервалы от 1000 и длину каждого полагать равной 500 (см. рис. 5.5).

1 I I -И | |. (? 1 -|

0123456789 10 11

1 1 1 1 1 1 1 1 1 1 1 1

1000 1500 2000 2500 3000 3500 4000 4500 5000 5500 6000 6500

Рис. 5.5. Примеры интервалов на числовой оси, отвечающі^х «ячейкам», используемым при построении установочной шкалы Терстоуна

Поскольку мы предполагали, что, ранжируя суждения, все респонденты «работают» в одной и той же шкале (точнее, что совокупность оценок одного суждения разными экспертами можно считать исходящими от одного человека), то естественно предположить, что, на каком бы наборе интервалов типа тех, что представлены на рис. 5.5, мы ни остановились, он будет единым для всех экспертов.

Интервальность шкалы, построенной для оценки суждений

Конечно, говоря о расчете медиан, мы не можем не приписывать суждениям какие-то числа. Но в соответствии со сказанным выше сделать это можно по-разному в зависимости от того, какой длины интервалы мы будем использовать и какова наша точка отсчета.

Нетрудно показать, что при переходе от одной возможной шкалы к другой (имеются в виду шкалы типа тех, что изображены на рис. 5.5) совокупность медиан, рассчитанных для всех рассматриваемых суж- дсний, тоже претерпит изменение, отвечающее интервальной шкале: хотя все значения медиан изменятся, но структура интервалов между ними сохранится. Если бы неоднозначность совокупности медиан объяснялась только указанной неоднозначностью исходных данных, то можно было бы считать доказанной интервал ьность той шкалы, по которой получены наши медианы. Но совокупность значений медиан может измениться еще по одной причине.

Дополнительную неоднозначность искомым медианам придает то, что кумулятивный процент можно откладывать от разных мест соответствующего интервала, на практике чаще всего его откладывают либо от середины, либо от какого-нибудь из его концов. Приведем пример того, как итоговая медиана изменяется в зависимости именно от последнего обстоятельства. І Іусть имеются данные, представленные в табл. 5.2.

Таблица 5.2

Результаты гипотетического экспертного опроса № ячейки 1 2 3 4 5 % экспертов, поместивших суждение в ячейку 20 10 25 30 15 Следуя технике, предлагаемой в [Паниотто, Максименко, 1982], где первой ячейке отвечает интервал (0, 1), а величина процента суждений, попавших в эту ячейку, откладывается от середины интервала, мы получим медиану, которая будет равна 2,2 (рис. 5.6). Если же следовать технике, предложенной в [Рабочая книга..., 1983], отличающейся от предыдущей тем, что величина упомянутого процента откладывается не от середины, а от правого конца интервала, то получим картину, изображенную на рис. 5.7. Медиана в этом случае окажется равной 2,7. И так для любой медианы. Все медианы при соответствующем пересчете сдвинутся на 0,5 вправо.

Ясно, что если, скажем, мы будем откладывать единичные интервалы не от 0, а от 1, то получим для тех же данных значения медиан, равные 3,2 и 3,7, и т. д. И все медианы сдвинутся по сравнению с ситуацией, изображенной на рис. 5.6, на 1 в первом случае и на 1,5 — во втором. Естественно, структура интервалов между медианами, как и выше, не изменится.

Если наши интервалы изменятся по длине (вспомним рис. 5.5), то все медианы уменьшатся (увеличатся) в соответствующее число раз, но структура интервалов между медианами останется той же. Таким образом, если исходные ранги мы считаем полученными по интервальной шкале, то и совокупность медиан (значений наших суждений) можно будет считать полученной по интервальной шкале.

Рис. 5.7. Расчет медианы при условии откладывания кумулятивного процента от правого конца интервала

Рис. 5.6. Расчет медианы при условии откладывания кумулятивного процента от середины интервала

Интервальность установочной шкалы Терстоуна

Теперь попытаемся обосновать гот факт, что при использовании предложенной Терстоуном техники мы действительно получаем интервальную шкалу. Подведем итог сказанному выше.

S Измерение В СОЦИОЛОГИИ

Напомним, что мы сочли возможным считать все оценки-ранги, отвечающие одному суждению, пол ученными как бы от одного человека. При этом было показано, что соответствующую шкалу можно считать интервальной (за счет осмысленности равенства разностей между рангами). Истинное мнение такого обобщенного человека об указанном суждении отвечает медиане этих суждений, разброс имеет место за счет каких-то случайных флуктуаций.

Далее мы показали, что медианы разных суждений можно считать полученными по интервальной шкале (поскольку совокупность таких медиан была определена так же, как и совокупность тех рангов, из которых медианы получались, — с точностью до структуры интервалов между ними). При этом фактически было доказано более общее положение («теорема»): если у нас имеется ряд распределений случайных величин, все значения которых можно считать полученными по одной и той же интервальной шкале, то совокупность медиан этих распределений тоже можно считать полученной по интервальной шкале.

Совокупность медиан суждений, отмеченных каким-либо одним респондентом при его опросе на третьем этапе построения шкалы, мы также считаем случайным образом разбросанными оценками того, что мы ищем, — значения изучаемой установки этого респондента. Медиана этих оценок — шкальное значение респондента. Каждому респонденту отвечает свой «разброс». Таким образом, совокупность итоговых шкальных значений наших респондентов — это совокупность медиан распределений случайных величин, значения которых в свою очередь являются полученными по интервальной шкале медианами. Интервальность этой шкалы вытекает из сформулированной выше «теоремы».

Резюмируя все сказанное выше, можно заметить, что в качестве дополнительных предположений об изучаемой ЭС (тех, которые служат заменой непосредственного измерения сложных отношений, отображение которых в числа требуется для получения интервальной шкалы, см. п. 3.1) в данном случае фигурируют все сделанные выше предположения о свойствах ответов наших респондентов: об однородности совокупности экспертов; о равенстве расстояний между суждениями, отнесенными к соседним ячейкам; о неоднозначности совокупности рангов, приписанных разным суждениям одним респондентом, и т. д.

Перейдем к рассмотрению метода построения оценочной шкалы, основанного на схожих предположениях. Идея метода также принадлежит Терстоуну.