Опрос экспертов

Поясним, как в таком случае будут учитываться сформулированные выше нюансы.

Прежде всего подчеркнем, что экспертами ни в коем случае не должны быть эксперты в общепринятом смысле — скажем, в нашем примере с изучением отношения студентов к учебе — специалисты в области проблем молодежи. Никакие специалисты не вскроют нам ситуацию вроде той, которая сложилась в описанном исследовании с интерпретацией суждения «Я не пропускаю ни одной лекции». Опираясь на мнение таких специалистов, мы имеем шанс ошибиться, оценивая установку респондентов. По той же причине не может выступать в качестве эксперта и сам исследователь.

Ясно также, что эксперты должны хорошо репрезентировать изучаемую совокупность респондентов. Как известно, понятие репрезентативности выборки в социологии является довольно сложным, отнюдь не всегда совпадающим с соответствующими математико-статистическими представлениями. Коротко опишем, как оно должно пониматься в рассматриваемом случае.

Как мы отмечали, в нашей совокупности не должно быть таких респондентов, которые не нашли бы среди предлагаемых суждений таких, с которыми они согласились бы. Полагая, что это условие выполняется, мы неявно используем положение о том, что оценка любого рассматриваемого суждения, которую может дать любой потенциальный респондент, хорошо репрезентируется средним значением оценок, данных этому суждению экспертами. Ясно, что это, в свою очередь, должно опираться на положение, что наши респонденты воспринимают суждения так же, как эксперты. Это, в частности, обозначает, что используемый нами психологический континуум, отвечающий спектру эмоциональной настроенности респондента по отношению к объекту установки, является общим для представлений и респондентов, и экспертов.

Ниже, опираясь на сказанное, мы часто будем использовать термины «эксперт» и «респондент» как синонимы, надеясь, что это не приведет к недоразумению.

Итак, мы должны опросить респондентов, чтобы узнать их мнение относительно местоположения суждений на числовой оси. Но само понятие «.мнение совокупности респондентов» в рассматриваемом случае .может оказаться весьма неопределенным, так как разные респонденты могут думать по-разному. Здесь мы сталкиваемся с еще одной принципиальной методической проблемой, встающей практически в любом социологическом исследовании, — проблемой однородности изучаемого множества респондентов (подробно понятие однородности для широкого класса социологических задач проанализировано нами в [Толстова, 1986]; переиздано в [Толстова, 2003, с. 69-79]).

В данном случае решение проблемы однородности сводится к отбору только таких суждений, относи гел ьно которых респонденты думают (в интересующем нас плане) примерно одинаково. Тогда их мнение оказывается возможным усреднить каким-либо из известных в статистике способов, а результат усреднения естественно рассматривать как цену суждения. При большом же разбросе мнений респондентов усреднение может стать бессмысленным. Опишем, как практически отбираются суждения и рассчитывается цена каждого.

Исследователь собирает экспертов, дает им по пачке карточек, на каждой из которых написано одно из суждений, и предлагает разложить эти карточки по 11 ячейкам (ячейки могут быть организованы, например, с помощью разложения на столе перед экспертом карточек с числами от 1 до 11 для обозначения места каждой из них). В первую ячейку предлагается положить те суждения, которые отвечают максимально положительному отношению человека к предмету установки (другими словами, таким отношением должен обладать респондент, согласившийся с этим суждением), в 11-ю ячейку — суждения, отвечающие максимально отрицательному отношению к предмету установки, в 6-ю ячейку — суждения, отражающие нейтральное отношение к тому же предмету, и т. д.

При организации опроса необходимо избегать ошибок, часто встречающихся при практическом построении шкалы Терстоуна: эксперты не должны отражать в разложении карточек собственное согласие или несогласие с тем или иным суждением, равно как и свое мнение о том, истинно это суждение или нет. Кроме того, нельзя ранжируемые суждения представлять экспертам в виде единого списка на листе бумаги с предложением проставить около каждого из них соответствующий ранг. Настоящее ранжирование, не искажающее истинного мнения респондентов, может быть осуществлено только в процессе разложения карточек. Скажем, на каком-то этапе исследования эксперт положил суждение А в ячейку 2, а суждение Б — в ячейку 3, а потом, рассматривая карточку с суждением М, вдруг решил, что оно занимает промежуточное положение между А и />. Тогда он может положить суждение М в ячейку 3, а суждение Б — в ячейку 4. И таких перестановок может быть много. Полагаем очевидным тот факт, что, проставляя ранги рядом с написанными на листе бумаги суждениями, эксперт быстро запутается, да и может просто «отключиться» из-за неудобства способа фиксации своих соображений, даст исследователю некий полуфабрикат своих размышлений.

Последнее наше замечание касается количества используемых ячеек. Именно 11 ячеек было предложено самим Терстоуном, который определил это количество, опираясь на свой опыт психофизика. В принципе можно говорить и о другом числе ячеек (что предлагают, например, авторы [Рабочая книга..., 1983]). Но при этом надо учитывать ряд обстоятельств, связанных с тем, какого типа шкалу мы хотим получить. Соответствующие аспекты требуют довольно тонких рассмотрений. Осуществим их в п. 5,2.

Результаты экспертного опроса лучше всего фиксировать с помощью построения таблицы следующего вида (табл. 5.1). Частоты в клетках таблицы носят условный характер.

Таблица 5.1

Распределение рангов, приписанных 50 экспертами рассматриваемым суждениям (в клетках таблицы — количество экспертов, приписавших рассматриваемому суждению тот или иной ранг) Суж

дение Ранг (номер ячейки) Меди

ана Квар

тальный

размах 1 2 3 4 5...

Третье суждение заведомо должно быть оставлено, причем его цена должна быть равна 1: все респонденты единодушно считают, что это суждение отвечает максимально положительному отношению к предмету установки.

Относительно четвертого суждения мы не можем судить столь однозначно. Но все же, наверное, мы его оставим, поскольку разброс мнений экспертов не очень велик. И цена суждения, вероятно, должна находиться между 2 и 3, ближе к 3. Но где ее точное местоположение?

Положение пятого суждения еще менее очевидно. И таких неочевидных ситуаций на практике, конечно, бывает очень много. Встает вопрос, как оценить степень разброса мнений экспертов и найти «цену» суждения в произвольном случае.

Чтобы ответить на поставленные вопросы, дадим себе отчет в том, что мы имеем дело с порядковой шкалой (каждый эксперт, помещая суждение в ту или иную ячейку, фактически приписывает ему шкальное значение, отвечающее именно порядковой шкале), и вспомним, какие средние и какие меры разброса осмысленны для этой шкалы [Ядов, 2003; Толстова, 2000] (строгое определение понятия адекватности математического метода относительно типа используемых шкал будет дано в главе 14).

В качестве средних для порядковой шкалы можно использовать квартили точки, которые делят вариационный ряд значений рассматриваемого признака на четыре равной ап олненные части (напомним, что вариационным рядом, отвечающим какому-либо набору чисел, называется последовательность этих чисел, расположенных в порядке их возрастания). Квартили обычно обозначаются буквами Qv Q2, Qy Второй квартиль называется также медианой и обозначается как Me, — такое значение признака, что одна четвертая часть всех объектов имеет значения, меньшие него, а три четверти — значения, большие него; Q2 = Me — такое значение, что половина всех объектов имеет значения, меньшие него, а половина большие; — такое значение, что значения трех четвертей объектов меньше него, а одной четверти — больше. Схематически эта ситуация изображена на рис. 5.1.

25 % 25 % 25 % 25 %

Qi Qg- Me Q3

Рис. 5.1. Схематичное определение квартилей

В качестве меры разброса для порядковой шкалы используется квартильный размах, равный (Q3 - Q(). Определение квартилей можно найти, например, в [Паниотто, Максименко, 1982; Рабочая книга..., 1983; Толстова, 2000; Ядов, 2003]. Значения их обычно находят с помощью расчета так называемой кумуляты — графика накопленных частот. Ниже будут приведены примеры.

Терстоун предложил в качестве цены суждения использовать отвечающую ему медиану, о мере разброса мнений экспертов судить по соответствующему квартальному размаху и суждения с большим квартальным размахом отбрасывать.

О том, какой квартильный размах имеет смысл считать большим, исследователь может судить, опираясь на определенный практический опыт. Только имея перед глазами весь набор «размахов», вычисленных для конкретного случая, можно сказать, каким должно быть наше •«пороговое значение». Более того, на практике вполне возможна такая ситуация, когда мы можем прийти к выводу о целесообразности отбросить суждение с меньшим разбросом приписанных ему значений и оставить суждение с большим разбросом. Это возможно в случае, если первое суждение имеет цену, близкую к ценам каких-то других суждений с малым разбросом, а второе — цену, рядом с которой на нашей оси нет цен других суждений. Второе суждение в таком случае может быть значимым для нас, поскольку оно представляет «пустую» (не заполненную другими суждениями) часть континуума.

Другими словами, имеет смысл «разгрузить» чересчур заполненные места континуума путем уменьшения для соответствующих суждений величины порога. И, напротив, суждения, встречающиеся в «пустынных»- местах нашей гипотетической оси, должны стать для нас особо Ценными, и для них порог можно увеличить (правда, на следующих этапах работы о соответствующей ненадежности суждений иногда имеет смысл вспомнить).

Отметим, что приведенные рассуждения имеют смысл лишь в том случае, когда мы считаем исходные 11 градаций как бы равно отстоящими друг от друга (иначе теряют смысл рассуждения о том, что суждения могут неравномерно заполнять ось, ведь для порядковой шкалы определен только порядок расположения шкальных значений на психологическом континууме). О том, почему такое предположение можно считать оправданным, пойдет речь в п. 5.2.3. 5.1.3.

Опрос респондентов и приписывание им

шкальных значений

Если первые два этапа были посвящены построению вспомогательной оценочной шкалы — шкалы для суждений (результатом реализации этих этапов было расположение суждений на числовой оси), то оставшиеся этапы — построению главной интересующей нас шкалы — установочной, дающей возможность каждому респонденту приписать число, отвечающее его установке.

Итак, составляем список оставленных нами суждений и включаем его в анкету, предназначенную для опроса основной массы респондентов. Сопровождаем список преамбулой, в которой просим отвечающего отметить номератех суждений, с которым он согласен. Суждения даются в случайном порядке, их веса остаются респондентам неизвестными. Проводим анкетирование.

Последний этап обычно осуществляется с помощью компьютера. Для каждого респондента находим среднее значение (медиану) цен тех суждений, с которыми этот респондент согласен. Это среднее и будет искомым шкальным значением респондента, результатом измерения его установки. Оно включается в анкету как значение новой переменной (искомой установки). Далее мы можем такого рода значения использовать так же, как значения любого другого признака: находить и анализировать его распределение, изучать его связи с другими признаками и т. д. 5.2.