Этапы кластерного анализа (1-2)

Рассмотрим этапы кластерного анализа с позиций математического содержания и методики.

этап. Представление исходных данных в виде матрицы

На первоначальном этапе исходные данные представляются в виде матрицы. Очевидно, что матрица может иметь как прямоугольную, так и квадратную форму.

Прямоугольная матрица исходных данных в многомерном статистическом анализе чаще упоминается как матрица "объект – свойство" и является наиболее распространенной формой представления исходных данных.

В табл. 10.2 наглядно изображена в общем виде прямоугольная матрица исходных данных с п элементами – объектами исследования. В этом качестве могут выступать предприятия машиностроения, коммерческие банки, студенты университета, которые описываются посредством k признаков.

В матрице значение Ху соответствует г-му объекту, который характеризуется j- м показателем, где г = 1,2,..., n,j= 1,2,..., к.

Таблица 10.2

Прямоугольная матрица исходных данных

(элемент)	Переменная
п

В случае если мы производим попарные сравнения объектов по некоторому свойству, матрица исходных данных представляет собой квадратную матрицу. Например, расстояние между городами России, результаты футбольного матча между командами и т.п. В табл. 10.3 представлена квадратная матрица исходных данных, у которой число строк и столбцов одинаково.

Таблица 10.3

Квадратная матрица исходных данных

		Объекты (элементы)
					п
(элементы)
	п

В многомерном статистическом анализе такая матрица называется "матрицей парных сравнений". Представим содержание таблицы в виде матрицы

(10.1)

где i=l,2,..., п; т = 1,2,..., п; Ху – результат сравнения г-го объекта с т -м объектом.

На результаты вычислений при кластерном анализе оказывает влияние то, какие используются единицы измерения и какую величину (масштаб) имеют переменные. Устранить зависимость переменных от единиц измерения и масштаба позволяет процедура стандартизации исходных данных. Таким образом, переменные приобретают одинаковый вес при кластеризации.

В ходе стандартизации осуществляется переход от матрицы исходных данных xj к матрице стандартизированных значений z,y. Чаще всего используется формула перехода:

где Xj – среднее значение у-го признака; σ, – среднее квадратическое отклонение у-го признака.

Среднее значение у-го признака рассчитывается по следующей формуле:

где п – число элементов (объектов).

Среднее квадратическое отклонение у-го признака рассчитывается как:

При процедуре стандартизации все числовые пропорции сохраняются, но все переменные не имеют единиц измерения. Это позволяет проводить с ними вычислительные операции, как для переменных, имеющих одинаковые единицы измерения.

В том случае, если исходные переменные имеют одинаковые единицы измерения, проводить стандартизацию нет необходимости.

этап. Определение сходства объектов

Определение сходства объектов связано с понятием однородности объектов. Определение критерия однородности объектов является наиболее трудным этапом кластерного анализа и в связи с этим наименее формализованным в задаче автоматической классификации. Однородность объектов определяется мерой степени близости (сходства) объектов или различия между объектами.

В качестве меры различия чаще используется расстояние между объектами, обозначаемое как du (от слова "distance"), обеспечивающее более простой алгоритм действий. К тому же этот алго

ритм хорошо реализован в компьютерных программах, таких как Statistica, SPSS и др.

В зависимости от исходных данных может быть использован тот или иной вид расстояний. Важно отметить, что критерием выбора вида расстояния является правильная (точнее сказать адекватная) интерпретация профиля (особенностей) кластеров.

7.6. Латентно-структурный анализ (ЛСА) Лазарсфельда

7.6.1. Простейший вариант ЛСА: вход и выход

Рассмотрим частный случай ЛСА - тот, который в свое вре­мя был предложен самим Лазарсфельдом. Перейдем к его описа­нию, подчеркнув, что тех ограничений, к перечислению кото­рых мы переходим, при настоящем состоянии техники ЛСА можно и не делать (о развитии ЛСА можно прочесть в [Гибсон, 1973; Дегтярев, 1981, Ι995; Лазарсфельд, 1966, 1973; Осипов, Андреев, 1977, с. 140-151; Статистические методы анализа..., 1979, с. 249-266; Типология и классификация..., 1982, с. 99- 111; Lazarsfeld, Henry, 1968]; о некоторых аспектах применения этого подхода в социологии см. также [Батыгин, 1990; Соци­альные исследования..., 1978, с. 15]).

В своих работах Лазарсфельд неоднократно упоминает о том, что его подход имеет самое непосредственное отношение к тео­рии тестов. Начнем описание ЛСА в соответствии со сформули­рованными выше принципами тестовой традиции.

Итак, мы предполагаем, что имеется совокупность респон­дентов, для которых существует одномерная латентная номи­нальная переменная с заданным числом градаций к. Пусть для определенности к = 2. Имеется анкета с N дихотомическими воп­росами. Предполагается, что вопросы подобраны таким обра­зом, что респонденты с разными значениями латентной пере­менной почти всегда по-разному будут отвечать на вопросы ан­кеты, а с одним и тем же значением - как правило, будут давать примерно одинаковые ответы. Предположим также, что за счет этого связь между наблюдаемыми переменными можно объяс­нить действием латент-ной переменной.

Приведем пример. Пусть наши респонденты - московские студенты, латентная переменная - их отношение к будущей специальности. Вопросы имеют примерно такой вид:

1) Часто ли Вы посещаете библиотеку (не реже раза в неде­лю)?

2) Имеется ли у Вас домашняя библиотека из книг по специ­альности (не менее 10 книг)?

3) Читали ли Вы когда-нибудь книгу по специальности по собственной инициативе, без рекомендации ее преподавателем?

4) Были ли у Вас двойки на экзаменах?

5) Случалось ли Вам, присутствуя на лекции, слушать плей­ер?

6) Часто ли Вы пропускаете лекции (более трех лекций в неделю)?

Ясно, что студенты, мечтающие о работе по приобретаемой специальности, будут на первые три вопроса давать, как прави­ло, положительные ответы, а на последние три - отрицатель­ные. А для студентов, равнодушно или негативно относящихся к выбранной специальности, будет иметь место обратная картина.

Ясно также, что между рассматриваемыми наблюдаемыми пе­ременными будет иметься статистическая связь и что ее, всего ве­роятнее, можно будет объяснить действием латентной переменной. Это проявится в том, что при фиксации значения латентной пере­менной эта связь пропадет. Заметим, что это, уже неодно-кратно упоминаемое нами положение, Лазарсфельд первым четко сфор­мулировал и назвал аксиомой локальной независимости.

Исходной информацией для ЛСА служат частотные таблицы произвольной размерности (размерность таких таблиц зависит от заданного числа значений латентной переменной). Обозна­чим через р. - вероятность положительного ответа наших рес­пондентов на /"-й вопрос (долю респондентов, давших такой от­вет); через р.. - вероятность положительных ответов одновре­менно и на /"-й, и на у"-й вопросы; через ρ к - вероятность поло­жительных ответов одновременно на г"-й, у"-й и к-й вопросы и т. д.

Те же буквы с индексом 1 наверху (р/, />..", ρ к") будут обозначать соответствующие частоты для первого латентного класса, с индек­сом 2 наверху (pf, ρ 2 , pjjk) - то же для второго латентного класса.

р.-к - вероятность положительного ответа на /-й и к-й вопро­сы и одновременно - отрицательного ответа на у"-й вопрос.

V, V2 - доли латентных классов в общей совокупности рес­пондентов.

Рассмотрим произвольный набор ответов на вопросы анке­ты, например, +н-I-К Через Ρ (1/+-Ι-ι--Н) обозначим ве­роятность того, что респондент, давший набор ответов +н-\- + , попал в первый латентный класс, а через Ρ (2/+Η-I-Η) - то же, для второго латентного класса.

Для описания исходных данных и результатов применения ЛСА прибегнем к "кибернетической" терминологии. Вход ЛСА.

Частоты любой размерности:p., p.., pjjk. Другими словами, ЛСА работает с частотными таблицами. Это не может не привлекать социолога: метод может работать со шкалами любых типов.

Выход ЛСА.

а) Аналогичные частоты для каждого латентного класса. В на­шем случае с двумя латентными классами это будут частоты вида Р/>Р,/,Р„к""Р/,Р/,Р1]к2-

Эти совокупности частот могут рассматриваться как описания латентных классов. Анализ таких описаний может послужить для уточнения представлений о той латентной переменной, существо­вание которой априори постулировалось, в частности, может при­вести исследователя к выводу о том, что ей следует дать другое название (ср. наши рассуждения о понятии "латентная перемен­ная" в п. 1.1). Подчеркнем, что такая возможность, с одной сторо­ны, выгодно отличает подход Лазарсфельда от остальных рассмот­ренных нами методов одномерного шкалирования (скажем, при использовании шкал Лайкерта или Терстоуна даже не ставится вопрос о том, что переменная может быть другой), а с другой, приближает к таким методам поиска латентных переменных, как факторный анализ и многомерное шкалирование (там проблема интерпретации осей одна из центральных). Представляется, что это характеризует ЛСА как более адекватный подход, чем другие методы одномерного шкалирования. В процессе использования пос­ледних мы фактически не считаем ту переменную, значения кото­рой ищем, латентной - мы знаем, что это за переменная, не умеем только ее измерять "в лоб". А в случае ЛСА мы допускаем" неадекватность наших априорных представлений о сути (названии) латентной переменной. И это, на наш взгляд, ближе к тем реаль­ным ситуациям, с которыми обычно имеет дело социолог.

Приведем пример. Положительные ответы на первые три при­веденных выше вопроса могут отражать не любовь к будущей специальности, а послушание "пай-девочек" интеллигентных ро­дителей, имеющих схожую специальность. Положительные же ответы на последние три вопроса - напротив, - самостоятель­ность сознательно выбравших будущую специальность молодых интеллектуалов, отрицающих необходимость для них прослу­шивания каких-то устаревших курсов, умеющих быстро навер­стать пропущенные занятия, позволяющих себе иногда "рассла­биться". Ясно, что в такой ситуации полное распределение отве­тов на все вопросы в найденных латентных классах может по­мочь исследователю скорректировать наименование латентной переменной.

Упомянем еще об одной возможной трактовке получаемых в результате применения ЛСА частотных распределений для каж­дого латентного класса. Каждое такое распределение можно ин­терпретировать как отражение той "плюралистичное™" мнений одного респондента, о которой мы говорили при обсуждении шкал Терстоуна. Можно считать, что это то самое распределе­ние, которое отвечает одному респонденту, попавшему в соот­ветствующий латентный класс (правда, как мы увидим ниже, ЛСА дает возможность судить лишь о вероятности такого попа­дания).

б) Относительные объемы классов. В нашем случае - V и V2.
Эта информация, помимо прочего, тоже может способствовать
корректировке представлений исследователя о латентной пере-
менной. Заметим (и это пригодится при решении приведенных
ниже уравнений), что V + V2 = 1.

в) Вероятность Ρ (1/++-+-+) попадания объекта, давшего
набор ответов ++-I-Ь, в первый латентный класс и аналогичная
вероятность Ρ (2/++-+-+) - для второго латентного класса.

Это самое серьезное отличие ЛСА от других методов одно­мерного шкалирования. Представляется, что именно это отли­чие в наибольшей степени делает ЛСА более адекватным мето­дом, чем другие рассмотренные подходы к построению шкал. Способ измерения с помощью анкетных опросов по своей сути довольно "груб", в силу чего даже самые "благоприятные" отве­ты респондента не обязательно означают его включенность в соответствующий этим ответам латентный класс. Лазарсфельд действует более тонко: говорит только о вероятности такой вклю­ченности. Именно здесь проявляется в наибольшей степени же­лание Лазарсфельда следовать критериям, принятым в естествен­ных науках. Использование подобных вероятностных соотноше­ний в этих науках общепринято. Такой подход является есте­ственным и для самой математической статистики (социологу не мешает приглядываться к тому, что делают математики; иногда они вследствие профессиональной склонности к обобщениям предлагают более жизненные, хотя, может быть, и более слож­ные постановки задач, чем социолог).

7.6.2. Модельные предположения ЛСА

Вернемся к не раз упомянутой выше "кибернетической" схе­ме, отражающей процесс производного измерения. Наши вход и выход связаны соотношением:

Базы данных" href="/text/category/bazi_dannih/" rel="bookmark">базе данных величин (формирующих вход) получить искомые (выход), надо задать правила, выража­ющие вторые через первые (например, составить соответствую­щие уравнения). Каковы же соответствующие модельные пред­ставления? Сформулируем соотношения,"лежащие в основе ЛСА.

"Невооруженным" глазом видно, что количество неизвест­ных величин настолько превышает количество известных, что вряд ли в принципе возможно составление решаемых уравне­ний. Чтобы сократить количество неизвестных, вспомним акси­ому локальной независимости: фиксация значения латентной переменной приводит к исчезновению связи между наблюдае­мыми (это и означает, что латентная переменная объясняет свя­зи между наблюдаемыми).

Как мы уже говорили, независимость наших/-й и у"-й перемен­ных означает справедливость соотношения (7.2).

Ясно, что это равенство, вообще говоря, будет неверным, поскольку ответ на один вопрос (скажем, о том, имеет ли рес­пондент библиотеку) зависит от его ответа на другой вопрос (скажем, читает ли он по собственному желанию книги по буду­щей профессии). А вот для лиц, принадлежащих к одному латен­тному классу, в соответствии с аксиомой локальной независи­мости подобное соотношение будет справедливым:

Pj^P"p", P?=pfpf.

Нетрудно видеть, что использование этих соотношений по­зволяет резко сократить количество неизвестных: если мы най­дем р! и р.1, то величину pJ можно будет не искать, поскольку ее легко выразить через первые две вероятности (относительные ча­стоты). То же можно сказать и о других многомерных частотах.

Для того чтобы понять, каким образом можно составить тре­бующиеся уравнения, вспомним формулу полной вероятности:

расплывчатых" классификаций, что, од­нако, может быть не адекватно реальности. Этот недостаток по­крывается тем, что мы лишь указываем вероятность принадлеж­ности того или иного респондента к определенному классу, а не вычисляем точное значение латентной переменной для этого рес­пондента.

В системе (7.3) слева - известные величины, справа - неизве­стные. Ее можно решить. Мы не будем заниматься этим, отослав читателя к упомянутой в начале предыдущего параграфа литературе.

Осталось описать способ, с помощью которого рассчитыва­ются упомянутые вероятности. Этот способ опирается на так на­зываемую формулу Байеса: P(a/b) = (Р(а) Р(Ь/а))/Р (Ь). Здесь она превращается в

(Полагаем, что сказанное в настоящем параграфе лишний раз убедило читателя в том, что социологу необходимо знать эле­менты теории вероятностей).

В заключение обсудим, как же в случае ЛСА решаются сфор­мулированные нами в п. 7.3.3 проблемы построения индексов (искомая с помощью ЛСА латентная переменная тоже своеоб­разный индекс).

Первую проблему ЛСА не решает: существование латентной переменной в ЛСА постулируется. Правда, представление о ней может быть скорректировано за счет анализа полученных в про­цессе применения метода описаний каждого латентного класса (совокупности людей, имеющих одно и то же значение латент­ной переменной), т. е. вычисления вероятностных распределений ответов попавших в класс респондентов на все рассматриваемые вопросы.

Наши второй и третий вопросы снимаются следующим обра­зом. Точные значения латентной переменной для отдельных рес­пондентов не вычисляются. Вместо этого: а) дается описание каждого латентного класса и б) для каждого возможного набора ответов на вопросы анкеты вычисляется вероятность попадания давшего эти ответы респондента в любой из латентных классов.

Тип шкалы латентной переменной в ЛСА постулируется. В рас­смотренном простейшем варианте метода переменная была но­минальной. Как мы уже оговаривали, в более современных (но и гораздо более сложных) вариантах метода латентная переменная может быть получена по шкале любого типа, предусматривается также ее многомерность.

Глава 8. ПСИХОСЕМАНТИЧЕСКИЕ МЕТОДЫ В СОЦИОЛОГИИ

Мы уже говорили о том, что социолог, желающий адекватно оценивать мнение респондента, должен "дружить" с психологией. Надеемся, что читатель убедился в этом при рассмотрении в пре­дыдущем разделе некоторых аспектов использования в социоло­гии тестового подхода. Перейдем к изучению еще одного способа осуществления опроса, опирающегося на достижения психологии.

Прежде всего о том, что такое психосемантика. Как известно, семантика - это "раздел языкознания и логики, в котором ис­следуются проблемы, связанные со смыслом, значением и ин­терпретацией знаков и знаковых выражений". [Быстрое, 1991, с. 275]. Психосемантика же изучает психологическое восприятие человеком значений и смыслов разного рода объектов (в том числе понятий, а также знаков и знаковых выражений), про­цесса интерпретации им этих объектов. В нее входят разные на­правления, в определенной мере отличные друг от друга и по решаемым задачам, и по подходам к их решению. Наряду с ме­тодом семантического дифференциала (СД), подробно рассмат­риваемым в п. 8.3, сюда можно отнести метод репертуарных ре­шеток [Дубицкая, Ионцева, 1997; Тарарухина, Ионцева, 1997; Толстова, 1997; Франселла, Баннистер, 1986] и некоторые дру­гие подходы [Баранова, Ι; Петренко, 1983, 1988; Ка-чанов, Шматко, 1993; Шмелев, 1983]). Одна из основных задач психосемантики - построение так называемого семантического пространства, т. е. нахождение системы тех латентных факторов, в рамках которых респондент "работает", так или иначе оцени­вая какие-либо объекты. Необходимо подчеркнуть, что респон­дент, как правило, не дает себе отчета в существовании этих факторов. Семантическое пространство по существу является ис­следовательской моделью структуры индивидуального сознания, на основе которой происходит восприятие респондентом объек­тов, их классификация, сравнение и т. д.

Иногда психосемантические методы относят к проективной технике. "Особенность проективных процедур в том, что стиму­лирующая ситуация приобретает смысл не в силу ее объектив­ного содержания, но по причинам, связанным с субъективны­ми наклонностями и влечениями испытуемого, т. е. вследствие субъективированного, личностного значения, придаваемого ситуации испытуемым. Испытуемый как бы проецирует свои свойства в ситуацию" [Ядов, 1995, с. 190].

Наряду с методом СД к проективной технике относят и дру­гие процедуры: метод незаконченных предложений, изучение разного рода ассоциаций респондентов по поводу заданного сти­мула и т. д. [Соколова, 1980; Ольшанский, 1994, с. 111 - 112; Ядов, 1995, с. 190-193].

Как отмечается в [Ядов, 1995, с. 193], "обоснованность проектив­ных процедур определяется прежде всего теоретическими посыл­ками, руководствуясь которыми исследователь истолковывает дан­ные". Сделаем некоторые предварительные замечания соответству­ющего плана, касающиеся основного интересующего нас в дан­ной работе психосемантического метода, - СД.

Метод СД направлен не только на поиск семантического про­странства и анализ лежащих в его основе факторов, но и на изу­чение взаимного расположения объектов в этом пространстве (т. е. различий в восприятии объектов рассматриваемым респонден­том). Для социолога круг задач, решаемых с помощью СД, более широк - его интересы требуют нахождения усредненных показа­телей соответствующего рода; выделение типов людей, обладаю­щих сходным восприятием рассматриваемых объектов.

По существу мы здесь имеем дело с одним из частных случаев той глобальной задачи, о которой говорили в первом разделе-(п. 3.2): метод СД позволяет с помощью жесткого формализован­ного опроса получить более или менее адекватную информацию о довольно тонких психологических структурах восприятия чело­веком окружающего мира. И снова для того, чтобы в нашем "бо­лее или менее" было больше "более", чем "менее", требуется тща­тельное отслеживание той модели, которая дает нам возможность соединить несоединимое. Это мы и намереваемся сделать ниже.

Основой той психологической теории, на которой базируется метод СД, служат понятия "значение" и "смысл". Этим поняти­ям, а также их различению уделяется огромное внимание в пси­хологической, психосемантической, психолингвистической ли­тературе [Дридзе, 1984; Леонтьев, 1974, 1983; Ольшанский, 1994;

Соколова, 1994]. Мы не будем их подробно рассматривать. Отме­тим только, что оба понятия отражают общественный опыт, ус­ваиваемый индивидом. Оба являются результатом определенной организации (классификации) сознанием человека того потока впечатлений, который последний получает от окружающего мира. Но первое отвечает коллективному опыту людей (так, ребенок присваивает готовые, исторически выработанные значения), а второе - опыту отдельного субъекта, это как бы внутренне мо­тивированное значение для субъекта. Первое в большей мере со­ответствует классификации когнитивного характера (логике ума), а второе - аффективного (логике чувств). Однако структуры и значений, и смыслов сложны. В частности, в обеих можно выде­лить и когнитивный, и аффективный компоненты. Нас в основ­ном будет интересовать эмоциональная сторона смыслов, при­писываемых респондентами тем или иным объектам.

8.2. Семантический дифференциал (СД) 8.2.1. Постановка задачи Осгудом

Метод СД был предложен группой американских психологов во главе с Ч. Осгудом в 1957 г. . На русском языке описание метода СД можно найти в [Осгуд, Суси, Танненбаум, 1972; Осипов, Андреев, 1977; Ядов, 1995]. Обзор лежащих в том же русле подходов можно найти в [Родионова, 1996].

С помощью применения соответствующей техники достигают­ся следующие цели: 1) раскрытие аффективных компонент смыс­лов, вкладываемых людьми в те или иные объекты (явления, по­нятия); 2) выявление тех факторов, которые определяют смыс­ловую значимость объектов для каждого человека; пространство, образуемое этими факторами, и является тем самым семантичес­ким пространством, в которое респондент как бы помещает объект, оценивая его каким-либо образом; 3) определение раз­личий в восприятии человеком разных объектов; собственно, воз­можность решать именно эту задачу и дало наименование рас­сматриваемому методу: речь идет о различии (дифференциале) объектов в семантическом пространстве; 4) выделение типов людей, имеющих сходную картину изучаемых смыслов, сходные психосемантические пространства; соответствующие усредненные смыслы интерпретируются как значения объектов для субкульту­ры, отождествляемой с рассматриваемым типом людей.

Предложив метод СД, его авторы предложили тем самым опе­рациональный способ "улавливания" столь тонкой материи, как эмоциональная сторона смысла, вкладываемого индивидом в рас­сматриваемые объекты. Как любой способ такого рода, он опи­рается на определенную модель, определенные теоретические представления исследователя о том, каким образом искомые, не поддающиеся непосредственному измерению психологические "флюиды" могут проявиться во внешнем поведении индивида. И как всегда, упомянутое внешнее поведение для нас проявля­ется в ответах этого индивида на определенные предложенные ему вопросы. Другими словами, здесь, как и выше, мы хотим получить невербальную информацию вербальными методами.

Сам Осгуд использовал терминологию, несколько отличную от описанной выше: вместо термина "личностный смысл" Осгуд пользовался достаточно близким понятием "коннотативное зна­чение", противопоставляя его денотативному. При этом он по­лагал, что денотативное отражает объективный аспект позна­ния, а коннотативное - субъективные, индивидуальные цен­ности. Коннотативные признаки метафоричны по своей приро­де. Они характеризуют восприятие субъекта, а не описывают объект оценки. И именно коннотативные признаки служат ос­новой той модели, которую мы коротко охарактеризовали выше. Поясним на примере смысл введенных определений.

Оценивая какого-либо человека, мы можем анализировать, является ли он умным или глупым, толстым или тонким и т. д. Это - денотативные признаки (человек действительно обладает соот­ветствующими качествами в буквальном их смысле; хотя наша оценка может быть субъективной: скажем, мы можем необъек­тивно оценить умственные способности человека). А можем вы­яснять, является ли тот же человек мягким или твердым, горя­чим или холодным и т. д. Ясно, что при этом мы не будем иметь в виду измерение жесткости по известной шкале твердости Мосса (у всех людей твердость в этом смысле одинакова), а измерение температуры - с помощью градусника (все имеют температуру 36,6). Значит, в этом случае мы имеем дело с коннотативными признаками. Метафора налицо.

Предложенный Осгудом подход опирался на изучение явле­ния синестезии (синестезиса) - мышления по аналогии, воз­никновения одних чувственных восприятий под воздействием других. Процесс синестезии знаком каждому человеку. Под вли­янием определенных наборов звуков (музыкального произведе­ния) у человека возникают определенные зрительные представ­ления, знакомый запах может внезапно вызвать из памяти зна­комую звуковую или зрительную картину и т. д.

Явление синестезии отражается в любом языке: мы говорим о горячем сердце, твердом характере и т. д. (правда, используя по­добные термины, надо быть осторожными: в разных культурах "коннотативная" интерпретация одного и того же признака мо­жет быть разной; так, у некоторых кавказских народностей тер­мин "железный" применительно к характеру человека означает его мягкость в противовес стальному, твердому характеру). Со­ответствующие психологические аспекты и были использованы Осгудом.

Расматриваемый подход предполагает, что смысл (точнее, его эмоциональный компонент), вкладываемый человеком в то или иное понятие, может обнаружиться, если этот человек укажет на положение рассматриваемого понятия в системе некоторых коннотативных признаков. Например, пытаясь выявить истин­ное ("смысловое", точнее эмоционально-смысловое) отноше­ние респондента к тому или иному политическому лидеру, можно спросить, каким ему представляется этот лидер: теплым или хо­лодным, пушистым или колючим и т. д. (при этом, конечно, не предполагается, что лидер может иметь температуру 48° или что у него могут расти иглы, как у ежа). Множество коннотативных признаков рассматривается как система: только вся совокупность ответов респондента на все вопросы предлагаемой анкеты может говорить о смысле объекта для респондента, о положении этого объекта в соответствующем семантическом пространстве. О раз­личии же объектов может говорить только вся совокупность раз­личий по отдельным координатам этого пространства.

Кроме того, Осгуд полагал, что, выделяя какой-либо объект из окружающего мира, определяя свое к нему отношение, каж­дый человек пользуется системой биполярных признаков. Отсюда - предложение строить систему коннотативных признаков в виде пар полярных терминов, каждый из которых отвечает одному концу соответствующего признаку психологического континуума, или, как мы будем говорить, одному полюсу признака.

Для того чтобы было более ясно, о чем идет речь, опишем подробнее технику СД.

8.2.2. Техника СД

Итак, исследователя интересует аффективная составляющая смыслов, придаваемых респондентами некоторым объектам. Со­ставляется множество пар терминов (Осгудом было придумано несколько сот таких пар), каждая из которых отвечает некото­рому коннотативному непрерывному признаку (термины из со­ответствующей пары отвечали его полюсам): горячий - холод­ный, хороший - плохой, грязный - чистый и т. д. Диапазон изменения каждого такого признака разделяется на 7 частей, тем самым признаку ставится в соответствие семизначная шкала.

Чтобы было ясно, чему должны отвечать градации нашей се­мизначной шкалы, заметим, что, скажем, паре"светлый - тем­ный" соответствуют примерно следующие выражения и шкаль­ные значения:

очень светлый 3 не очень темный -1
светлый 2 темный -2

не очень светлый 1" очень темный -3

ни светлый, ни темный О

Как мы увидим ниже, в анкете не обязательно осуществлять все подобные расшифровки пунктов шкалы, равно как не обяза­тельно использовать именно названные числа: можно брать числа от 1 до 7 и т. д. Более того, иногда можно изменить количество градаций: скажем, прибегнуть к пятибалльной шкале. Вопрос о количестве используемых градаций неотделим от вопроса о типе используемых шкал, который мы теперь хотим затронуть.

Часто о шкалах, задействованных в методе СД, по вполне понятным причинам говорят как о порядковых. Но та обработ­ка, которую предполагает техника СД, фактически рассчитана на интервальные шкалы (речь идет об использовании факторно­го анализа, применении "числовых" алгоритмов классифика­ции и т. д.). Выше (в пп. 5.2.3 и 7.5.1) мы уже говорили о том, что при достаточно большом количестве используемых градаций предположение об интервальное™ задействованных шкал мо­жет быть вполне допустимым. Этим и можно воспользоваться для оправдания указанного шага.

Опрос осуществляется следующим образом. Респондентам по очереди предъявляются для оценивания рассматриваемые объекты и предлагается соотнести интенсивность своего внутреннего ощущения по поводу того или иного объекта по очереди со всеми оценочными шкалами. Каждый объект должен быть оце­нен каждым респондентом по всем рассматриваемым шкалам.

Приведем пример соответствующего измерительного инстру­мента, предназначенного для решения одной из конкретных со­циологических задач методом СД (табл. 8.1). Речь идет об исследо­вании аффективной составляющей социальной идентичности лич­ности. В качестве объектов идентификации (в нашей терминоло­гии - оцениваемых объектов) выступали важные и близкие че­ловеку социальные общности и группы [Баранова, 1994, с. 208].

объект-признак" приведен в табл. 8.2.

Таким образом, полученная с помощью метода СД инфор­мация, будучи компактно размещенной в пространстве, обра­зует трехмерный параллелепипед, осям которого отвечают соот­ветственно респонденты, объекты, шкалы. Если мы опрашивали 500 человек, давали им для оценки 20 объектов и каждый из объектов просили оценить по 50 шкалам, то упомянутый парал­лелепипед будет иметь размерность 500x20x50.

Существует масса способов, которыми можно анализировать подобную информацию, и соответственно масса задач, которые при этом можно решить. В числе этих задач - те, о которых мы говорили выше. Прежде чем перейти к более подробному их рассмотрению, заметим следующее.

Большинство методов многомерного анализа рассчитаны на то, что исходные данные представлены в виде так называемой матри­цы "объект-признак". Это прямоугольная таблица, строки кото-

Матрица "объект-признак" двумерна. Методы, позволяющие на основе анализа такой матрицы выявлять скрытые в ней статис­тические закономерности, направлены на ее "сжатие". Так, фак­торный анализ сжимает матрицу по столбцам: мы выделяем "пуч­ки" связанных друг с другом признаков, усматривая за каждым из них действие одного латентного фактора, который можем выра­зить через наблюдаемые переменные (об этом мы говорили в п. 7.2). Методы классификации сжимают матрицу по строкам: мы объе­диняем схожие между собой объекты в кластеры, олицетворяя каждый такой кластер с неким типичным для него объектом и т. д.

У нас же совокупность исходных данных трехмерна. Для того чтобы можно было говорить о применении традиционных ме­тодов многомерного анализа, необходимо устранить третье из­мерение. Сделать это можно по-разному. Способ зависит от ре­шаемой задачи. Прежде всего рассмотрим, как анализировал описанные данные сам Осгуд.

8.2.3. Факторы восприятия, выделенные Осгудом

Прежде всего заметим, что мы можем рассмотреть данные, отвечающие одному респонденту. Они образуют матрицу имен­но нужного вида: ее строки отвечают оцениваемым объектам, столбцы - шкалам. Ясно, что найти глубинные факторы, опре­деляющие восприятие рассматриваемым индивидом изучаемых объектов, можно с помощью факторного анализа. Он даст нам возможность отыскать те скрытые пружины, которые объясня­ют связи между шкалами. Каждый фактор будет отвечать "пучку" коррелирующих друг с другом шкал.

Именно это было проделано Осгудом. Полученные выводы носили примечательный характер. Применяя факторный анализ к матрицам данных для разных респондентов, предлагая им для оценок разные объекты, используя разные шкалы (разные шка­лы были использованы и для более надежной проверки получа­емых статистических утверждений, и в силу разного понимания одних и тех же терминов людьми, принадлежащими к разным субкультурам, а Осгуд опрашивал весьма различных респонден­тов), Осгуд получал одни и те же факторы. Он назвал их оцен­кой (за этим фактором стояли такие шкалы, как "красивый-некрасивый", "хороший-плохой" и т. д.), силой ("сильный-слабый", "большой-маленький" и т. д.) и активностью ("ак­тивный-пассивный", "быстрый-медленный" и т. д.). Иногда выделялись и другие факторы. Но на первом месте всегда стояли оценка, сила и активность. Поскольку Осгудом было проанали­зировано огромное количество эмпирических данных, можно считать эмпирически обоснованным то положение, что назван­ные три фактора являются основой семантического простран­ства любого человека.

Вывод действительно примечателен: эмоциональное отноше­ние любого человека к любому объекту (точнее, аффективная составляющая смысла этого объекта для рассматриваемого инди­вида) определяется тремя компонентами такого отношения - оцен­кой, силой и активностью. Правда, здесь все же требуется отме­тить, что, поскольку этот результат доказан не теоретически, а только эмпирически, то, вообще говоря, в каждом конкретном случае он требует своего подтверждения. В некоторых работах вы­ражается сомнение в справедливости (точнее, во "всеохватнос-ти") вывода Осгуда (см., например, [Степнова, 1992]).

Избавиться от трехмерности нашего параллелепипеда мож­но не только путем рассмотрения одного респондента. Можно усреднить величины, полученные от разных людей, и далее описанным выше способом работать как бы с одним "усред­ненным" респондентом. Это делал Осгуд. Выводы остались теми же. Отметим, однако, что, вероятно, усреднение данных по достаточно большой и социально значимой совокупности рес­пондентов во многих случаях можно считать переходом от аф­фективной стороны смыслов к аффективной стороне значений рассматриваемых объектов.

Вторая задача, решенная Осгудом, - это разработка способа определения относительной ценности для рассматриваемого че­ловека разных объектов. Определить различие в восприятии на­шим респондентом каких-либо объектов можно, если рассмот­реть объекты как точки отвечающего этому респонденту семан­тического пространства (трехмерного, если используются толь­ко три описанных выше латентных фактора) и определить рас­стояния между ними.

Сделать это можно, если после проведения факторного анализа рассчитать для каждого оцениваемого объекта значения найденных факторов (п. 7.2.2). Близость между объектами обычно рассчитыва­ется традиционным образом - используется так называемое "евк­лидово расстояние". Поясним, как оно находится, на примере.

Предположим, что у нас есть три оцениваемых объекта, имею­щих значения рассматриваемых латентных факторов, указанные в приведенной ниже таблице. Попытаемся выяснить, какой из объек­тов (2 или 3) ближе по своей ценности к объекту 1 для рассматри­ваемого респондента (может быть, усредненного), см. табл. 8.3.

Таблица 8.3. Пример таблицы, задающей значения латентных факторов для трех оцениваемых респондентами объектов

Ясно, что Л (1,2) > R (1,3). Другими словами, для рассматри­ваемого респондента первый и второй объекты по своему смыс­лу более близки друг к другу, чем первый и третий.

Если мы имеем одно и то же семантическое пространство для нескольких респондентов, то, проведя оценочную процедуру для каждого из них, можно схожим образом определить сравнитель­ную значимость каких-либо объектов для разных индивидов. О всех типах задач, которые можно решать на базе данных, собран­ных с помощью метода СД, можно прочесть ниже (п. 8.2.4).

Если мы не хотим или не имеем возможности осуществить факторный анализ собранных данных, то можно решить задачи, подобные описанным, находя расположение объектов в семан­тическом пространстве по-другому. А именно, можно опереться на полученный Осгудом результат, состоящий в том, что латен­тные факторы - именно те, о которых шла речь выше. Предполо­жим, что мы четко определим, какие шкалы относятся, скажем, к фактору "сила". Допустим, это будут упомянутые выше шкалы "сильный-слабый" и "большой-маленький" (и только они). Пусть некий объект по первой шкале имеет координату 5, а по второй - координату 3. Будем считать, что координатой нашего объекта по фактору "сила" является соответствующее среднее арифметическое (5 + 3)/2 = 4. Это не будет точным значением нашего фактора (как было показано в п. 7.2.2, в линейном фак­торном анализе значение латентного фактора выражается как не­кая линейная комбинация наблюдаемых переменных, не обяза­тельно совпадающая с суммой последних). Но опыт показывает, что в ряде ситуаций такое приближение может быть достаточным.

Цель работы: ознакомить студентов с видами представления исходных данных и обучить практическим навыкам визуализации многомерных данных в среде Statistica.

1 Основные сведения

1.1 Виды представления многомерных данных

Независимо от природы наблюдаемых явлений или процессов в большинстве ситуаций исходные данные представляются в виде матрицы (таблицы) объект-признак , где строками являются объекты, а столбцами ─ признаки. Под объектом подразумевается любой предмет изучения, например, страна, фирма, регион, студенческая группа и т. п. Признак определяет характеристики рассматриваемого объекта, например, если объектом исследования является фирма, то к числу признаков, ее характеризующих, можно отнести численность персонала, ежемесячный объем расходов и доходов, число контрагентов и другие характеристики. Каждый элемент такой матрицы Х обозначается как x ij , где - номер объекта; - номер признака. Размерность этой матрицы составляет . Матрица Х описывает m объектов в терминах n признаков, причем значения m и n обычно достаточно велики. Считается, что для получения статистически достоверных результатов число объектов должно превышать число признаков в несколько раз.

При обработке многомерных данных следует учитывать дуализм представления, так как имеются возможности визуализации как объектов в пространстве признаков, так и признаков в пространстве объектов. Кроме представления исходных данных в виде матрицы объект-признак, имеются и другие возможности представления. Например, с помощью коэффициента корреляции между признаками, который вычисляется по формуле

где ─ среднее значение произведения величин признаков x i , x k ; , ─ среднее значение признака x i , (x k); s i (s k) ─ среднеквадратичное отклонение соответствующих признаков, можно представить исходные данные в виде матрицы признак-признак.

Эта матрица R в отличие от предыдущей имеет размерность . В каждой ячейке матрицы расположены значения коэффициента корреляции между соответствующими признаками; на диагонали матрицы стоят единицы, так как корреляция признака с самим собой максимальна и равна единице. Матрица симметрична относительно своей диагонали.

Сходство или различие между классифицируемыми объектами устанавливается в зависимости от метрического расстояния между ними. Если каждый объект описывается n признаками, то он может быть представлен как точка в n -мерном пространстве, и его сходство с другими объектами будет определяться как соответствующее расстояние. Указанное обстоятельство позволяет перейти к еще одному виду представления исходных данных, а именно, к матрице D объект-объект , представляющей собой таблицу расстояний между анализируемыми объектами. В этом случае в каждой ячейке матрицы находится величина расстояния, допустим, евклидова, рассчитываемого по формуле:

.

Здесь x ij , x kj ─ значения j -го признака, соответственно, у i -го и k -го объектов.

На диагонали матрицы находятся нули, поскольку расстояние от точки до нее самой равно нулю. Элементы матрицы симметричны относительно диагонали.

Таким образом, исходные данные могут быть представлены в виде матриц трех типов:

· матрицы объект-признак;

· матрицы признак-признак;

· матрицы объект-объект.

1.2 Визуализация многомерных данных

Любое исследование многомерных данных невозможно без использования метода главных компонентов (ГК). Сущность этого метода заключается в снижении размерности данных путем определения незначительного числа линейных комбинаций исходных признаков, которые объясняют большую часть изменчивости данных в целом. Метод ГК связан с переходом к новой системе координат, которая является системой ортонормированных линейных комбинаций. Этот метод дает возможность по n исходным признакам объектов построить такое же количество ГК, являющихся обобщенными (агрегированными) признаками. На первый взгляд, такой переход не дает никакого преимущества в представлении данных, но существует возможность сохранения информации о рассматриваемых данных даже в том случае, если сократить количество вычисленных ГК. Кроме того, при сохранении двух или трех ГК реализуется возможность визуализации многомерных объектов в сокращенном признаковом пространстве. Метод ГК обладает рядом свойств, делающим его эффективным для визуализации структуры многомерных данных. Все они касаются наименьшего искажения геометрической структуры точек (объектов) при их проектировании в пространстве меньшей размерности.

Математическая модель ГК базируется на допущении, что значения множества взаимосвязанных признаков порождают некоторый общий результат. В этой связи при представлении исходных данных как раз и важна матрица признак-признак, в которой содержится вся информация о попарной связи между признаками.

Первым ГК набора первичных признаков Х=(х 1 ,х 2 ,…,х n) называется такая линейная комбинация этих признаков, которая среди прочих линейных комбинаций обладает наибольшей дисперсией. Геометрически это означает, что первый ГК ориентирован вдоль направления наибольшей вытянутости гиперэллипсоида рассеивания исследуемой совокупности данных. Второй ГК имеет наибольшую дисперсию рассеивания среди всех линейных преобразований, некоррелированных с первым ГК, и представляет собой проекцию на направление наибольшей вытянутости наблюдений в гиперплоскости, перпендикулярной первому ГК. Вообще, j–м ГК системы исходных признаков Х=(х 1 ,х 2 ,…,х n) называется такая линейная комбинация этих признаков, которая некоррелирована с (j-1) предыдущими ГК и среди всех прочих некоррелированных с предыдущими (j-1) ГК обладает наибольшей дисперсией. Отсюда следует, что ГК занумерованы в порядке убывания их дисперсий, т.е. , а это дает основу для принятия решения о том, сколько последних ГК можно без ущерба изъять из рассмотрения.

Решение задачи методом ГК сводится к поэтапному преобразованию матрицы исходных данных. Основные шаги метода показаны на схеме, приведенной на рис.1.

Рис. 1. Вычислительная схема метода главных компонентов

Прокомментируем этапы вычислений. В качестве исходных данных обычно выбирается матрица объект-признак Х . Поскольку характеристиками объектов могут служить признаки различной природы, то данные необходимо стандартизировать, т. е. провести центрирование (вычитание среднего значения) и нормирование (деление на среднеквадратичное значение) данных.

На следующем шаге вычисляется матрица корреляций R между признаками, т. е. осуществляется переход к матрице признак-признак. Диагональные элементы этой матрицы равны единице, а сама матрица симметрична относительно этой диагонали, так как r ij =r ji .

Далее определяется матрица собственных векторов В , которая, также, как и предыдущая, является квадратной и состоит из n строк и n столбцов. Компоненты каждого собственного вектора представлены в виде вектора-столбца, сумма квадратов составляющих которого вследствие ортогональности равна единице.

На следующем этапе проводится расчет матрицы собственных чисел Λ , которая в отличие от предыдущих матриц является диагональной, т. е. здесь только на диагонали матрицы находятся собственные числа: все прочие элементы матрицы равны нулю. Размерность этой матрицы, как и двух предыдущих, составляет . Каждое значение λ j определяет дисперсию каждого ГК. Суммарное значение равняется сумме дисперсий исходных признаков. При условии стандартизации исходных данных

На последнем шаге вычисляются ГК:

· с помощью матрицы Λ находятся два или три наибольших собственных числа (такой выбор обусловлен желанием визуализировать многомерные объекты в двумерной плоскости или трехмерном пространстве);

· по матрице В определяются собственные вектора (СВ), которые соответствуют выбранным собственным числам;

· найденные таким образом собственные вектора умножаются последовательно на строки исходной матрицы, формируя значения ГК для каждого объекта.

Например, при выборе только первых двух наибольших собственных чисел определяем соответствующие им составляющие СВ (два столбца матрицы В ), которые перемножаем на строки матрицы Х.

Перемножение первого столбца матрицы В на первую строку матрицы Х даст значение первого ГК для первого объекта, умножение того же столбца на вторую строку определяет значение первого ГК для второго объекта, т.е.

Y 1 = b 11 x 11 +b 21 x 12 + . . . + b n1 x 1n ,

где b 11 ,b 21 ,…, b n 1 - компоненты первого СВ; x 11 ,x 12 ,…, x 1 n - первая строка матрицы данных объект-признак.

После выполнения таких же операций со вторым выбранным вектором, рассчитанным по формуле

Y 2 = b 12 x 21 +b 22 x 22 + . . . + b n 2 x 2 n ,

получаем возможность построить все объекты в плоскости первых двух ГК, где их взаимное расположение позволяет сделать предварительные выводы о сходстве (различии) объектов.

2 Работа на компьютере

Выполнение данной работы производится с программным пакетом Statistica; версия 6.1.

2.1 Представление многомерных данных

1. Из папки Examples - Datasets открываем файл данных, озаглавленный Activities , в котором приведены различные характеристики образа жизни для 28 групп людей. В качестве активных переменных использовано семь видов социальной активности: work (работа), transport (транспорт), children (дети), household (домашний быт), shopping (покупки), personal care (личное время), meal (еда). Показателем является общее время, затраченное на данный вид деятельности представителями группы в часах. В качестве вспомогательных признаков выбраны: sleep (сон), TV (телевизор), leisure (досуг). В файл данных введена дополнительная переменная gender (пол), принимающая значения male (мужчины) и female (женщины). Для присвоения меток точкам на графиках добавлен группирующий признак geo. region (регион). Часть таблицы исходных данных приведена на рис.2.

Рис.2. Матрица объект-признак

2. Перейти к матрице признак – признак посредством следующих действий: в командной строке окна выбрать опцию Анализ , в которой указать позицию Основные статистики и таблицы . В открывшемся окне отметить Парные и частные корреляции и нажать OK. Далее выбрать первые семь переменных из первого списка. В итоге должна получиться матрица корреляций между признаками размерностью 7х7, вид которой показан на рис.3.

Рис.3. Матрица признак - признак

При обработке данных в этом случае строки с пропущенными данными исключаются из рассмотрения, поэтому из исходных 28 строк остается 23.

3. Перейти к матрице объект-объект следующими операциями: в командной строке окна выбрать опцию Анализ , в которой указать позицию и далее - Кластерный анализ - Иерархическая кластеризация , после чего нажать ОК. В открывшемся окне кластерного анализа на вкладке Дополнительно, в опции Объекты выбрать Наблюдения (строки) (рис.4), нажать ОК, далее отметить в окне те же 7 переменных и нажать ОК.

Рис.4. Окно кластерного анализа

В открывшемся окне выбрать Матрицу расстояний , которая и представляет собой матрицу «объект-объект», размерностью 23х23. Часть этой таблицы приведена на рис.5.

Рис.5. Матрица объект-объект

Пользуясь такой матрицей, можно построить дендрограмму объединения объектов, сходных или различных по семи признакам. Для этого в окне Результаты иерархической кластеризации нажать клавишу Вертикальная дендрограмма , в результате чего приходим к графику, показанному на рис.6.

Полученная дендрограмма указывает порядок и уровень объединения объектов, сходных между собой, а также сформировавшиеся кластеры (группы) сходных объектов. В данном примере образовано 4 кластера.

Рис.6. Дендрограмма объектов

2.2 Метод главных компонентов

1. Из папки Examples - Datasets открываем тот же самый файл данных Activities .

2. В командной строке окна выбрать опцию Анализ , в которой указать позицию Многомерный разведочный анализ и далее - Анализ главных компонент и классификация . В стартовой панели модуля на вкладке Дополнительно нажать кнопку Переменные . В открывшемся окне Выберите переменные… в поле Переменные анализа выделить первые 7 переменных; в поле Вспомогательные - переменные sleep - leisure; в поле С основными наблюдениями - gender ; в поле Группирующая - geo. region. После этих процедур окно Выберите переменные … принимает вид, показанный на рис. 7.

Рис.7. Окно выбора переменных

После нажатия ОК стартовая панель имеет вид, показанный на рис.8.

Рис.8. Стартовая панель после выбора переменных

Кроме того, на стартовой панели в поле Код для основных наблюдений указать значение переменной female. Здесь же в рамке Анализ основан на … выбрать опцию корреляцияхs , так как средние значения и дисперсии каждой переменной могут значительно различаться между собой. В рамке Удаление пропущенных данных указать опцию Замена средним , а в рамке Оценка дисперсии - опцию SS/ N-1 , поскольку данных не очень много, и выбор другой опции может привести к смещенным оценкам дисперсии. После выбора этих опций нажать ОК.

3. В появившемся окне результатов анализа в информационной части указано количество основных и вспомогательных переменных и наблюдений (рис. 9).

Рис.9. Окно результатов анализа

После нажатия кнопки График каменистой осыпи на вкладке Переменные программа построит график изменения собственных чисел (СЧ) корреляционной матрицы, показанный на рис.10.

Рис.10. График изменения собственных чисел

Сами СЧ можно увидеть после нажатия кнопки Собственные значения в появившейся таблице (рис.11).

Рис.11. Собственные числа

Анализ графика и таблицы позволяет выбрать число выделяемых ГК. Например, по графику можно определить СЧ, начиная с которого график теряет свою кривизну, и убывание СЧ максимально замедляется. Из графика видно, что такими СЧ являются 2 или 3, поэтому число выделяемых ГК может быть равно 2 или 3. Выбрав число, равное 2, введем его в поле Число факторов (рис.8), после чего Качество представления изменит свое значение со 100% на 81% (рис.12).

Рис.12. Качество представления при двух факторах

Тот же самый вывод следует из таблицы рис.10, где в последнем столбце приведены значения накопленной суммы СЧ: видно, что при двух оставляемых в анализе СЧ эта сумма составляет примерно 81%. Следовательно, потеря информативности при переходе от 7 СЧ к 2 СЧ составляет около 19%, но зато появляется возможность визуализации многомерных исходных данных.

4. Нажать кнопку Факторные координаты для получения таблицы координат исходных переменных в пространстве новых выделенных факторов (ГК) (рис.13).

Рис.13. Координаты исходных переменных в пространстве главных компонентов (факторов)

Эта таблица дает возможность интерпретации ГК в терминах корреляции: большее абсолютное значение координат (факторной нагрузки) исходного признака с каким-либо ГК (фактором) говорит о том, что переменная сильнее связана с этим фактором. Другими словами, чем больше величина координаты признака, тем лучше переменные показывают структуру, представленную этим фактором.

Рис.14. Переменные (признаки) в плоскости первых двух факторов (главных компонентов)

Как видно из рис.14, все переменные изображены в виде точек на единичном круге, так как корреляции (координаты точек) наблюдений с факторными осями принимают значения (по модулю) из интервала .

Горизонтальная ось соответствует фактору 1, вертикальная - фактору 2. Координаты точек - в таблице рис.12. Кроме того, этот рисунок дает возможность оценить корреляцию между признаками: чем меньше угол между радиус-векторами определенных признаков, тем сильнее корреляция между ними. Например, переменные work и transport находятся достаточно близко между собой, что свидетельствует об их сильной корреляции. Этот же вывод следует и из матрицы признак-признак.

5. На вкладке Наблюдения нажать кнопку 2М графики факторных наблюдений. Появится график (рис.15), на котором изображены все наблюдения (строки), использованные при расчете. При этом основные наблюдения (female) указаны кружочками синего цвета, а вспомогательные (male ) отмаркированы квадратиками красного цвета. Из графика видно, что основные и вспомогательные наблюдения сгруппированы в разных областях плоскости, т.е. они объединены в разные кластеры.

Рис.15. Наблюдения (строки) в плоскости первых двух факторов (главных компонентов)

3. Задание

В пакет Statistica ввести данные по результатам сессии 9 студенческих групп, сдавших по 4 экзамена (табл.). Ввод данных осуществляется через Файл -Создать , где в появившемся окне указать число переменных, равное 4, а число строк - 9. В таблице приведены средние баллы экзаменов по каждой дисциплине (ОИ - отечественная история; ЭТ – экономическая теория; МА – математический анализ; ЛА – линейная алгебра) для каждой из 9 групп.

Таблица Средние баллы каждой группы по 4 дисциплинам

Номер группы	Отечественная история	Экономическая теория	Математический анализ	Линейная алгебра
	4,59	4,77	4,82	4,59
	4,68	4,73	4,27	4,38
	4,52	4,29	3,95	3,95
	4,64	4,5	4,45	4,41
	4,32	4,09	4,14	4,23
	4,36	4,27	4,05	4,23
	4,05	4,05	3,62	4,0
	3,9	3,95	3,63	3,86
	3,76		3,33	3,48

Вычислить:

1. Корреляцию между дисциплинами (построить матрицу признак-признак).

2. Расстояние между группами (построить матрицу группа-группа).

3. Собственные числа и главные компоненты (ГК).

4. Качество представления при двух ГК.

Построить графики:

1. Дендрограмму студенческих групп.

2. Дисциплины в плоскости ГК.

3. Группы в плоскости ГК.

4. Дисциплины в плоскости ГК.

Вопросы к защите работы

1. Как рассчитываются матрицы «объект-объект», «признак-признак»?

2. Что определяет собой дендрограмма?

3. Какая из матриц представления данных используется при кластерном анализе?

4. Как вычисляются ГК?

5. Какова размерность ГК?

6. Как выбирается число ГК?

7. Можно ли оценить потери информации при переходе к ГК?

©2015-2019 сайт
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2017-11-19

Первые три этапа процедуры кластеризации целесообразно рассмотреть совместно, так как и в теории, и, тем более, на практике они тесно взаимосвязаны между собой.

Получение исследователем выборки эмпирических данных, представляющих собой результаты измерения ряда признаков (например, характеристик психических процессов, состояний, свойств)

Выполненного у некоторой совокупности объектов (например, респондентов) , с необходимостью предполагает

наличие определенных измерительных методик. Согласно этим методикам результаты измерения могут быть представлены в измерительной шкале того или иного типа (номинальной, порядковой, интервальной, отношений). Как и во многих других случаях, предпочтительными с точки зрения математических оснований здесь являются интервальные шкалы и шкалы отношений, но, в то же время, в кластерном анализе, в отличие, например, от факторного, дискриминантного или дисперсионного анализа, требования к типу шкалы являются не такими жесткими: они, скорее, влияют на выбор конкретного метода кластеризации, а не на принципиальную допустимость кластеризации как таковой.

Нередко в психологических исследованиях результаты измерения различных признаков получают в шкалах разных типах: например, часть признаков измерена в интервальной шкале, а другая часть – в номинальной. В подобных случаях наличия смешанного типа шкал вопрос о выборе подходящего метода кластеризации должен решаться с большой осторожностью. Теоретические основы использования в кластерном анализе смешанных шкал исследованы недостаточно, поэтому велика опасность получения некорректных результатов. Наиболее надежными выходами из данной ситуации являются следующие возможности:

вполне корректным здесь будет применение метода, предназначенного для самого низшего из имеющихся типов шкал (в приведенном примере – для номинальной), однако для использования подобных методов иногда необходимо соответствующим образом преобразовывать результаты, полученные в шкалах более высокого уровня;

можно на последующих этапах процедуры кластеризации выбрать метрику (меру расстояния), специально предназначенную для шкал смешанного типа, однако набор таких метрик весьма ограничен и применяются они относительно редко;

и, наконец, наиболее простой путь – стремиться избегать использования шкал разного типа при получении данных, предназначенных для кластеризации.

Итак, все методы кластеризации теоретически можно было бы разделить на виды по типу измерительной шкалы, в которой получены эмпирические данные, различая, например, методы, предназначенные для интервальных, порядковых и номинальных шкал. Однако такое деление было бы преждевременным, так как сам по себе тип шкалы еще не определяет характера всей процедуры кластеризации в целом. Точнее, использованные при получении эмпирических данных измерительные шкалы влияют на выбор подходящего метода кластерного анализа не прямо, а косвенно – через выбор метрики необходимого для осуществления кластеризации метрического пространства, обсуждаемый ниже.

Полученные эмпирические данные должны быть представлены в виде матрицы «объект – признак» , то есть прямоугольной таблицы чисел, строки которой соответствуют измеренным объектам (например, респондентам), а столбцы – измеряемым признакам (например, характеристикам психических процессов, состояний или свойств). Исследователь сначала заносит полученные данные в таблицу «объект-признак», общий вид которой показан в табл. 11.2-1. Матрица «объект-признак» будет отличаться от таблицы «объект-признак» только тем, что в матрице явно не присутствуют заголовки строк и столбцов. Таким образом, таблице 11.2-1 будет соответствовать матрица «объект-признак» (в фундаментальном справочнике – матрица «объект-свойство»), имеющая размеры , (то есть, в общем случае, прямоугольная), обозначенная через и приведенная в формуле 11.2-1.

Таблица 11.2-1

Общий вид таблицы «объект-признак»

При построении матрицы «объект – признак» нередко возникает серьезная проблема, связанная с тем, что признаки рассматриваемых объектов могут оказаться измеренными в разномасштабных единицах измерения: в этом случае для адекватного определения расстояния между объектами целесообразно применить нормирование показателей, переводящее их в безразмерные величины (или к единому общему масштабу). Нормирование представляет собой переход к некоторому единообразному описанию для всех признаков, к введению новой условной единицы измерения, допускающей формальные сопоставления объектов. Наиболее распространенные способы нормирования показателей (переход от исходных значений a к нормированным значениям z ) представлены в табл. 11.2-2.

Лабораторная работа 1

Представление исходных данных

Цель работы: обучить студентов способам представления исходных данных, включающих три матрицы: «объект – признак», «признак – признак», «объект – объект». Показать возможности и научить пользоваться методом главных компонентов, который позволяет визуализировать многомерные данные в сокращенном признаковом пространстве.

Пакет: Statistica ; версия 6.0

1.Выбрать файл данных из пакета: последовательно нажав File – Open , приходим к папке Examples , в которой из папки Datasets выбираем файл данных, озаглавленный Economic Indicators (Экономические индикаторы) . Здесь можно выбрать любой другой файл или ввести свои данные. В результате этих действий получаем матрицу «объект-признак», состоящую из 40 строк (cases ) и 4 столбцов (variables ), часть которой приведена в табл.1.

Таблица 1. Матрица «объект-признак»

2. Перейти к матрице «признак – признак», посредством следующих действий: в командной строке окна выбрать опцию Statistics , в которой указать позицию Basic Statistics / Tables (Основные статистики / таблицы) . В открывшемся окне отметить Correlation Matrices (Корреляционные матрицы) и нажать OK. Далее выбрать все переменные из первого списка. В итоге должна получиться матрица корреляций между признаками размерностью 4х4, вид которой показан в табл.2.

Таблица 2. Матрица «признак - признак»

Проанализировать полученные результаты.

3. Перейти к матрице «объект-объект» следующими операциями: в командной строке окна выбрать опцию Statistics , в которой указать позицию Multivariate Exploratory Techniques (Многомерные методы) и далее - Cluster Analysis - Joining (Кластерный анализ –объединение), после чего нажать ОК. В открывшемся окне кластерного анализа, показанном на рис.1, в опции С luster (Кластер) выбрать Cases (Строки) , поскольку группируются объекты и нажать ОК.

Рис.1. Окно кластерного анализа

В открывшемся окне Joining Results (Результатов объединения) выбрать Distance Matrix (Матрицу расстояний), которая и представляет собой матрицу «объект-объект», размерностью 40х40, часть которой приведена в табл.3.

Таблица 3. Матрица «объект-объект»

Пользуясь такой матрицей, можно построить дендрограмму объединения объектов, сходных или различных по четырем признакам. Для этого в окне Joining Results нажать клавишу Vertical icicle plot (Вертикальная дендрограмма) , в результате чего приходим к графику, показанному на рис.2.

Рис.2. Дендрограмма объектов-стран

Полученная дендрограмма указывает порядок и уровень объединения стран, сходных между собой, а также сформировавшиеся кластеры (группы) сходных стран. В данном примере образовано 4 кластера.

1.В командной строке окна выбрать опцию Statistics , в которой указать позицию Multivariate Exploratory Techniques и далее - Principal Components … (Главные компоненты…). В окне главных компонентов, показанном на рис.3, выбрать все переменные для анализа (for analysis - all ), после чего нажать OK.

Рис.3. Окно главных компонентов

2. В открывшемся окне выбрать опцию Variables (Переменные) и просмотреть собственные числа, показанные в табл.4

Таблица 4. Собственные числа

Оценка потерь информации при переходе к только двум главным компонентам в данном примере составляет около 2,5%.

3. Выбрав в предыдущем окне опцию cases (строки) можно построить 2D график, нажав клавишу Plot cases factor coordinates (График строк в факторных координатах) . Результат показан на рис.4.

Рис.4. 40 стран в плоскости первых двух главных компонентов

Пакет: Statgraphics , версия 5.1

1. При запуске программы на появляющиеся последовательно два вопроса:

Какую задачу вы хотите выполнить? и Где ваши данные?

дать следующие ответы:

Analyze Existing Dates or Enter New Data (Анализ существующих данных или ввод новых данных) и – In an Existing Statgraphics Plus Data File (В существующем файле данных).

Затем выбрать для анализа файл Cardata (можно выбрать любой другой файл или ввести свои данные).

Появившаяся таблица представляет собой матрицу «объект-признак» (155 строк x 9 столбцов). Часть этой матрицы показана в табл.5.

Таблица 5. Матрица «объект-признак»

2. Перейти к матрице «признак – признак», выбрав в командной строке Describe (Описать), а затем последовательно Numeric Data – Multiple – Variable Analysis (Числовые данные – многомерный анализ) . В появившемся окне многомерного анализа в качестве данных необходимо использовать только количественные переменные, например, такие, как указано на рис.5. Для этого их надо поместить в поле Data . Кроме того, для лучшего просмотра результатов желательно сократить количество строк матрицы, ограничившись, например, 20, для чего в поле Select надо набрать такую строку: first (20).

Рис.5. Окно многомерного анализа

Результаты корреляционного анализа, т.е. матрица «признак-признак» показана в табл.6.

Таблица 6. Матрица «признак-признак»

Визуализация многомерных данных

Для решения такой задачи используется метод главных компонентов.

1. В командной строке выбрать Special (Специальные) , а затем Multivariate Methods - Principal Components (Многомерные методы – главные компоненты) .

2. В окне диалога входных данных выбрать переменные для анализа, как и в первом случае и ограничиться 20-30 объектами.

3. Выделить табличные опции: Analysis Summary , Component Weights , Data Table (Итоговый анализ, компонентные веса, таблица данных) и проанализировать их. Табл.7 представляет собой итоговый анализ.

Таблица 7. Итоговый анализ

Оценить потерю информации при выборе двух или трех главных компонентов. Для рассматриваемого случая при сохранении, соответственно, двух и трех главных компонентов потеря информации составляет примерно 13% и 3% .

3. Выделить графические опции (2 D Scatterplot , 3 D Scatterplot ) . Для чего вначале при нажатии правой клавиши мыши выделить опцию Analysis Options (Анализ опций) и в появившемся окне указать выделение по числу компонентов (Extract by Number of Components ) . Полученные графики приведены на рис.6 и 7.

Построить графики и промаркировать объекты.

Рис.6. Объекты в двумерной плоскости

Рис.7. Объекты в трехмерном пространстве

Задание

1. Провести такой анализ для других данных обоих пакетов.

2. Ввести данные по результатам сессии 9 студенческих групп, сдавших по 4 экзамена (табл.8). В табл.8 приведены средние баллы по каждому экзамену (ОИ - отечественная история; ЭТ – экономическая теория; МА – математический анализ; ЛА – линейная алгебра) для каждой из 9 групп. Представить результаты в виде главных компонентов в двумерной плоскости (группы - на плоскости).

Таблица8. Средние баллы каждой группы по 4 экзаменам