Статистическое определение семантических осей

Помимо алгебраической трактовки можно дать эквивалентную ей статистическую интерпретацию главных компонент. Проведем ее теперь в отношении свойств изучаемых явлений.   

Рассмотрим простейшую ситуацию, когда у объектов исследуются всего два свойства: и .

Два -мерных вектора однозначно определяют выборку из соответствующей двумерной генеральной совокупности.

Следовательно, каждый объект  в семантическом пространстве определяется в виде точки с координатами . Пусть распределение свойств по объектам подчиняется нормальному закону:  - двумерная плотность вероятности:

Выделим подмножество всех попавших в область, ограниченную условием:. Соответствующий эллипс рассеяния (см. рис. 3) определится уравнением:

Отсюда получаем уравнение второго порядка в общем виде:

,  где и  нормированные к и значения и :

.

Рис.3. Эллипс рассеяния получаемый срезом "холма" плотности

нормального распределения на "высоте"

В матричном виде квадратичная форма запишется:

Левая часть уравнения не изменится, если у  и  одновременно изменить знаки на противоположные. Следовательно, точки графика квадратичной формы расположены парами симметрично относительно начала координат. Значит, данная линия второго порядка обладает центром симметрии, который находится в начале координат.

Приведем квадратичную форму к каноническому виду. Для этого повернем координатные оси и так, чтобы в новых координатах исчез член с произведением . Переход к новым координатам производится по формулам:

.    

Обратные преобразования связаны с обратной матрицей, но в ортогональном преобразовании транспонированная матрица совпадает с обратной, следовательно, связь старых координат с новыми выражается формулами:

Для определения   и   отложим единичный вектор  на новой оси абсцисс (см. рис. 4). Его проекции (координаты) на старые оси равны:, где - угол поворота осей и .

Рис. 4. Поворот координатных осей на угол .

Единичный вектор , определяющий направление новой оси абсцисс равен:. Аналогично, единичный вектор, определяющий направление новой оси ординат, определится:

.

Коэффициенты , обладают следующими свойствами:

Последнее означает, что поворот осей происходит с неизменным масштабом.

Таким образом, для приведения квадратичной формы к каноническому виду надо перейти к новым координатам так, чтобы в них исчез средний член:.  Левую часть можно переписать в матричной форме:.  Правая часть запишется в виде:

Отсюда следует:

Так как для ортогональных матриц , поэтому, помножив обе части равенства на

, получим:

Перемножим матрицы слева и справа:

Сравнивая соответствующие элементы матриц, получим:

Следовательно, система уравнений:

имеет при  корни: и , а при корни: и .

Таким образом, для определения и необходимо решить систему уравнений:

Единичные векторы задают новые направления осей и .

Чтобы система имела ненулевое решение, необходимо, чтобы ее определитель равнялся нулю:

Следовательно, определятся из уравнения:

Так как, детерминант , следовательно, и - действительные числа. Они называются характеристическими числами и являются коэффициентами при неизвестных после приведения ее к каноническому виду. Если и не равны нулю и имеют одинаковые знаки, то квадратичная форма называется эллиптической.

Пусть , следовательно,. Подставив и в систему уравнений, получим два направления:и новых осей координат, в которых квадратичная форма принимает канонический вид. Так как в новой системе координат замена на и на  не изменяет квадратичную форму , следовательно, эллипс симметричен координатным осям и , т.е. координатные оси проходят через главные направления эллипса (рис. 5).

Рис.5.  Поворот осей, приводящих квадратичную форму к каноническому виду.

При получим: и . При подстановке этих значений в систему она обращается в тождество, и ей подходят любые главные направления, эллипс вырождается в круг.

Таким образом, приведение квадратичной формы к каноническому виду сводится к решению характеристического уравнения, т.е. нахождению собственных значений и собственных векторов, осуществляющих поворот координатных осей в направлении большой и малой полуосей эллипса, т.е. в направлении максимума общей дисперсии и  .

При осуществлении рассмотренных линейных преобразований в -мерном пространстве, мы получим эллиптические гиперповерхности, главные оси которых будут совпадать с главными направлениями после приведения их к каноническому виду. Все главные направления взаимно перпендикулярны. Каждому собственному значению соответствует собственный вектор, совпадающий с -м главным направлением.

Рассмотренную процедуру легко обобщить на случай переменных. В этом случае плотность вероятности запишется:

Здесь - матрица ковариаций. После нормировки:

, получим:

, где  - коэффициент корреляции, а  - матрица корреляций. Аналогично, пусть

, следовательно:

,

где - квадратичная форма.

Следовательно, и при приведение квадратичной формы к каноническому виду также сводится к решению характеристического уравнения:.

Таким образом, столбцы матрицы , составленной из собственных векторов , определяют вклады свойств в факторы, а строки дают разложение каждого единичного свойства по факторам:

.

Матрица задает линейное преобразование перехода к новой системе координат, совпадающей с главными направлениями.

Содержание | Назад