Факторный анализ

Компонентный анализ является методом определения структурной зависимости между случайными переменными. В результате его использования получается сжатое описание малого объема, несущее почти всю информацию, содержащуюся в исходных данных. Главные компоненты получаются из исходных переменных путем целенаправленного вращения, т.е. как линейные комбинации исходных переменных. Вращение производится таким образом, чтобы главные компоненты были ортогональны и имели максимальную дисперсию среди возможных линейных комбинаций исходных переменных X. При этом переменные не коррелированны между собой и упорядочены по убыванию дисперсии (первая компонента имеет наибольшую дисперсию). Кроме того, общая дисперсия после преобразования остается без изменений. Итак, i-я главная компонента Yi:

Пусть R - корреляционная матрица переменных X. Тогда - первый собственный вектор матрицы R, и т.д. Кроме того, дисперсия первой главной компоненты равна первому собственному числу матрицы R, дисперсия второй главной компоненты равна второму собственному числу матрицы R, и т.д.

Факторный анализ является более общим методом преобразования исходных переменных по сравнению с компонентным анализом. Модель факторного анализа имеет вид:

где - постоянные величины, называемые факторными нагрузками,
- общие факторы, используемые для представления всех p исходных переменных,
- специфические факторы, уникальные для каждой переменной,
p <= m.
Задачами факторного анализа являются: определение числа общих факторов, определение оценок , определение общих и специфических факторов.
Для получения оценок общностей и факторных нагрузок используется эмпирический итеративный алгоритм, который сходится к истинным оценкам параметров. Сущность алгоритма сводится к следующему.
Первоначальные оценки факторных нагрузок определяются с помощью метода главных факторов. На основании корреляционной матрицы R формально определяются оценки главных компонент:
Оценки общих факторов ищутся в виде:

где - соответствующее собственное значение матрицы R.
Оценками факторных нагрузок служат величины

где - оценки ,
- оценки
Оценки общностей получаются как

На следующей итерации модифицируется матрица R - вместо элементов главной диагонали подставляются оценки общностей, полученные на предыдущей итерации; на основании модифицированной матрицы R с помощью вычислительной схемы компонентного анализа повторяется расчет главных компонент (которые не являются таковыми с точки зрения компонентного анализа), ищутся оценки главных факторов, факторных нагрузок, общностей, специфичностей. Факторный анализ можно считать законченным, когда на двух соседних итерациях оценки общностей меняются слабо.
Примечание. Преобразования матрицы R могут нарушать положительную определенность матрицы R и, как следствие, некоторые собственные значения R могут быть отрицательными.
Для лучшей интерпретации полученных общих факторов к ним применяется процедура варимаксного вращения.
Если факторный анализ ведется в терминах главных компонент, то значения факторов могут быть вычислены непосредственно. Главные компоненты (без вращения) могут быть представлены в виде:

где - коэффициенты при общих факторах,
- собственные значения,
- исходные данные (вектор-столбцы),
.
В случае вращения главных компонент соотношения, связывающие исходные переменные и значения факторов, несколько усложняются. Ниже в матричном виде приведено соотношение, оптимальное по скорости вычисления, а также независимое от метода вращения факторов:

- повернутая матрица A,
A - матрица коэффициентов при общих факторах,
- диагональная матрица m собственных членов,
x - матрица исходных данных,
F - матрица m повернутых факторов.
При определении числа общих факторов руководствуются следующими критериями: число существенных факторов можно оценить из содержательных соображений, в качестве p берется число собственных значений, больших либо равных единице (по умолчанию), выбирается число факторов, объясняющих определенную часть общей дисперсии или суммарной мощности.
Если производится вращение факторов, то дополнительно считается дисперсия факторов после вращения.