Гребневая регрессия

Гребневая регрессия основана на гребневых оценках, направленных на оценивание множественных линейных регрессий в условиях мультиколлинеарности, т.е. сильной корреляции независимых переменных. Как известно, следствием мультиколлинеарности является плохая обусловленность матрицы X'X и бесконечное возрастание по этой причине дисперсии оценок линейной регрессии.
Матрица X'X регуляризуется путем добавления малого положительного числа к диагональным элементам. В программе реализован алгоритм построения однопараметрической гребневой оценки вида:
a(k) = (X'X +kD) X'Y, k >= 0 ,
где k - параметр регуляризации;
D - матрица регуляризации, в качестве которой может быть выбрана единичная матрица или диагональная матрица, составленная из диагональных элементов матрицы X'X.
Для автоматического расчета параметра k выбрана формула
k=ms/a'a,
где
a - вектор оценок регрессии по МНК,
s - оценка остаточной дисперсии по МНК.
Тем не менее, пользователь имеет возможность произвольно изменять значения параметра регуляризации.