23-10-2023
Рассматривается модель парной регрессии, в которой наблюдения связаны с следующей зависимостью: . На основе выборочных наблюдений оценивается уравнение регрессии . Теорема Гаусса—Маркова гласит:
Если данные обладают следующими свойствами:
— то в этих условиях оценки метода наименьших квадратов эффективны в классе линейных несмещенных оценок.
Первое условие: модель данных правильно специфицирована. Под этим словосочетанием понимается следующее:
Устройство данных — это наблюдения случайной величины. Модель данных — это уравнение регрессии. «Иметь одинаковую функциональную форму» означает «иметь одинаковую функциональную зависимость». Например, если точки наблюдений очевидно расположены вдоль невидимой экспоненты, логарифма или любой нелинейной функции, нет смысла строить линейное уравнение регрессии.
Второе условие: все детерминированы и не все равны между собой. Если все равны между собой, то , и в уравнении оценки коэффициента наклона прямой в линейной модели в знаменателе будет ноль, из-за чего будет невозможно оценить коэффициенты и вытекающий из него . При небольшом разбросе переменных модель сможет объяснить лишь малую часть изменения . Иными словами, переменные не должны быть постоянными.
Третье условие: ошибки не носят систематического характера. Случайный член может быть иногда положительным, иногда отрицательным, но он не должен иметь систематического смещения ни в каком из двух возможных направлений. Если уравнение регрессии включает постоянный член (), то это условие чаще всего выполняется автоматически, так как постоянный член отражает любую систематическую, но постоянную составляющую в , которой не учитывают объясняющие переменные, включённые в уравнение регрессии.
Четвёртое условие: дисперсия ошибок одинакова. Одинаковость дисперсии ошибок также принято называть гомоскедастичностью. Не должно быть априорной причины для того, чтобы случайный член порождал бо́льшую ошибку в одних наблюдениях, чем в других. Так как и теоретическая дисперсия отклонений равна , то это условие можно записать так: . Одна из задач регрессионного анализа состоит в оценке стандартного отклонения случайного члена. Если рассматриваемое условие не выполняется, то коэффициент регрессии, найденные по методу наименьших квадратов, будут неэффективны, а более эффективные результаты будут получаться путём применения модифицированного метода регрессии.
Пятое условие: распределены независимо от при . Это условие предполагает отсутствие систематической связи между значениями случайного члена в любых двух наблюдениях. Если один случайный член велик и положителен в одном направлении, не должно быть систематической тенденции к тому, что он будет таким же великим и положительным (то же можно сказать и о малых, и об отрицательных остатках). Теоретическая ковариация должна равняться нулю, поскольку . Теоретические средние для и равны нулю в силу третьего условия теоремы. При невыполнении этого условия оценки, полученные по методу наименьщих квадратов, будут также неэффективны.
Выводы из теоремы:
Теорема Гаусса — Маркова.