Доказательство. Проведём доказательство утверждения
через ковариационную матрицу:
То же самое утверждение
можно доказать в более развёрнутом виде:
Следовательно, оценка
полученная методом наименьших квадратов, является несмещённой оценкой коэффициента β1 нормальной линейной модели парной регрессии.
Свойство несмещённости оценки
коэффициента β0нормальной линейной модели парной регрессии, полученной методом наименьших квадратов, доказывается аналогично.
Для модели множественной регрессии доказательство свойства несмещённости оценок параметров βi, полученных методом наименьших квадратов, целесообразно провести в матричной форме:
Следовательно, оценки
полученные методом наименьших квадратов, являются несмещёнными оценками коэффициентов βiнормальной линейной модели множественной регрессии.
Величина
является состоятельной оценкой параметра
если она удовлетворяет закону больших чисел. Суть закона больших чисел состоит в том, что с увеличением выборочной совокупности значение оценки
стремится к значению параметра
генеральной совокупности:
Условие состоятельности можно также записать через теорему Бернулли:
т. е. значение оценки
сходится по вероятности к значению параметра
генеральной совокупности, при условии, что объём выборочной совокупности стремится к бесконечности.
На практике оценка
полученная методом наименьших квадратов, считается состоятельной оценкой параметра,
если выполняются два условия:
1) смещение оценки равно нулю или стремится к нему при объёме выборки, стремящемся к бесконечности:
2) дисперсия оценки параметра
стремится к нулю при объёме выборки, стремящемся к бесконечности:
Рассмотрим свойство состоятельности МНК-оценок на примере модели парной регрессии.
Необходимо доказать, что оценка
полученная методом наименьших квадратов, является состоятельной оценкой параметра β1для нормальной линейной модели регрессии.
Доказательство. Докажем первое условие состоятельности для МНК-оценки
Докажем второе условие состоятельности для МНК-оценки
МНК-оценка
подчиняется нормальному закону распределения с математическим ожиданием β1 и дисперсией
или
где индекс 22 указывает на расположение дисперсии параметра β1в матрице ковариаций.
Свойство состоятельности оценки
коэффициента β0 нормальной линейной модели парной регрессии, полученной методом наименьших квадратов, доказывается аналогично.
Оценка стандартной ошибки МНК-оценки
определяется по формуле:
Для модели множественной регрессии доказательство свойства несмещённости оценок параметров βi, полученных методом наименьших квадратов, целесообразно провести в матричной форме:
Следовательно, оценки
полученные методом наименьших квадратов, являются несмещёнными оценками коэффициентов βiнормальной линейной модели множественной регрессии.
Эффективность МНК-оценок доказывается с помощью теоремы Гаусса-Маркова.
17. Эффективность МНК-оценок МНК
Свойство эффективности оценок неизвестных параметров модели регрессии, полученных методом наименьших квадратов, доказывается с помощью теоремы Гаусса-Маркова.
Сделаем следующие предположения о модели парной регрессии:
1) факторная переменная xi– неслучайная или детерминированная величина, которая не зависит от распределения случайной ошибки модели регрессии βi;
2) математическое ожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях:
3) дисперсия случайной ошибки модели регрессии постоянна для всех наблюдений:;
4) между значениями случайных ошибок модели регрессии в любых двух наблюдениях отсутствует систематическая взаимосвязь, т. е. случайные ошибки модели регрессии не коррелированны между собой (ковариация случайных ошибок любых двух разных наблюдений равна нулю):