Лекция 10

			     Метод наименьших квадратов

МНК-оценка вектора параметров

Классическим вариантом оценивания параметров по наблюдениям, осложненным шумами, является метод наименьших квадратов (МНК). В этом случае наблюдения заданы в дискретные моменты времени, причем  m=1, так что   – скалярная величина. Матрица  C(k) превращается в матрицу-строку. Для того чтобы сохранить традиционные для МНК обозначения, примем
	
Таким образом уравнения наблюдений принимают вид
	
Пусть

В матричном виде уравнение принимает вид

Допустим, что мы располагаем оценкой  , но погрешность  r , естественно, нам неизвестна. Тогда можно предвычислить наблюдения
	
или в матричной форме
	
Теперь можно построить остаточные разности
	
указывающие на рассогласование наблюдений   и вычисленных значений  . Задача МНК-оценивания состоит в таком выборе вектора параметров   , чтобы минимизировать критерий качества, заданный в виде квадратичной формы

В матричном виде этот критерий имеет вид
	
где
	
Здесь  Q – пока не определенная весовая матрица, обладающая свойством симметрии.
Дифференцируя  I по    и приравнивая результат нулю, получим нормальные уравнения
					(10.1)
Следовательно, МНК-оценка вектора параметров имеет вид
									(10.2)
Погрешность оценки равна

Определим ковариационную матрицу погрешности оценки
	
где  R  – ковариационная матрица ошибок измерений:  . Полагая измерения независимыми, мы получим
	
поэтому  R  – диагональная матрица
	 ,
элементами которой являются дисперсии ошибок измерений. Очевидно, что для
					(10.3)
будем иметь
								(10.4)
В частном, но довольно распространенном случае, когда измерения равноточны, ковариационная матрица ошибки измерений имеет вид
	
так что
	
Величина    называется дисперсией единицы веса, диагональные элементы матрицы   –  дисперсиями погрешностей составляющих вектора x.
	Формула (10.2) показывает, что весовая матрица  Q  может быть определена с точностью до постоянного множителя. Действительно, заменяя  Q  на   получим тот же результат
	
 Обозначим через    вес измерения в момент  . Весовая матрица  (10.3) будет иметь вид
 
								(10.5)
а ковариационная матрица оценки    –
	 –								(10.6)
будет отличаться от вида (10.5) множителем  .
Для априорной оценки величину дисперсии единицы веса   нужно задать. Однако при достаточно большом объеме измерений оценку этой величины можно определить и апостериорно, т.е. после обработки данных измерений. Приведем эту формулу без вывода
	 .
Отличие    от   будет говорить о том, что
1)	число избыточных наблюдений   недостаточно велико,
2)	неудачно выбрана система весов наблюдений, дисперсии   не отражают реальную точность,
3)	измерения содержат систематические ошибки.
Наконец, результат МНК-оценивания записывают в виде
	
где  – средняя квадратическая ошибка вектора  x,
	 ,
 –  j-й  диагональный элемент матрицы  .

Теорема Гаусса–Маркова
Теорема Гаусса–Маркова утверждает, что МНК-оценка является наилучшей в том смысле, что ее ковариационная матрица является наименьшей.
Квадратная матрица   больше другой квадратной матрицы  , если разность  – положительно определенная матрица.  Напомним, что матрица  С  является положительно определенной, если для любого вектора   имеет место неравенство .
Итак, МНК-оценка   имеет вид
	
Обозначим  . Тогда  . Эта оценка несмещенная, ибо при   получим
	
ибо   Предположим, что существует другая несмещенная оценка  , для которой выполняется равенство
	
Для несмещенности необходимо
	
т.е   Итак,  матрица    должна быть псевдообратной матрицей по отношению к матрице A. Аналогично   поэтому  
Вычислим ковариационную матрицу оценки  :
	
где   – ковариационная матрица шумов измерения. Аналогично
	
Образуем разность и выполним небольшие преобразования
	
Однако
	
так как  ,  а   Матрица  также равна нулю, так как она является транспонированной к нулевой матрице   Итак,
	
Полученная матрица неотрицательно определена. Это легко доказать. Из теории случайных векторов известно, что ковариационная матрица случайного вектора положительно определена. Рассмотрим следующий случайный вектор
	
Ковариационная матрица этого вектора имеет вид
	
Матрица   принимает минимальное значение, равное нулю при  Следовательно,
	
Полученное неравенство и доказывает теорему.
Пример 1. Решить систему уравнений с помощью метода наименьших квадратов:
	   
          +0,150
Точные значения    и  известны и равны соответственно 1,000  и  –1,000. Выборочная дисперсия погрешностей правой части системы равна
	
Следуя схеме МНК, находим нормальные уравнения
	 ,
откуда
	
Определим остаточные разности  Значения их приведены справа от системы уравнений. Апостериорную оценку дисперсии единицы веса вычислим по формуле
		
Отличие апостериорной оценки от априорной объясняется недостаточным объемом данных, хотя оно, по-видимому, не значимо. Ковариационная матрица системы имеет вид
	
Следовательно,
	=
	=–0,98.