Лекция 11

Рекурсивный алгоритм МНК

Рассмотрим следующую задачу. Допустим, что бортовой вычислительный комплекс работает в режиме реального времени: как только поступает новая информация, так тут же производится уточнение параметров. Пусть на основании  N  наблюдений получена МНК-оценка вектора параметров   и его ковариационная матрица  . После этого мы получим новое наблюдение  , позволяющее уточнить оценку и вектора параметров, и ковариационную матрицу. Уточненные значения мы будем обозначать соответственно через   и  . Следует особо подчеркнуть, что  N  и  N+1, взятые в скобки, не являются аргументами    и  , а указывают на объем выборки, на основании которой получены оценки постоянного вектора    и постоянной матрицы  .
Для простоты мы будем считать все наблюдения равноточными, так что весовая матрица   – единичная и
									(11.1)
где  .
Новая информация дает и новое уравнение
	
Пусть   Тогда система уравнений, связывающая наблюдения  , дополняется наблюдением    с  неизвестными параметрами   и погрешностями    и    и примет вид
	
Нетрудно получить нормальное уравнение расширенной системы
	,    
или
	
МНК-оценка вектора   принимает вид
	 .				(11.2)
Полученная формула позволяет уточнить параметры без исправления всех элементов матрицы нормальных уравнений и правых частей. Однако, при МНК-оценивании можно пользоваться рекурсивным алгоритмом, который с получением новой информации не требует пересмотра всех нормальных уравнений. Рекурсивные функции (от латинского recursio – возвращение) – такие функции, значения которых для данного аргумента вычисляются с помощью значений этой же функции для предшествующих аргументов. У нас в результате решения первоначального нормального уравнения
	
были получены    и   Затем поступила новая информация в виде наблюдения    и строки коэффициентов  . Этих данных должно быть достаточно, чтобы получить    и  . Схематически рекурсивный алогоритм  можно записать как
	
Поскольку МНК-оценки линейны, то естественно ожидать, что рекурсивное оценивание   должно подчиняться линейной зависимости   от  
							(11.3)
где  –  остаточная разность (0–С), полученная в новом уравнении до уточнения вектора  ,   – «коэффициент усиления» – пока неизвестная матрица-столбец размера 
Таким образом задача построения рекурсивного алгоритма сводится к приведению формулы (11.2) к виду (11.3). Для начала убедимся в справедливости матричного тождества
						(11.4)
где   – неособенная матрица,   – вектор-строка. Умножая приведенное выражение слева на , получим
	
Заметим, что   – скалярная величина, поэтому множитель   можно переставлять. Обозначим   Теперь
	
Тождество доказано.
Ковариационная матрица оценки   по   наблюдениям имеет вид
	
а по   наблюдению  –
	
Преобразуем последнее равенство, используя доказанное выше матричное тождество
	
Обозначим
	
					(11.5)
Теперь
							(11.6)
Мы получили рекурсивную формулу для вычисления ковариационной матрицы оценки по   наблюдению.
Чтобы вывести рекурсивную формулу для  , обратимся к формуле (11.2) и перепишем ее с учетом того, что
	
Будем иметь
	
Из (11.5) следует, что
	
поэтому два последних слагаемых можно представить так:
	
Следовательно,
	 
Мы получили рекурсивную формулу для вычисления уточненной оценки  , которая полностью совпадает с (11.3), в которой коэффициент усиления по (), как выяснилось, совпадает с , определенным формулой (11.5).
Итак, МНК-оценивание в реальном времени можно представить так. Первые несколько шагов накапливается информация до тех пор, пока количество наблюдений не совпадет с количеством оцениваемых параметров. Из  уравнений с  неизвестными определяется оценка   и ковариационная матрица   Величина дисперсии погрешности измерений   должна быть задана априорно. Затем поступает  -е наблюдение. Вычисляются новые коэффициенты  , связывающие наблюдение с искомыми параметрами, и коэффициент усиления   (формула (11.5)). С известным   по формулам (11.6) и (11.3) определяют   и  . С получением  -го наблюдения снова вычисляются коэффициенты   и коэффициент усиления  , которые дают возможность определить   и   и т.д. Процесс уточнения вектора параметров может продолжаться сколь угодно долго.
	Пример 2. Обратимся снова к примеру 1 и решим задачу, пользуясь рекурсивным алгоритмом. Результаты вычислений сведены в таблицу.
									Таблица

N                                                               
     
1     2     3       4          5           6          7            8                     9                    10

1     1   –1   +1,8   +1,800        0        
2     1     1    +0,1   +0,100        0      0,950   –0,850    0,5000     0,0000    0,14286
						             0,0000     0,5000
3     1     2    –1,1   –0,750   –0,350   0,900   –0,950    0,4286   –0,1429    0,30303
						           –0,1429     0,2143  –0,03030
4     2     1    +1,0    0,850   +0,150   0,945   –0,954    0,2121   –0,1212    0,02632
						           –0,1212     0,2121    0,17105
5     2     3    –1,0   –0,972   –0,028  0,945    –0,959    0,2105   –0,1316    0,19444
						           –0,1316     0,1447  –0,05556
6     3     2    +1,2    0,917   +0,283   1,000   –0,975    0,1389    –0,1111          –
						           –0,1111     0,1389           –

В первом столбце указано число наблюдений, по которым получены оценки    и  . Во втором и третьем столбцах приведены коэффициенты уравнений, а в четвертом – «наблюдения», т.е. правые части этих уравнений. Пятый столбец содержит вычисленные «наблюдения» с учетом оценки неизвестных, полученной по предшествующим наблюдениям
	
Шестой столбец – остаточные разности   В седьмом и восьмом столбцах – оценки неизвестных   и   вычисленных по формуле (11.3).  Девятый столбец таблицы содержит ковариационные матрицы размером   оценок параметров, вычисленных по формуле (11.6). В последнем, десятом столбце содержатся значения вектора   – «коэффициента усиления» по остаточной разности 0–С, вычисленный по формуле (11.5).
Приведенная вычислительная схема позволяет проследить динамику изменения оценок и их погрешностей с поступлением новой информации.
Для определения неизвестных    и   сначала мы взяли два первых уравнения
	
Отсюда легко получаем   Ковариационная матрица в этом случае имеет диагональный вид, ибо полусумма и полуразность двух случайных величин остаются независимыми. Дисперсии погрешности полусуммы и полуразности в два раза меньше погрешности наблюдений, что видно из таблицы. Третье уравнение  
  
дает больший вес неизвестному  , поэтому дисперсия   меньше дисперсии   . Наличие недиагональных элементов (ковариаций) говорит о зависимости погрешностей оценивания    и  . При преувеличении    величина    будет занижена и наоборот. Четвертое уравнение

повышает вес первого неизвестного и выравнивает дисперсии    и  .  Пятое и шестое уравнения улучшают оценку параметров. Конечный результат оценивания совпадает с МНК-оценками, выполненными по нерекурсивной схеме (пример 1).

Вероятностная интерпретация рекурсивной формулы для МНК-оценки

В основе пошагового уточнения в процедуре МНК-оценивания лежит формула (11.3), которая представляет собой не что иное как матрично-векторный вариант линейного уравнения регрессии. Покажем это. Возьмем два случайных вектора   и   с известными математическими ожиданиями   и   и ковариационными матрицами    и  . Кроме того будем считать, что известна взаимная корреляционная матрица   Матричный аналог уравнения регрессии будет

где  K – матричный коэффициент регрессии.
Нетрудно убедиться, что при
					(11.7)
ковариационная матрица погрешности оценки   будет минимальной. Построим ковариационную матрицу ошибки   Поскольку оценка   несмещенная, будем иметь
	
Пусть
	
где   – произвольная   матрица. Тогда
	
Последнее слагаемое – неотрицательно определенная матрица, принимающая минимальное значение лишь при   т.е. когда матрица  K  удовлетворяет формуле (11.7). Таким образом линейная оценка с помощью уравнения регрессии обеспечивает минимальность ковариационной матрицы погрешности оценивания.
Отсюда вытекает еще одно следствие, известное как ортогональность погрешности оценивания вектору исходных данных: скалярное произведение вектора погрешности и вектора данных измерения равно нулю
	
Проделаем выкладки
	
При    полученное равенство обращается в нуль. Следовательно, взаимная корреляционная матрица   и   равна нулю. Естественно, что равен нулю и след матрицы
	
что и доказывает ортогональность погрешности оптимального оценивания исходным данным.
Убедимся, что наша рекурсивная формула )11.3) есть не что иное как уравнение регрессии между вектором параметров   и наблюдением   (индекс N+1 для упрощения записи опускаем). В качестве исходных значений математических ожиданий примем: для  – оценку по   наблюдениям
	
а для   – «вычисленное наблюдение» по оценке  
	
Для вычисления коэффициента регрессии нам нужно определить корреляционную матрицу
	
Вследствие некоррелированности шумов наблюдений    с параметром   последнее слагаемое равно нулю, поэтому
	
Определим теперь ковариационную матрицу наблюдений
	
где   – дисперсия ошибки наблюдения. Очевидно, что коэффициент регрессии в точности совпадает с «коэффициентом усиления» по остаточной разности
	
(см. формулу (11.5) ).