В прогнозировании случай совершенного прогноза достигается крайне редко, поэтому проблема верификации прогнозной модели является одной из важнейших в прогностике. Степень совершенства прогнозов выражают через различные измерители точности прогнозирования. Точность точечного прогноза в момент f, определяется разностью между прогнозом Р, и фактическим значением Fh прогнозируемого показателя в этот момент времени. Отдельный точечный прогноз не определяет точность конкретной процедуры прогнозирования в целом, то есть потребуется некоторая выборка {(Pj, fj)}, на основе которой рассчитывается значение некоторого измерителя точности прогнозирования.
Важность проблемы точности прогнозирования определяет важность анализа различных ее измерителей. В настоящее время нет достаточно полного исследования всевозможных критериев точности, что затрудняет оценивание возможностей различных моделей и опыта их применения в прикладных работах по прогнозированию конкретных процессов [10].
Для измерения точности прогнозирования можно использовать любой коэффициент парной корреляции между последовательностями прогнозных и фактических значений. Классический критерий точности прогнозирования - коэффициент корреляции Пирсона.
Максимальное значение r = 1 достигается при наличии линейной связи
(3.1)
между Р и F, т.е. когда существуют такие а0 и а/>0, что Р = oq + at F.
Однако при а0 £ 0 и а, = 1 прогноз не будет совершенным, хотя корреляция полная и положительная; только при Р = F коэффициент корреляции может характеризовать совершенный прогноз.
Коэффициент ранговой корреляции Спирмэна также может быть использован в качестве измерителя точности прогнозирования. Для этого вычисляются ранги {x} и {у} элементов соответствующих последовательностей {PJ и {Ft}. Очевидно, что
(3.2)
Если несколько элементов из Pi или Ft имеют одинаковые ранги, то им определяется ранг, равный среднему арифметическому значений мест элементов в данной ранжировке. В этом случае последнее соотношение останется верным. Вычисляются корректирующие множители для связей соответственно для последовательностей xi и уi :
(3.3)
где г,- и /, равно числу повторений i-го ранга в соответствующих последовательностях. Вычисляют сумму квадратов разностей рангов
(3.4)
Если Tf или Ту равно нулю, то коэффициент ранговой корреляции Спирмэна равен:
(3.5)
Коэффициент ранговой корреляции р позволяет характеризовать качественную сторону последовательности прогнозов {Р/j, а именно способность предсказывать точки поворота. Коэффициент ранговой корреляции можно рассматривать как дополнительный измеритель точности прогнозирования при Pi=Fi и г, близким к 1, так как критерий р инвариантен относительно линейной вариации, причем р=1 прогноз может быть далеко не совершенным, так как для этого достаточно лишь совпадения рангов.
В качестве измерителей точности прогнозирования могут быть использованы и другие коэффициенты парной корреляции, например коэффициент ранговой корреляции Кендэлла. Однако для характеристики коэффициентов парной корреляции как некоторого класса измерителей точности прогнозирования достаточно провести анализ этих двух наиболее часто используемых коэффициентов, чтобы выделить общие для этого класса свойства. Во-первых, инвариантность относительно линейной вариации, а во-вторых, полная корреляция еще fie определяют совершенный прогноз. Еще одним важным свойством коэффициентов парной корреляции является возможность проверки их на значимость, так как определены соответствующие законы распределения этих статистик. Например, для коэффициента ранговой корреляции Спирмэна значимость проверяется с п-2 степенями свободы по следующей t-статистике:
(3.6)
Наиболее распространенными оценками точности прогнозирования также являются средняя ошибка аппроксимации
(3.7)
и средняя квадратическая ошибка прогнозов
(3.8)
Точность прогнозирования тем выше, чем меньше значения е или S соответственно. Совершенный прогноз достигается при e=S=0.
Одним из исследователей проблем экономического прогнозирования, Г. Тейлом [10], предложен в качестве меры качества прогнозов коэффициент расхождения V (или коэффициент несоответствия), числителем которого является среднеквадратическая ошибка прогноза, а знаменатель равен квадратному корню из среднего квадрата реализации:
(3.9)
Если У=0, то прогноз абсолютно точен (случай «идеального» прогнозирования). Если F=l, то это означает, что прогноз близок к простой (и наивной) экстраполяции. Если У>1, то прогноз дает худший результат, чем предположение о неизменности тенденций исследуемого явления.
Коэффициент расхождения может быть использован при сопоставлении качества прогнозов, получаемых на основе различных методов и моделей. В этом его несомненное достоинство. Величина V поддается разложению на составляющие (частные коэффициенты расхождения), характеризующие влияние ряда факторов (это достигается разложением числителя, представляющего собой средний квадрат ошибки прогноза).
В некоторых случаях более важное значение имеют распознающие способности моделей прогнозирования, особенно при краткосрочном прогнозировании. Например, при прогнозировании выполнения месячных планов предприятий отрасли по особо учитываемой номенклатуре в начале месяца в первую очередь интерес представляет более точная оценка возможности выполнения плана, чем прогнозная информация о величине отклонения от плана. В данном случае целесообразно использовать следующую меру точности прогнозирования:
(3.10)
где q - число подтвержденных прогнозов; р - число неподтвержденных прогнозов.
Если £~\, то имеет место случай «идеального» прогнозирования.
Таким образом, измерители точности прогнозирования по отношению к инвариантности относительно линейной вариации делятся на инвариантные и не инвариантные. Инвариантные измерители (S и коэффициенты парной корреляции), хотя и не позволяют сравнивать точность прогнозирования различных процессов, могут использоваться для определения точности прогнозирования различных последовательностей прогнозных значений {Pi} при фиксированной последовательности {Ft}. Например, подобная ситуация возникает при моделировании, когда необходимо выбирать между несколькими моделями прогнозирования, генерирующими соответствующие последовательности {Ft}. Инвариантные измерители могут быть проверены на статистическую значимость, то есть с определенной доверительной вероятностью конкретное значение измерителя является обоснованным. Однако особый интерес при построении моделей прогнозирования имеет критерий Г. Тейла, так как позволяет определить, в чем состоит расхождение: имеет место дрейф среднего или дрейф дисперсии. С другой стороны, критерий У не является инвариантным, и есть возможность оценивать применимость модели для совокупности различных прогнозируемых процессов в целом. Например, для прогнозирования по одной модели поведения отдельных предприятий или отрасли в целом.