Большая энциклопедия нефти и газа. Оценка статистической значимости модели
Cтраница 1
Значимость модели для решения конкретных исследовательских задач заключается в том, что она позволяет дать количественную оценку скрытых параметров, отражающих динамику двухпродуктовых систем. При решении таких задач понятия внутреннего (продукта I рода) и внешнего (продукта II рода) могут меняться. Так, в построенной В. М. Глушковым с сотрудниками (1979) модели биосинтеза белка роль продуктов I и II рода играют регуляторные и структурные белки, в модели иммунного ответа - соответственно стволовые клетки и лимфоциты, в модели регуляции сердечных сокращений - вещества, которые доставляются миокардиоцитам соответственно через коронарные сосуды и через аорту.
Оценка значимости модели дается через / - критерий и / J2 для каждого уравнения в отдельности.
Предположение о значимости модели основывается на двух положениях.
Все это не умаляет значимости модели. Естественно, без йот немыслимо сущостжшание музыки.
Наконец, максимальному ограничению значимости договорной модели как таковой способствовало то, что почти все действовавшие в этой области нормы носили абсолютно обязательный (императивный) характер.
Применение дисперсионного анализа в дополнение к регрессионному позволяет оценить не только значимость модели в целом, но и значимость частных зависимостей.
Из приведенных данных также следует, что при разбуривании более твердых пород значимости модели выше. Доказательство значимости полученной модели подтверждает гипотезу о нелинейной зависимости рассматриваемых параметров.
Несмотря на успехи в развитии теории принятия решений она еще долго, по-видимому, будет находиться на промежуточном месте между искусством - умением принимать решения, присущим данному носителю решений, - и наукой как системой принципов, общих положений, процедур и методов. Однако это не снижает актуальности книги: число систем человек - ЭВМ будет увеличиваться, значение принятий решений в сложных ситуациях будет расти, и человек будет все более затрудняться решать соответствующие задачи старыми (точными и вероятностными) методами. Поэтому значимость моделей, использующих формализованные неопределенности на основе идей, отличных от математики случая, может только увеличиваться.
При индуктивном подходе, характерном для процесса моделирования в рамках анализа хозяйственной деятельности, модель получается путем обобщения наблюдений по единичным частным фактам, учет которых считается важным для принятия решений. Индуктивным путем разрабатываются модели для решения конкретных проблем управления экономикой. Модели включают в себя учет специфических исторически сформированных свойств моделируемого процесса. Основной проблемой составления индуктивных моделей является выбор из совокупности единичных наблюдений тех, которые определяют сущность принимаемого решения, и представление их структуры и связей в формализованном виде. Значимость индуктивных моделей состоит в том, что путем упрощенного описания взаимосвязей информация, содержащаяся в большой совокупности наблюдений, будет представлена в наглядном и сжатом виде. Качество индуктивных моделей не определяется точностью копирования комплексной реальности путем символических систем, а зависит от того, насколько удается, с одной стороны, так упростить модель, чтобы добиться решения проблемы с приемлемыми затратами, но, с другой стороны, отразить основные свойства реальности.
Если такого рода трудовые соглашения фиксируют уровень заработной платы, то когда ее рыночный уровень отклоняется от уровня, ожидаемого работниками и работодателями при подписании контракта, тогда и для работников, и для работодателей было бы оптимальным изменить установленную номинальную заработную плату. Следовательно, при том, что условия на рынке труда постоянно изменяются, было бы логичным предположить, что с течением времени подобные трудовые соглашения перестанут существовать. Работники и работодатели придут к тому, что номинальную заработную плату нужно менять каждый день, что приведет к эластичной изменчивости номинальной заработной платы в соответствии с динамикой спроса и предложения на рынке труда. На самом деле подтверждением верности подобной критики служит резкое сокращение деятельности профсоюзов в отраслях США в конце 1970 - х - 1980 - е годы. Конечно же, работники, не состоящие в профсоюзах, часто имеют официальные или неофициальные трудовые соглашения с работодателями, но некоторые экономисты считают, что подобное снижение доли состоящих в профсоюзах является подтверждением снижения значимости модели коллективных договоров для экономики США.
Расчет параметров и построение регрессионных моделей
Корреляционный анализ
Его цель - определить характер связи (прямая, обратная) и силу связи (связь отсутствует, связь слабая, умеренная, заметная, сильная, весьма сильная, полная связь). Корреляционный анализ создает информацию о характере и степени выраженности связи (коэффициент корреляции), которая используется для отбора существенных факторов, а также для планирования эффективной последовательности расчета параметров регрессионных уравнений. При одном факторе вычисляют коэффициент корреляции, а при наличии нескольких факторов строят корреляционную матрицу, из которой выясняют два вида связей: (1) связи зависимой переменной с независимыми, (2) связи между самими независимыми.
Рассмотрение матрицы позволяет, во первых, выявить факторы, действительно влияющие на исследуемую зависимую переменную, и выстроить (ранжировать) их по убыванию связи; во-вторых, минимизировать число факторов в модели, исключив часть факторов, которые сильно или функционально связаны с другими факторами (речь идет о связях независимых переменных между собой).
Известно, что наиболее надежными на практике бывают одно- и двухфакторные модели.
Если будет обнаружено, что два фактора имеют сильную или полную связь между собой, то в регрессионное уравнение достаточно будет включить один из них.
Здесь стремятся отыскать наиболее точную меру выявленной связи, для того чтобы можно было прогнозировать, предсказывать значения зависимой величины Y, если будут известны значения независимых величин Х 1 , Х 2 ,.... Х n
Эту меру обобщенно выражают математической моделью линейной множественной регрессионной зависимости:
Y = a 0 + b 1 Х 1 + b 2 Х 2 + ... +b n X n
ЭВМ вычисляет параметры модели: свободный член а 0 (константа, или пересечение) и коэффициенты b п (коэффициенты регрессии). Величину у называют откликом, а Х 1 , Х 2 , .. ., Х п - факторами или предикторами.
После получения каждого варианта уравнения обязательной процедурой является оценка его статистической значимости, поскольку главная цель - получить уравнение наивысшей значимости. Однако в связи с тем, что расчеты выполняет ЭВМ, а решение на основе оценки значимости уравнения принимает исследователь (принять или отбросить уравнение), условно можно выделить третий этап этой человеко-машинной технологии как интеллектуальный немашинный этап, для которого почти все данные по оценке значимости уравнения подготавливает ЭВМ.
Статистическую значимость, т. е. пригодность постулируемой модели для использования ее в целях предсказания значений отклика. Для оценки качества полученной модели программа вычислила также целый ряд коэффициентов, которые обязан рассмотреть исследователь, сравнивая их с известными статистическими критериями и оценивая модель с точки зрения здравого смысла.
На этом этапе исключительно важную роль играют коэффициент детерминации и F-критерий значимости регрессии.
R Squared (R 2) - коэффициент детерминации - это квадрат множественного коэффициента корреляции между наблюдаемым значением Y и его теоретическим значением, вычисленным на основе модели с определенным набором факторов. Коэффициент детерминации измеряет действительность модели. Он может принимать значения от 0 до 1. Эта величина особенно полезна для сравнения ряда различных моделей и выбора наилучшей модели.
R 2 есть доля вариации прогнозной (теоретической) величины Y относительно наблюденных значений Y, объясненная за счет включенных в модель факторов. Очень хорошо, если R 2 >= 80%. Остальная доля теоретических значений У зависит от других, не участвовавших в модели факторов. Задача исследователя - находить факторы, увеличивающие R 2 , к давать объяснение вариаций прогноза, чтобы получить идеальное уравнение. Однако, коэффициент R 2 самое большее может достигнуть величины 1 (или 100%), когда все значения факторов различны. А если в данных есть повторяющиеся опыты, то величина R 2 не может достигнуть 1, как бы хороша ни была модель. Поэтому дубликаты данных следует удалять из исходной таблицы до начала расчета регрессии. Некоторые программные пакеты автоматически удаляют дубликат, оставляя лишь уникальные данные. Повторение одинаковых данных снижает надежность оценок модели. R 2 = 1 лишь при полном согласии экспериментальных (наблюденных) и теоретических (расчетных) данных, т. е. когда теоретические значения точно совпадают с наблюдаемыми. Однако это считается весьма маловероятным случаем.
Средствами регрессионного анализа, в т.ч. Excel, вычисляется F-критерий значимости регрессиидля уравнения в целом. Это рассчитанное по наблюденным данным значение Fp (F расчетный, наблюденный) следует сравнивать с соответствующим критическим значением Fк, (F критический, табличный) (см. приложение А). Fк исследователь выбирает из публикуемых статистических таблиц на заданном уровне вероятности (на том, на каком вычислялись параметры модели, например, 95%).
Если наблюденное значение Fp окажется меньше критического значения Fк, то уравнение нельзя считать значимым. В иной терминологии об этом же может быть сказано: не отвергнута нуль-гипотеза относительно значимости всех коэффициентов регрессии в постулируемой модели, т. е. коэффициенты практически равны нулю.
Электронная технология корреляционно-регрессионного анализа становится абсолютно бесполезной, если расчетные данные будут толковаться не вполне правильно.
Если полученная модель статистически значима, ее применяют для прогнозирования (предсказания), управления или объяснения.
Если же обнаружена незначимость, то модель отвергают, предполагая, что истинной окажется какая-то другая форма связи, которую надо поискать.
Проверка значимости модели при помощи теста отношения правдоподобия(тест Вальда), начинается с выдвижения основной гипотезы:
Для проверки данной гипотезы вычисляется выборочная статистика
Здесь lnL величина максимального значения логарифма функции правдоподобия, а lnL0- величина логарифма функции правдоподобия в случае справедливости основной гипотезы.
Если основная гипотеза верна, то выборочная статистика (4.7.1) распределена по закону 2 с (m-1) степенью свободы. Границу правосторонней критической области К2 ищут по таблицам критических точек хи-квадрат по уровню значимости (1-б) и (m-1) степени свободы. Если выполняется неравенство:
то основную гипотезу отвергают, принимают альтернативную гипотезу и говорят, что модель статистически значима. В противном случае принимают гипотезу о не значимости модели и переходят к ее пересмотру.
Для моделей бинарного выбора, значимость факторов проверяется при помощи тестирования для каждого фактора хi, i=1,…, (m-1) гипотез вида:
Выборочные статистики, которые используются для тестирования этих гипотез, имеют асимптотически нормальное распределение и называются z-статистиками. Границу двусторонней критической области ищут по таблицам Лапласа по заданному уровню значимости (1-б).
Если выполняется неравенство:
К 1 то принимают основную гипотезу о незначимом отличии от нуля коэффициента i и делают вывод, что соответствующий ему фактор незначим для модели. Для моделей бинарного выбора не определяется понятие коэффициента детерминации. Однако для них определяют так называемый псевдо коэффициент детерминации, который уже не характеризует объясняющую силу модели Определение 4.7.1. Псевдо - коэффициентом детерминации называют следующую величину: Определение 4.7.2. Индексом отношения правдоподобия Макфаддена (McFadden) называют характеристику: Следует подчеркнуть, что если параметры модели бинарного выбора незначимо отличаются от нуля, то оба введенных коэффициента равны нулю. На лекции мы рассмотрели нелинейные регрессионные модели, в частности, модели для бинарной зависимой переменной. Эти модели мы рассмотрели для двух функций регрессий: логит (использовали логистическую функцию) и пробит (использовали функцию распределения стандартного нормального закона распределения). Оценки параметров таких функций регрессии получают при помощи метода максимального правдоподобия. Модель тестируют при помощи теста Вальда, в основе которого статистика, имеющая хи-квадрат распределение. При изучении многофакторных регрессионных моделей мы интерпретировали оценки параметров вj, как предельный эффект влияния независимых переменных на у. Вернемся к моделям бинарного выбора. Если мы попытаемся найти производную от P{Y=1|X}, то придем к следующему выражению: где Z= 0+1х1+...m-1xm-1. По теореме о производной сложной функции, и из свойства плотности (производная от функции распределения это плотность распределения f(Z)), получаем: или, используя второе обозначение для оценок параметров: P{Y=1|X}=вjf(Z) Как и раньше, через вj обозначены оценки неизвестных параметров. Тогда, мы можем рассуждать следующим образом: плотность распределения всегда неотрицательна, поэтому знак производной будет зависеть только от знака оценки параметров, но будет являться функцией всех независимых переменных. Причем, если оценка параметра будет положительной, то увеличение переменной xj будет приводить к увеличению вероятности а если оценка параметра будет отрицательной, то, соответственно, к уменьшению указанной вероятности. Замечание. Если фактор х является бинарной переменной, то для него нельзя ввести понятие предельного эффекта. Для каждой переменной х (количественной!!!) вводят так называемый средний предельный эффект. Для этого вычисляют выборочные средние для количественных переменных и процент «1» для бинарных, и подставляют их в выражение для плотности распределения вместо переменных. Еще один вопрос для обсуждения: как после оценивания параметров логит (пробит) модели прогнозировать значение у? Поступают, например, следующим образом. Подставляют найденные значения оценок параметров и значения хj в Z и вычисляют значение переменной. Если Z>0, то считают, что У=1, если Z<0, то считают, что У=0. Замечание. Мы рассмотрели ситуацию, когда переменная у была измерена в номинальной шкале, но принимала всего два значения: 0 и 1. В общем случае, когда у может принимать несколько значений, например 0, 1, 2, 3, используют множественный (по у!!) логит или пробит. Кроме того, у может быть измерен в порядковой шкале, тогда в Стате используют порядковый логит (пробит) ologit (oprobit). Замечание. Очень часто в исследованиях приходится проводить исследования на усеченной выборке. Например, если изучают доходы домохозяйств, то бывают ситуацию, когда респондентов с очень большим доходом (например, больше 1 млн.рубл.) следует исключить из исследования, то есть То в таких случаях используют Тобит-модели. F(0+1х1+...m-1xm-1) F(0+1х1+...m-1xm-1) F(0+1х1+...m-1xm-1) F(0+1х1+...m-1xm-1) - (F(0+1х1+...m-1xm-1))2 Оценка качества модели по критериям Стьюдента и Фишера будет проводиться путём сравнения расчетных значений с табличными. Для оценки качества модели по критерию Стьюдента фактическое значение этого критерия (t набл)
сравнивается с критическим значением t кр
которое берется из таблицы значений t
с учетом заданного уровня значимости (α = 0.05
) и числа степеней свободы (n - 2)
. Если t набл > t кр,
то полученное значение коэффициента парной корреляции признается значимым. Критическое значение при и равно Проверим значимость коэффициента детерминации, используя F
‑критерий Фишера. Вычислим статистику F
по формуле: m = 3
– число параметров в уравнении регрессии; N = 37
– число наблюдений в выборочной совокупности. Математической моделью статистического распределения F
-статистики является распределение Фишера с и степенями свободы. Критическое значение этой статистики при и и степенях свободы равно . Таким образом, модель объясняет 99.8%
общей дисперсии признака Y
. Это указывает на то, что подобранная модель является адекватной. Расчет прогнозных значений и суммы квадратов отклонений.
Введем в ячейку Q2
формулу =$F$54*N2+$E$54*O2
(расчет прогнозных значений), затем скопируем ее в ячейки Q3:Q38
. В ячейку R2
формулу =(P2-Q2)^2
(расчет суммы квадратов отклонений), затем скопируем ее в ячейки R3:R38
, и подсчитаем сумму полученных значений в ячейке R39
. Форма отчета
Варианты
Контрольные вопросы
Парная регрессия
1. Что понимается под парной регрессией? 2. Какие задачи решаются при построении уравнения регрессии? 3. Какие методы применяются для выбора вида модели регрессии? 4. Какие функции чаще всего используются для построения уравнения пар- 5. ной регрессии? 6. Какой вид имеет система нормальных уравнений метода наименьших 7. квадратов в случае линейной регрессии? 8. Как вычисляется и что показывает индекс детерминации? 9. Как проверяется значимость уравнения регрессии? 10. Как проверяется значимость коэффициентов уравнения регрессии? 11. Понятие доверительного интервала для коэффициентов регрессии. 12. Понятие точечного и интервального прогноза по уравнению линейной регрессии. 13. Как вычисляются и что показывают коэффициент эластичности Э
, средний коэффициент эластичности Ý
? Множественная регрессия
1. Что понимается под множественной регрессией? 2. Чем отличается модель множественной линейной регрессии от модели парной линейной регрессии? Запишите уравнение множественной линейной регрессии. 3. Какие задачи решаются при построении уравнения регрессии? 4. Какие задачи решаются при спецификации модели? 5. Какие требования предъявляются к факторам, включаемым в уравнение регрессии? 6. Что понимается под коллинеарностью факторов? 7. Как проверяется наличие коллинеарности? 8. Какие подходы применяются для преодоления межфакторной корреляции? 9. Какие функции чаще используются для построения уравнения множественной регрессии? 10. По какой формуле вычисляется индекс множественной корреляции? 11. Как вычисляются индекс множественной детерминации? 12. Что такое коэффициент детерминации? Как с его помощью оценивается адекватность модели? 13. Что означает низкое значение коэффициента множественной корреляции? 14. Как проверяется значимость уравнения регрессии и отдельных коэффициентов? 15. Как строятся гипотезы о проверке значимости параметров модели? 16. Как строятся частные уравнения регрессии? 17. Как вычисляются средние частные коэффициенты эластичности? 18. Как строятся доверительные интервалы для параметров модели? 19. Что понимается под гомоскедастичностью ряда остатков? 20. Как проверяется гипотеза о гомоскедастичности ряда остатков? 21. Как называют зависимую переменную в модели? 22. Как называют независимые переменные в модели? 23. Назовите основной метод построения модели. 24. Запишите модель множественной регрессии в общем виде с 3 незав.переменными 25. Запишите сумму квадратов отклонений модели(формула) 26. Что такое RSS?(определение и формула) 27. Как проверить значимость построенной модели в целом? 28. Как проверить значимость коэффициента при переменной X_3? 29. Сфомулируйте экономический смысл коэффициента например при переменно X_5 30. Что такое "короткая модель"множественной регрессии Литература
1. Шанченко, Н. И.Эконометрика: лабораторный практикум: учебное пособие /Н. И. Шанченко. – Ульяновск: УлГТУ, 2011. – 117 с. 2. Давнис В.В., Тинякова В.И. Компьютерный практикум по эконометрическому моделированию. Воронеж, 2003. - 63 с. Исходные данные характеризуют цену продажи некоторого товара в отдельные моменты времени. Необходимо построить регрессионную модель динамики изменения данного показателя. Факторы, предположительно оказывающие влияние на данную величину, включают цену продажи товара-субститута, объем продажи товара, объем затрат на рекламу, средние затраты на рекламу. Цена продажи – зависимая величина, обозначим ее Y. Факторы, влияющие (предположительно) на величину Y обозначим X i: X 1 – цена товара-субститута, X 2 – объем продаж, X 3 – объем затрат на рекламу, X 4 - средние затраты на рекламу. Исходные данные
25.07.16
Ирина Аничина
33095
0
В данной статье мы поговорим о том, как понять, качественную ли модель мы построили. Ведь именно качественная модель даст нам качественные прогнозы. Prognoz Platform обладает обширным списком моделей для построения и анализа. Каждая модель имеет свою специфику и применяется при различных предпосылках. Объект «Модель» позволяет построить следующие регрессионные модели: Начнём с модели линейной регрессии. Многое из сказанного будет распространяться и на другие виды. Модель линейной регрессии (оценка МНК)
где y
– объясняемый ряд, x
1
, …,
x k
– объясняющие ряды, e
– вектор ошибок модели, b
0
,
b
1
, …,
b k
– коэффициенты модели. Итак, куда смотреть? Коэффициенты модели
Для каждого коэффициента на панели «Идентифицированное уравнение» вычисляется ряд статистик: стандартная ошибка,
t
-статистика
, вероятность значимости коэффициента
. Последняя является наиболее универсальной и показывает, с какой вероятностью удаление из модели фактора, соответствующего данному коэффициенту, не окажется значимым. Открываем панель и смотрим на последний столбец, ведь он – именно тот, кто сразу же скажет нам о значимости коэффициентов. Факторов с большой вероятностью незначимости в модели быть не должно. Как вы видите, при исключении последнего фактора коэффициенты модели практически не изменились. Возможные проблемы:
Что делать, если согласно вашей теоретической модели фактор с большой вероятностью незначимости обязательно должен быть? Существуют и другие способы определения значимости коэффициентов. Например, взгляните на матрицу корреляции факторов. Матрица корреляции
Панель «Корреляция факторов» содержит матрицу корреляции
между всеми переменными модели, а также строит облако наблюдений для выделенной пары значений. Коэффициент корреляции
показывает силу линейной зависимости между двумя переменными. Он изменяется от -1 до 1. Близость к -1 говорит об отрицательной линейной зависимости, близость к 1 – о положительной. Облако наблюдений позволяет визуально определить, похожа ли зависимость одной переменной от другой на линейную. Если среди факторов встречаются сильно коррелирующие между собой, исключите один из них. При желании вместо модели обычной линейной регрессии вы можете построить модель с инструментальными переменными, включив в список инструментальных исключённые из-за корреляции факторы. Матрица корреляции не имеет смысла для модели нелинейной регрессии, поскольку она показывает только силу линейной
зависимости. Критерии качества
Помимо проверки каждого коэффициента модели важно знать, насколько она хороша в целом. Для этого вычисляют статистики, расположенные на панели «Статистические характеристики». Коэффициент детерминации (R
2
)
– наиболее распространённая статистика для оценки качества модели. R
2
рассчитывается по следующей формуле: где n
– число наблюдений; y i
— значения объясняемой переменной; R
2
принимает значение от 0 до 1 и показывает долю объяснённой дисперсии объясняемого ряда. Чем ближе R
2
к 1, тем лучше модель, тем меньше доля необъяснённого. Возможные проблемы:
Проблемы с использованием R
2
заключаются в том, что его значение не уменьшается при добавлении в уравнение факторов, сколь плохи бы они ни были. Он гарантированно будет равен 1, если мы добавим в модель столько факторов, сколько у нас наблюдений. Поэтому сравнивать модели с разным количеством факторов, используя R
2
, не имеет смысла. Для более адекватной оценки модели используется скорректированный коэффициент детерминации (Adj
R
2
)
. Как видно из названия, этот показатель представляет собой скорректированную версию R
2
, накладывая «штраф» за каждый добавленный фактор: где k
– число факторов, включенных в модель. Коэффициент Adj
R
2
также принимает значения от 0 до 1, но никогда не будет больше, чем значение R
2
. Аналогом t
-статистики коэффициента является статистика Фишера (F
-статистика)
. Однако если t
-статистика проверяет гипотезу о незначимости одного коэффициента, то F
-статистика проверяет гипотезу о том, что все факторы (кроме константы) являются незначимыми. Значение F
-статистики также сравнивают с критическим, и для него мы также можем получить вероятность незначимости. Стоит понимать, что данный тест проверяет гипотезу о том, что все факторы одновременно
являются незначимыми. Поэтому при наличии незначимых факторов модель в целом может быть значима. Возможные проблемы:
Большинство статистик строится для случая, когда модель включает в себя константу. Однако в Prognoz Platform мы имеем возможность убрать константу из списка оцениваемых коэффициентов. Стоит понимать, что такие манипуляции приводят к тому, что некоторые характеристики могут принимать недопустимые значения. Так, R
2
и Adj
R
2
при отсутствии константы могут принимать отрицательные значения. В таком случае их уже не получится интерпретировать как долю, принимающую значение от 0 до 1. Для моделей без константы в Prognoz Platform рассчитываются нецентрированные коэффициенты детерминации
(R
2
и Adj
R
2
). Модифицированная формула приводит их значения к диапазону от 0 до 1 даже в модели без константы. Посмотрим значения описанных критериев для приведённой выше модели: Как мы видим, коэффициент детерминации достаточно велик, однако есть ещё значительная доля необъяснённой дисперсии. Статистика Фишера говорит о том, что выбранная нами совокупность факторов является значимой. Сравнительные критерии
Кроме критериев, позволяющих говорить о качестве модели самой по себе, существует ряд характеристик, позволяющих сравнивать модели друг с другом (при условии, что мы объясняем один и тот же ряд на одном и том же периоде). Большинство моделей регрессии сводятся к задаче минимизации суммы квадратов остатков (sum
of
squared
residuals
,
SSR
)
. Таким образом, сравнивая модели по этому показателю, можно определить, какая из моделей лучше объяснила исследуемый ряд. Такой модели будет соответствовать наименьшее значение суммы квадратов остатков. Возможные проблемы:
Стоит заметить, что с ростом числа факторов данный показатель так же, как и R
2
, будет стремиться к граничному значению (у SSR, очевидно, граничное значение 0). Некоторые модели сводятся к максимизации логарифма функции максимального правдоподобия (LogL
)
. Для модели линейной регрессии эти задачи приводят к одинаковому решению. На основе LogL
строятся информационные критерии, часто используемые для решения задачи выбора как регрессионных моделей, так и моделей сглаживания: Все критерии учитывают число наблюдений и число параметров модели и отличаются друг от друга видом «функции штрафа» за число параметров. Для информационных критериев действует правило: наилучшая модель имеет наименьшее значение критерия. Сравним нашу модель с её первым вариантом (с «лишним» коэффициентом): Как можно увидеть, данная модель хоть и дала меньшую сумму квадратов остатков, оказалась хуже по информационным критериям и по скорректированному коэффициенту детерминации. Анализ остатков
Модель считается качественной, если остатки модели не коррелируют между собой. В противном случае имеет место постоянное однонаправленное воздействие на объясняемую переменную не учтённых в модели факторов. Это влияет на качество оценок модели, делая их неэффективными. Для проверки остатков на автокорреляцию первого порядка (зависимость текущего значения от предыдущих) используется статистика Дарбина-Уотсона (DW
)
. Её значение находится в промежутке от 0 до 4. В случае отсутствия автокорреляции DW
близка к 2. Близость к 0 говорит о положительной автокорреляции, к 4 — об отрицательной. Как оказалось, в нашей модели присутствует автокорреляция остатков. От автокорреляции можно избавиться, применив преобразование «Разность» к объясняемой переменной или воспользовавшись другим видом модели – моделью ARIMA или моделью ARMAX. Возможные проблемы:
Статистика Дарбина-Уотсона неприменима к моделям без константы, а также к моделям, которые в качестве факторов используют лагированные значения объясняемой переменной. В этих случаях статистика может показывать отсутствие автокорреляции при её наличии. Модель линейной регрессии (метод инструментальных переменных)
Модель линейной регрессии с инструментальными переменными имеет вид: где y
– объясняемый ряд, x
1
, …,
x k
– объясняющие ряды, x
̃ 1 , …,
x
̃
k
– смоделированные при помощи инструментальных переменных объясняющие ряды, z
1
, …,
z l
– инструментальные переменные, e
,
∈
j
– вектора ошибок моделей, b
0
,
b
1
, …,
b k
– коэффициенты модели, c
0
j
,
c
1
j
, …,
c lj
– коэффициенты моделей для объясняющих рядов. Схема, по которой следует проверять качество модели, является схожей, только к критериям качества добавляется J
-статистика
– аналог F
-статистики, учитывающий инструментальные переменные. Модель бинарного выбора
Объясняемой переменной в модели бинарного выбора является величина, принимающая только два значения – 0 или 1. где y
– объясняемый ряд, x
1
, …,
x k
– объясняющие ряды, e
– вектор ошибок модели, b
0
,
b
1
, …,
b k
– коэффициенты модели, F
– неубывающая функция, возвращающая значения от 0 до 1. Коэффициенты модели вычисляются методом, максимизирующим значение функции максимального правдоподобия. Для данной модели актуальными будут такие критерии качества, как: Нелинейная регрессия
Под моделью линейной регрессии будем понимать модель вида: где y
– объясняемый ряд, x
1
, …,
x k
– объясняющие ряды, e
– вектор ошибок модели, b
– вектор коэффициентов модели. Коэффициенты модели вычисляются методом, минимизирующим значение суммы квадратов остатков. Для данной модели будут актуальны те же критерии, что и для линейной регрессии, кроме проверки матрицы корреляций. Отметим ещё, что F-статистика будет проверять, является ли значимой модель в целом по сравнению с моделью y
=
b
0
+
e
, даже если в исходной модели у функции f
(x
1
, …,
x k
,
b
) нет слагаемого, соответствующего константе. Итоги
Подведём итоги и представим перечень проверяемых характеристик в виде таблицы: Надеюсь, данная статья была полезной для читателей! В следующий раз мы поговорим о других видах моделей, а именно ARIMA, ARMAX.
.
Критерий Фишера
F расч
F кр
Уравнение регрессии
8916.383
3.276
адекватно
X 2
X 5
Y
y(x)
(Y - y(x)) 2
605.1
2063.2
1626.7
1589.7
1367.523
620.1
2143.7
1602.5
1650.5
2303.318
2447.7
1880.7
1914.5
1144.709
862.1
2406.4
1982.7
1876.9
11189.53
958.4
2592.9
2026.7
106.5821
1488.9
2193.9
2180.4
182.342
1231.5
2529.7
2152.1
2020.4
17335.88
1429.6
2644.9
2133.1
8814.026
1679.5
2793.7
2344.4
2277.8
4436.216
1326.2
2669.2
2341.7
2135.8
42415.15
1456.8
2211.9
2282.7
5014.463
2523.6
2990.5
2629.8
2543.9
7377.384
2659.8
2017.5
2059.0
1722.637
923.8
2636.6
2009.4
2053.4
1939.955
1173.3
2943.1
2312.8
2792.24
1156.7
2890.9
2400.1
2272.4
16298.85
1450.2
3051.5
2508.1
2432.0
5784.146
1845.2
2684.1
2633.3
2581.453
1566.4
3052.6
2736.6
2449.8
82275.65
1729.7
3349.7
2824.5
2689.8
18152.31
1987.3
3456.3
2880.2
2804.9
5676.928
1902.7
3731.2
2812.9
2992.6
32297.9
1839.1
3517.8
2704.2
2828.0
15336.69
3953.7
3823.1
3224.2
3358.1
17922.28
1351.2
3482.9
2584.7
2731.6
21584.07
1185.3
3347.6
2466.7
2609.0
20246.66
1715.5
3585.4
2928.3
2859.2
4768.047
1536.4
3678.3
3036.4
2900.8
18389.81
1823.1
3801.6
3021.1
3032.3
124.6986
2452.1
4002.1
3237.6
3269.8
1034.273
2076.6
3990.3
3247.1
3206.5
1647.633
2129.2
3436.9
3375.5
3767.099
2502.7
4154.2
3472.8
3387.8
7220.377
2238.7
4322.7
3504.1
3472.0
1028.291
2417.6
4623.1
3357.1
3716.7
129321.2
3838.4
4817.9
4034.7
4065.3
937.7363
1468.6
3450.4
3585.0
18128.14
∑
532666.2
Тарифы на размещение рекламы и характеристики журналов
Название журнала
Y, тариф (одна страница цветной рекламы), дол.
X 1 , планируемая аудитория, тыс. человек
Х 2 , процент мужчин
Х 3 , медиана дохода семьи, дол
Audubon
25 315
51,1
38 787
Better Homes & Gardens
198 000
34 797
22,1
Business Week
68,1
63 667
Cosmopolitan
15 452
17,3
44 237
Elle
55 540
12,5
47 211
Entrepreneur
40 355
2 476
60,4
47 579
Esquire
71,3
44 715
Family Circle
147 500
24 539
38 759
first For Women
28 059
3 856
3,6
43 850
Forbes
59 340
68,8
66 606
Fortune
3 891
68,8
58 402
Glamour
85 080
7,8
Goff Digest
6 250
78,9
Good Housekeeping
166 080
25 306
12,6
38 335
Gourmet
49 640
29,6
57 060
Harper"s Bazaar
52 805
2 621
11,5
44 992
Inc.
70 825
66,9
Kiplinger"s Personal Finance
65,1
63 876
Ladies" Home Journal
127 000
6,8
Life
63 750
14 220
46,9
Mademoiselle
55 910
Martha Stewart"s Living
93 328
4 849
16,6
McCalls
7,6
33 823
Money
98 250
60,6
Motor Trend
79 800
5 281
88,5
48 739
National Geographic
44 326
Natural History
Newsweek
148 800
20 720
53,5
53 025
Parents Magazine
72 820
18,2
PC Computing
40 675
57 916
People
125 000
33 668
Popular Mechanics
86,9
Reader"s Digest
42,4
38 060
Redbook
95 785
13 212
8,9
41 156
Rolling Stone
78 920
8 638
59,8
43 212
Runner"s World
36 850
2 078
62,9
60 222
Scientific American
37 500
2 704
Seventeen
71 115
5 738
37 034
Ski
32 480
2 249
64,5
58 629
Smart Money
42 900
2 224
63,4
Smithsonian
73 075
8 253
47,9
Soap Opera Digest
35 070
7 227
10,3
Sports Illustrated
162 000
78,8
45 897
Sunset
56 000
5 276
38,7
52 524
Teen
53 250
3 057
15,4
The New Yorker
62 435
3 223
48,9
Time
162 000
22 798
52,4
True Story
12,2
TV Guide
42,8
37 396
U.S. News & World Report
98 644
9 825
57,5
52 018
Vanity Fair
67 890
4 307
27,7
Vogue
63 900
12,9
44 242
Woman"s Day
137 000
22 747
6,7
Working Woman
87 500
6,3
44 674
YM
73 270
14,4
43 696
Среднее значение
83 534
39,7
47 710
Среднеквадратическое отклонение
25,9
10 225
— среднее значение объясняемой переменной; ỹ
i
— модельные значения, построенные по оцененным параметрам.
Поиск
Мы можем оповещать вас о новых статьях,