Регрессионный анализ уравнение регрессии. Методы регрессионного анализа
Что такое регрессия?
Рассмотрим две непрерывные переменные x=(x 1 , x 2 , .., x n), y=(y 1 , y 2 , ..., y n).
Разместим точки на двумерном графике рассеяния и скажем, что мы имеем линейное соотношение
, если данные аппроксимируются прямой линией.
Если мы полагаем, что y зависит от x , причём изменения в y вызываются именно изменениями в x , мы можем определить линию регрессии (регрессия y на x ), которая лучше всего описывает прямолинейное соотношение между этими двумя переменными.
Статистическое использование слова "регрессия" исходит из явления, известного как регрессия к среднему, приписываемого сэру Френсису Гальтону (1889).
Он показал, что, хотя высокие отцы имеют тенденцию иметь высоких сыновей, средний рост сыновей меньше, чем у их высоких отцов. Средний рост сыновей "регрессировал" и "двигался вспять" к среднему росту всех отцов в популяции. Таким образом, в среднем высокие отцы имеют более низких (но всё-таки высоких) сыновей, а низкие отцы имеют сыновей более высоких (но всё-таки довольно низких).
Линия регрессии
Математическое уравнение, которое оценивает линию простой (парной) линейной регрессии:
x
называется независимой переменной или предиктором.
Y - зависимая переменная или переменная отклика. Это значение, которое мы ожидаем для y (в среднем), если мы знаем величину x , т.е. это «предсказанное значение y »
- a - свободный член (пересечение) линии оценки; это значение Y , когда x=0 (Рис.1).
- b - угловой коэффициент или градиент оценённой линии; она представляет собой величину, на которую Y увеличивается в среднем, если мы увеличиваем x на одну единицу.
- a и b называют коэффициентами регрессии оценённой линии, хотя этот термин часто используют только для b .
Парную линейную регрессию можно расширить, включив в нее более одной независимой переменной; в этом случае она известна как множественная регрессия .
Рис.1. Линия линейной регрессии, показывающая пересечение a и угловой коэффициент b (величину возрастания Y при увеличении x на одну единицу)
Метод наименьших квадратов
Мы выполняем регрессионный анализ, используя выборку наблюдений, где a
и b
- выборочные оценки истинных (генеральных) параметров, α и β , которые определяют линию линейной регрессии в популяции (генеральной совокупности).
Наиболее простым методом определения коэффициентов a
и b
является метод наименьших квадратов
(МНК).
Подгонка оценивается, рассматривая остатки (вертикальное расстояние каждой точки от линии, например, остаток = наблюдаемому y
- предсказанный y
, Рис. 2).
Линию лучшей подгонки выбирают так, чтобы сумма квадратов остатков была минимальной.
Рис. 2. Линия линейной регрессии с изображенными остатками (вертикальные пунктирные линии) для каждой точки.
Предположения линейной регрессии
Итак, для каждой наблюдаемой величины остаток равен разнице и соответствующего предсказанного Каждый остаток может быть положительным или отрицательным.
Можно использовать остатки для проверки следующих предположений, лежащих в основе линейной регрессии:
- Остатки нормально распределены с нулевым средним значением;
Если допущения линейности, нормальности и/или постоянной дисперсии сомнительны, мы можем преобразовать или и рассчитать новую линию регрессии, для которой эти допущения удовлетворяются (например, использовать логарифмическое преобразование или др.).
Аномальные значения (выбросы) и точки влияния
"Влиятельное" наблюдение, если оно опущено, изменяет одну или больше оценок параметров модели (т.е. угловой коэффициент или свободный член).
Выброс (наблюдение, которое противоречит большинству значений в наборе данных) может быть "влиятельным" наблюдением и может хорошо обнаруживаться визуально, при осмотре двумерной диаграммы рассеяния или графика остатков.
И для выбросов, и для "влиятельных" наблюдений (точек) используют модели, как с их включением, так и без них, обращают внимание на изменение оценки (коэффициентов регрессии).
При проведении анализа не стоит отбрасывать выбросы или точки влияния автоматически, поскольку простое игнорирование может повлиять на полученные результаты. Всегда изучайте причины появления этих выбросов и анализируйте их.
Гипотеза линейной регрессии
При построении линейной регрессии проверяется нулевая гипотеза о том, что генеральный угловой коэффициент линии регрессии β равен нулю.
Если угловой коэффициент линии равен нулю, между и нет линейного соотношения: изменение не влияет на
Для тестирования нулевой гипотезы о том, что истинный угловой коэффициент равен нулю можно воспользоваться следующим алгоритмом:
Вычислить статистику критерия, равную отношению , которая подчиняется распределению с степенями свободы, где стандартная ошибка коэффициента
,
- оценка дисперсии остатков.
Обычно если достигнутый уровень значимости нулевая гипотеза отклоняется.
где процентная точка распределения со степенями свободы что дает вероятность двустороннего критерия
Это тот интервал, который содержит генеральный угловой коэффициент с вероятностью 95%.
Для больших выборок, скажем, мы можем аппроксимировать значением 1,96 (то есть статистика критерия будет стремиться к нормальному распределению)
Оценка качества линейной регрессии: коэффициент детерминации R 2
Из-за линейного соотношения и мы ожидаем, что изменяется, по мере того как изменяется
, и называем это вариацией, которая обусловлена или объясняется регрессией. Остаточная вариация должна быть как можно меньше.
Если это так, то большая часть вариации будет объясняться регрессией, а точки будут лежать близко к линии регрессии, т.е. линия хорошо соответствует данным.
Долю общей дисперсии , которая объясняется регрессией называют коэффициентом детерминации , обычно выражают через процентное соотношение и обозначают R 2 (в парной линейной регрессии это величина r 2 , квадрат коэффициента корреляции), позволяет субъективно оценить качество уравнения регрессии.
Разность представляет собой процент дисперсии который нельзя объяснить регрессией.
Нет формального теста для оценки мы вынуждены положиться на субъективное суждение, чтобы определить качество подгонки линии регрессии.
Применение линии регрессии для прогноза
Можно применять регрессионную линию для прогнозирования значения по значению в пределе наблюдаемого диапазона (никогда не экстраполируйте вне этих пределов).
Мы предсказываем среднюю величину для наблюдаемых, которые имеют определенное значение путем подстановки этого значения в уравнение линии регрессии.
Итак, если прогнозируем как Используем эту предсказанную величину и ее стандартную ошибку, чтобы оценить доверительный интервал для истинной средней величины в популяции.
Повторение этой процедуры для различных величин позволяет построить доверительные границы для этой линии. Это полоса или область, которая содержит истинную линию, например, с 95% доверительной вероятностью.
Простые регрессионные планы
Простые регрессионные планы содержат один непрерывный предиктор. Если существует 3 наблюдения со значениями предиктора P , например, 7, 4 и 9, а план включает эффект первого порядка P , то матрица плана X будет иметь вид
а регрессионное уравнение с использованием P для X1 выглядит как
Y = b0 + b1 P
Если простой регрессионный план содержит эффект высшего порядка для P , например квадратичный эффект, то значения в столбце X1 в матрице плана будут возведены во вторую степень:
а уравнение примет вид
Y = b0 + b1 P2
Сигма -ограниченные и сверхпараметризованные методы кодирования не применяются по отношению к простым регрессионным планам и другим планам, содержащим только непрерывные предикторы (поскольку, просто не существует категориальных предикторов). Независимо от выбранного метода кодирования, значения непрерывных переменных увеличиваются в соответствующей степени и используются как значения для переменных X . При этом перекодировка не выполняется. Кроме того, при описании регрессионных планов можно опустить рассмотрение матрицы плана X , а работать только с регрессионным уравнением.
Пример: простой регрессионный анализ
Этот пример использует данные, представленные в таблице:
Рис. 3. Таблица исходных данных.
Данные составлены на основе сравнения переписей 1960 и 1970 в произвольно выбранных 30 округах. Названия округов представлены в виде имен наблюдений. Информация относительно каждой переменной представлена ниже:
Рис. 4. Таблица спецификаций переменных.
Задача исследования
Для этого примера будут анализироваться корреляция уровня бедности и степень, которая предсказывает процент семей, которые находятся за чертой бедности. Следовательно мы будем трактовать переменную 3 (Pt_Poor ) как зависимую переменную.
Можно выдвинуть гипотезу: изменение численности населения и процент семей, которые находятся за чертой бедности, связаны между собой. Кажется разумным ожидать, что бедность ведет к оттоку населения, следовательно, здесь будет отрицательная корреляция между процентом людей за чертой бедности и изменением численности населения. Следовательно мы будем трактовать переменную 1 (Pop_Chng ) как переменную-предиктор.
Просмотр результатов
Коэффициенты регрессии
Рис. 5. Коэффициенты регрессии Pt_Poor на Pop_Chng.
На пересечении строки Pop_Chng и столбца Парам. не стандартизованный коэффициент для регрессии Pt_Poor на Pop_Chng равен -0.40374 . Это означает, что для каждого уменьшения численности населения на единицу, имеется увеличение уровня бедности на.40374. Верхний и нижний (по умолчанию) 95% доверительные пределы для этого не стандартизованного коэффициента не включают ноль, так что коэффициент регрессии значим на уровне p<.05 . Обратите внимание на не стандартизованный коэффициент, который также является коэффициентом корреляции Пирсона для простых регрессионных планов, равен -.65, который означает, что для каждого уменьшения стандартного отклонения численности населения происходит увеличение стандартного отклонения уровня бедности на.65.
Распределение переменных
Коэффициенты корреляции могут стать существенно завышены или занижены, если в данных присутствуют большие выбросы. Изучим распределение зависимой переменной Pt_Poor по округам. Для этого построим гистограмму переменной Pt_Poor .
Рис. 6. Гистограмма переменной Pt_Poor.
Как вы можете заметить, распределение этой переменной заметно отличается от нормального распределения. Тем не менее, хотя даже два округа (два правых столбца) имеют высокий процент семей, которые находятся за чертой бедности, чем ожидалось в случае нормального распределения, кажется, что они находятся "внутри диапазона."
Рис. 7. Гистограмма переменной Pt_Poor.
Это суждение в некоторой степени субъективно. Эмпирическое правило гласит, что выбросы необходимо учитывать, если наблюдение (или наблюдения) не попадают в интервал (среднее ± 3 умноженное на стандартное отклонение). В этом случае стоит повторить анализ с выбросами и без, чтобы убедиться, что они не оказывают серьезного эффекта на корреляцию между членами совокупности.
Диаграмма рассеяния
Если одна из гипотез априори о взаимосвязи между заданными переменными, то ее полезно проверить на графике соответствующей диаграммы рассеяния.
Рис. 8. Диаграмма рассеяния.
Диаграмма рассеяния показывает явную отрицательную корреляцию (-.65 ) между двумя переменными. На ней также показан 95% доверительный интервал для линии регрессии, т.е., с 95% вероятностью линия регрессии проходит между двумя пунктирными кривыми.
Критерии значимости
Рис. 9. Таблица, содержащая критерии значимости.
Критерий для коэффициента регрессии Pop_Chng подтверждает, что Pop_Chng сильно связано с Pt_Poor , p<.001 .
Итог
На этом примере было показано, как проанализировать простой регрессионный план. Была также представлена интерпретация не стандартизованных и стандартизованных коэффициентов регрессии. Обсуждена важность изучения распределения откликов зависимой переменной, продемонстрирована техника определения направления и силы взаимосвязи между предиктором и зависимой переменной.
Лекция 3.
Регрессионный анализ.
1) Числовые характеристики регрессии
2) Линейная регрессия
3) Нелинейная регрессия
4) Множественная регрессия
5) Использование MS EXCEL для выполнения регрессионного анализа
Контрольно-оценочное средство - тестовые задания
1. Числовые характеристики регрессии
Регрессионный анализ — статистический метод исследования влияния одной или нескольких независимых переменных на зависимую переменную. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных, а не причинно-следственные отношения.
Цели регрессионного анализа
- Определение степени детерминированности вариации критериальной (зависимой) переменной предикторами (независимыми переменными).
- Предсказание значения зависимой переменной с помощью независимой(-ых).
- Определение вклада отдельных независимых переменных в вариацию зависимой.
Регрессионный анализ нельзя использовать для определения наличия связи между переменными, поскольку наличие такой связи и есть предпосылка для применения анализа.
Для проведения регрессионного анализа первоначально необходимо познакомиться с базовыми понятиями статистики и теории вероятности.
Основные числовые характеристики дискретных и непрерывных случайных величин: математическое ожидание, дисперсия и среднее квадратическое отклонение.
Случайные величине делят на две разновидности:
- · дискретные, которые могут принимать только конкретные, заранее оговоренные значения (например, - значения чисел на верхней грани брошенной игральной кости или порядковые значения текущего месяца);
- · непрерывные (чаще всего - значения некоторых физических величин: веса, расстояния, температуры и т.п.), которые по законам природы могут принимать любые значения, хотя бы и в некотором интервале.
Закон распределения случайной величины - это соответствие между возможными значениями дискретной случайной величины и ее вероятностями, обычно записывается в таблицу:
Статистическое определение вероятности выражается через относительную частоту случайного события, то есть находится как отношение количества случайных величин к общему числу случайных величин.
Математическим ожиданием дискретной случайной величины X называется сумма произведений значений величины X на вероятности этих значений. Математическое ожидание обозначают или M (X ) .
n
= M (X ) = x 1 p 1 + x 2 p 2 +… + x n p n = S x i p i
i =1
Рассеяние случайной величины относительно её математического ожидания определяется с помощью числовой характеристики, называемой дисперсией. Проще говоря, дисперсия - это разброс случайной величины относительно среднего значения. Для понятия сущности дисперсии рассмотрим пример. Средняя заработная плата по стране составляет около 25 тысяч рублей. Откуда берется эта цифра? Скорее всего, складываются все зарплаты и делятся на количество работников. В данном случае очень большая дисперсия (минимальная зарплата около 4 тыс. руб., а максимальная - около 100 тыс. руб.). Если бы зарплата у всех была одинаковой, то дисперсия была бы равна нулю, и разброса бы не было.
Дисперсией дискретной случайной величины X называют математическое ожидание квадрата разности случайной величины и её математического ожидания:
D = M [ ((X - M (X)) 2 ]
Используя определение математического ожидания для вычисления дисперсии, получаем формулу:
D = S (x i - M (X)) 2 · p i
Дисперсия имеет размерность квадрата случайной величины. В тех случаях, когда нужно иметь числовую характеристику рассеяния возможных значений в той же размерности, что и сама случайная величина, используют среднее квадратичное отклонение.
Средним квадратичным отклонением случайной величины называют корень квадратный из её дисперсии.
Среднее квадратичное отклонение есть мера рассеяния значений случайной величины около ее математического ожидания.
Пример.
Закон распределения случайной величины Х задан следующей таблицей:
Найти её математическое ожидание, дисперсию и среднее квадратичное отклонение.
Используем приведенные выше формулы:
М (Х) = 1 · 0,1 + 2 · 0,4 + 4 · 0,4 + 5 · 0,1 = 3
D = (1-3) 2 · 0,1 + (2 - 3) 2 · 0,4 + (4 - 3) 2 · 0,4 + (5 - 3) 2 · 0,1 = 1,6
Пример.
В денежной лотерее разыгрывается 1 выигрыш в 1000 рублей, 10 выигрышей по 100 рублей и 100 выигрышей по 1 рублю при общем числе билетов 10000. Составьте закон распределения случайного выигрыша Х для владельца одного лотерейного билета и определите математическое ожидание, дисперсию и среднее квадратичное отклонение случайной величины.
X 1 = 1000, Х 2 = 100, Х 3 = 1, Х 4 = 0,
Р 1 = 1/10000 = 0,0001, Р 2 = 10/10000 = 0,001, Р 3 = 100/10000 = 0,01, Р 4 = 1 - (Р 1 + Р 2 + Р 3) = 0,9889.
Результаты поместим в таблицу:
Математическое ожидание - сумма парных произведений значения случайной величины на их вероятность. Для данной задачи его целесообразно вычислить по формуле
1000 · 0,0001 + 100 · 0,001 + 1 · 0,01 + 0 · 0,9889 = 0,21 рубля.
Получили настоящую «справедливую» цену билета.
D = S (x i - M (X)) 2 · p i = (1000 - 0,21) 2 0,0001 + (100 - 0,21) 2 0,001 +
+ (1 - 0,21) 2 0,01 + (0 - 0,21) 2 0,9889 ≈ 109,97
Функция распределения непрерывных случайных величин
Величину, которая в результате испытания примет одно возможное значение (при этом заранее неизвестно какое), называется случайной величиной. Как говорилось выше, случайные величины бывают дискретные (прерывные) и непрерывные.
Дискретной называют случайную величину, принимающую отдельные друг от друга возможные значения с определенными вероятностями, которые можно пронумеровать.
Непрерывной называют случайную величину, которая может принимать все значения из некоторого конечного или бесконечного интервала.
До этого момента мы ограничивались только одной “разновидностью” случайных величин - дискретных, т.е. принимающих конечные значения.
Но теория и практика статистики требуют использовать понятие непрерывной случайной величины - допускающей любые числовые значения, из какого - либо интервала.
Закон распределения непрерывной случайной величины удобно задавать с помощью так называемой функции плотности вероятности. f (х). Вероятность Р (a < X < b) того, что значение, принятое случайной величиной Х, попадет в промежуток (a; b), определяется равенством
Р (a < X < b) = ∫ f (x ) dx
График функции f (х) называется кривой распределения. Геометрически вероятность попадания случайной величины в промежуток (a; b), равна площади соответствующей криволинейной трапеции, ограниченной кривой распределения, осью Ох и прямыми х = а, х = b.
P(a£X Если от сложного события вычесть конечное либо счетное множество, вероятность наступления нового события останется неизменной. Функция f(x) - числовая скалярная функция действительного аргумента x называется плотностью вероятности, и существует в точке x, если в этой точке существует предел: Свойства плотности вероятности: (если все значения случайной величины Х заключены в промежутке (a;b), то последнее равенство можно записать в виде ∫ f (x) dx = 1). Рассмотрим теперь функцию F(х) = Р (Х < х). Эта функция называется функцией распределения вероятности случайной величины Х. Функция F(х) существует как для дискретных, так и для непрерывных случайных величин. Если f (x) - функция плотности распределения вероятности непрерывной случайной величины Х, то F (х) = ∫ f(x) dx = 1). Из последнего равенства следует, что f (x) = F" (x) Иногда функцию f(x) называют дифференциальной функцией распределения вероятности, а функцию F(x) - интегральной функцией распределения вероятности. Отметим важнейшие свойства функции распределения вероятности: Понятие функции распределения является центральным в теории вероятностей. Используя это понятие, можно дать другое определение непрерывной случайной величины. Случайная величина называется непрерывной, если ее интегральная функция распределения F(х) непрерывна. Числовые характеристики непрерывных случайных величин
Математическое ожидание, дисперсия и другие параметры любых случайных величин практически всегда вычисляются по формулам, вытекающим из закона распределения. Для непрерывной случайной величины математическое ожидание вычисляется по формуле: М (Х) = ∫ x · f(x
)
dx
Дисперсия: D (X) = ∫ (x -
М (Х)) 2 f
(x
)
dx
или D (X) = ∫ x
2 f(x
)
dx
-
(М (Х)) 2 2. Линейная регрессия
Пусть составляющие Х и Y двумерной случайной величины (Х, Y) зависимы. Будем считать, что одну из них можно приближенно представить как линейную функцию другой, например Y ≈ g(Х) = α + βХ, и определим параметры α и β с помощью метода наименьших квадратов. Определение. Функция g(Х) = α + βХ называется наилучшим приближением
Y в смысле метода наименьших квадратов, если математическое ожидание М(Y - g(Х)) 2 принимает наименьшее возможное значение; функцию g(Х) называют среднеквадратической регрессией
Y на Х. Теорема
Линейная средняя квадратическая регрессия Y на Х имеет вид: где - коэффициент корреляции Х иY. Коэффициенты уравнения. Можно проверить, что при этих значениях функция функция F(α, β) F
(α, β
) = M
(Y - α - βX
)² имеет минимум, что доказывает утверждение теоремы. Определение. Коэффициент называется коэффициентом регрессии Y на Х
, а прямая - - прямой среднеквадратической регрессии Y на Х
. Подставив координаты стационарной точки в равенство, можно найти минимальное значение функции F(α, β), равное Эта величина называется остаточной дисперсией
Y относительно Х и характеризует величину ошибки, допускаемой при замене Y на g(Х) = α+βХ. При остаточная дисперсия равна 0, то есть равенство является не приближенным, а точным. Следовательно, при Y и Х связаны линейной функциональной зависимостью. Аналогично можно получить прямую среднеквадратической регрессии Х на Y: и остаточную дисперсию Х относительно Y. При обе прямые регрессии совпадают. Сопоставив уравнения регрессии У на Х и Х на У и решив систему из уравнений, можно найти точку пересечения прямых регрессии - точку с координатами (т х, т у), называемую центром совместного распределения величин Х и Y.
Алгоритм составления уравнений регрессии рассмотрим из учебника В. Е. Гмурмана «Теория вероятности и математическая статистика» стр. 256. 1) Составить расчетную таблицу, в которой будут записаны номера элементов выборки, варианты выборки, их квадраты и произведение. 2) Вычислить сумму по всем столбцам, кроме номера. 3) Вычислить средние значения для каждой величины, дисперсии и средне квадратические отклонения. 5) Проверить гипотезу о существовании связи между Х и У. 6) Составить уравнения обеих линий регрессии и изобразить графики этих уравнений. Угловой коэффициент прямой линии регрессии У на Х - это выборочный коэффициент регрессии Коэффициент b= Получим искомое уравнение линии регрессии У на Х: У = 0,202 Х + 1,024 Аналогично уравнение регрессии Х на У: Угловой коэффициент прямой линии регрессии У на Х - это выборочный коэффициент регрессии pxy: Коэффициент b= Х = 4,119У - 3,714 3. Нелинейная регрессия
Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций. Различают два класса нелинейных регрессий: 1. Регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, например: Полиномы разных степеней Равносторонняя гипербола - ; Полулогарифмическая функция - . 2. Регрессии, нелинейные по оцениваемым параметрам, например: Степенная - ; Показательная - ; Экспоненциальная - . Регрессии нелинейные по включенным переменным приводятся к линейному виду простой заменой переменных, а дальнейшая оценка параметров производится с помощью метода наименьших квадратов. Рассмотрим некоторые функции. Парабола второй степени приводится к линейному виду с помощью замены: . В результате приходим к двухфакторному уравнению, оценка параметров которого при помощи Метода наименьших квадратов приводит к системе уравнений: Парабола второй степени обычно применяется в случаях, когда для определенного интервала значений фактора меняется характер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую. Равносторонняя гипербола может быть использована для характеристики связи удельных расходов сырья, материалов, топлива от объема выпускаемой продукции, времени обращения товаров от величины товарооборота. Классическим ее примером является кривая Филлипса, характеризующая нелинейное соотношение между нормой безработицы x
и процентом прироста заработной платы y
. Гипербола приводится к линейному уравнению простой заменой: . Также можно использовать Метод наименьших квадратов для составления системы линейных уравнений. Аналогичным образом приводятся к линейному виду зависимости: , и другие. Равносторонняя гипербола и полулогарифмическая кривая используют для описания кривой Энгеля (математическое описание взаимосвязи доли расходов на товары длительного пользования и общих сумм расходов (или доходов)). Уравнения, в которых входят, применяются в исследованиях урожайности, трудоемкости сельскохозяйственного производства. 4. Множественная регрессия
Множественная регрессия - уравнение связи с несколькими независимыми переменными: где - зависимая переменная (результативный признак); Независимые переменные (факторы). Для построения уравнения множественной регрессии чаще используются следующие функции: линейная - степенная - экспонента - гипербола - . Можно использовать и другие функции, приводимые к линейному виду. Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов (МНК). Для линейных уравнений и нелинейных уравнений, приводимых к линейным, строится следующая система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии: Для ее решения может быть применен метод определителей: где - определитель системы; Частные определители; которые получаются путем замены соответствующего столбца матрицы определителя системы данными левой части системы. Другой вид уравнения множественной регрессии - уравнение регрессии в стандартизированном масштабе, к уравнению множественной регрессии в стандартизированном масштабе применим МНК. 5. Использование
MS
EXCEL
для выполнения регрессионного анализа
Регрессионный анализ устанавливает формы зависимости между случайной величиной Y (зависимой) и значениями одной или нескольких переменных величин (независимых), причем значения последних считаются точно заданными. Такая зависимость обычно определяется некоторой математической моделью (уравнением регрессии), содержащей несколько неизвестных параметров. В ходе регрессионного анализа на основании выборочных данных находят оценки этих параметров, определяются статистические ошибки оценок или границы доверительных интервалов и проверяется соответствие (адекватность) принятой математической модели экспериментальным данным. В линейном регрессионном анализе связь между случайными величинами предполагается линейной. В самом простом случае в парной линейной регрессионной модели имеются две переменные Х и Y. И требуется по n парам наблюдений (X1, Y1), (X2, Y2), ..., (Xn, Yn) построить (подобрать) прямую линию, называемую линией регрессии, которая «наилучшим образом» приближает наблюдаемые значения. Уравнение этой линии y=аx+b является регрессионным уравнением. С помощью регрессионного уравнения можно предсказать ожидаемое значение зависимой величины y, соответствующее заданному значению независимой переменной x. В случае, когда рассматривается зависимость между одной зависимой переменной Y и несколькими независимыми X1, X2, ..., Xm, говорят о множественной линейной регрессии. В этом случае регрессионное уравнение имеет вид y = a 0 +a 1 x 1 +a 2 x 2 +…+a m x m , где a0, a1, a2, …, am - требующие определения коэффициенты регрессии. Коэффициенты уравнения регрессии определяются при помощи метода наименьших квадратов, добиваясь минимально возможной суммы квадратов расхождений реальных значений переменной Y и вычисленных по регрессионному уравнению. Таким образом, например, уравнение линейной регрессии может быть построено даже в том случае, когда линейная корреляционная связь отсутствует. Мерой эффективности регрессионной модели является коэффициент детерминации R2 (R-квадрат). Коэффициент детерминации может принимать значения между 0 и 1 определяет, с какой степенью точности полученное регрессионное уравнение описывает (аппроксимирует) исходные данные. Исследуется также значимость регрессионной модели с помощью F-критерия (Фишера) и достоверность отличия коэффициентов a0, a1, a2, …, am от нуля проверяется с помощью критерия Стьюдента. В Excel экспериментальные данные аппроксимируются линейным уравнением до 16 порядка: y = a0+a1x1+a2x2+…+a16x16 Для получения коэффициентов линейной регрессии может быть использована процедура «Регрессия» из пакета анализа. Также полную информацию об уравнении линейной регрессии дает функция ЛИНЕЙН. Кроме того, могут быть использованы функции НАКЛОН и ОТРЕЗОК для получения параметров регрессионного уравнения и функция ТЕНДЕНЦИЯ и ПРЕДСКАЗ для получения предсказанных значений Y в требуемых точках (для парной регрессии). Рассмотрим подробно применение функции ЛИНЕЙН (известные_y, [известные_x], [константа], [статистика]): известные_у - диапазон известных значений зависимого параметра Y. В парном регрессионном анализе может иметь любую форму; в множественном должен быть строкой либо столбцом; известные_х - диапазон известных значений одного или нескольких независимых параметров. Должен иметь ту же форму, что и диапазон Y (для нескольких параметров - соответственно несколько столбцов или строк); константа - логический аргумент. Если исходя из практического смысла задачи регрессионного анализа необходимо, чтобы линия регрессии проходила через начало координат, то есть свободный коэффициент был равен 0, значение этого аргумента следует положить равным 0 (или «ложь»). Если значение положено 1 (или «истина») или опущено, то свободный коэффициент вычисляется обычным образом; статистика - логический аргумент. Если значение положено 1 (или «истина»), то дополнительно возвращается регрессионная статистика (см таблицу), используемая для оценки эффективности и значимости модели. В общем случае для парной регрессии y=аx+b результат применения функции ЛИНЕЙН имеет вид: Таблица. Выводной диапазон функции ЛИНЕЙН для парного регрессионного анализа В случае множественного регрессионного анализа для уравнения y=a0+a1x1+a2x2+…+amxm в первой строке выводятся коэффициенты am,…,a1,а0, во второй - стандартные ошибки для этих коэффициентов. В 3-5 строках за исключением первых двух столбцов, заполненных регрессионной статистикой, будет получено значение #Н/Д. Вводить функцию ЛИНЕЙН следует как формулу массива, выделив вначале массив нужного размера для результата (m+1 столбец и 5 строк, если требуется регрессионная статистика) и завершив ввод формулы нажатием CTRL+SHIFT+ENTER. Результат для нашего примера: Кроме этого в программе имеется встроенная функция - Анализ данных на вкладке Данные. С помощью нее можно также выполнять регрессионный анализ: На слайде - результат регрессионного анализа, выполненного с помощью Анализа данных. ВЫВОД ИТОГОВ Регрессионная статистика
Множественный R R-квадрат Нормированный R-квадрат Стандартная ошибка Наблюдения Дисперсионный анализ Значимость F
Регрессия Коэффициенты
Стандартная ошибка
t-статистика
P-Значение
Нижние 95%
Верхние 95%
Нижние 95,0%
Верхние 95,0%
Y-пересечение Переменная X 1 Уравнения регрессии, которые мы смотрели ранее также построены в MS Excel. Для их выполнения сначала строится Точечная диаграмма, затем через контекстное меню выбираем - Добавить линию тренда. В новом окне ставим галочки - Показывать уравнение на диаграмме и поместить на диаграмму величину достоверности апроксимации (R^2). Литература:
Парная регрессия - уравнение связи двух переменных у и х: , где y - зависимая переменная (результативный признак); x - независимая, объясняющая переменная (признак-фактор). Различают линейные и нелинейные регрессии.
Задача дисперсионного анализа состоит в анализе дисперсии зависимой переменной:
F-тест - оценивание качества уравнения регрессии - состоит в проверке гипотезы Но о статистической незначимости уравнения регрессии и показателя тесноты связи. Для этого выполняется сравнение фактического F факт и критического (табличного) F табл значений F-критерия Фишера. F факт определяется из соотношения значений факторной и остаточной дисперсий, рассчитанных на одну степень свободы:
Уравнение регрессии: у =
76,88 - 0,35х.
С увеличением среднедневной заработной платы на 1 руб. доля расходов на покупку продовольственных товаров снижается в среднем на 0,35 %-ных пункта.
поскольку 1< F
<
¥
, следует рассмотреть F
-1 .
Для расчетов используем данные табл. 1.3. Таблица 1.3 Рассчитаем С иb:
1в
. Построению уравнения показательной кривой предшествует процедура линеаризации переменных при логарифмировании обеих частей уравнения:
Значения параметров регрессии A и В
составили:
После того как с помощью корреляционного анализа выявлено наличие статистических связей между переменными и оценена степень их тесноты, обычно переходят к математическому описанию конкретного вида зависимостей с использованием регрессионного анализа. С этой целью подбирают класс функций, связывающий результативный показатель у и аргументы х 1, х 2,…, х к отбирают наиболее информативные аргументы, вычисляют оценки неизвестных значений параметров уравнения связи и анализируют свойства полученного уравнения. Функция f(х 1, х 2,…, х к) описывающая зависимость среднего значения результативного признака у от заданных значений аргументов, называется функцией (уравнением) регрессии. Термин «регрессия» (лат. -regression- отступление, возврат к чему-либо) введен английским психологом и антропологом Ф.Гальтоном и связан исключительно со спецификой одного из первых конкретных примеров, в котором это понятие было использовано. Так, обрабатывая статистические данные в связи с анализом наследственности роста, Ф. Гальтон нашел, что если отцы отклоняются от среднего роста всех отцов на x дюймов, то их сыновья отклоняются от среднего роста всех сыновей меньше, чем на x дюймов. Выявленная тенденция была названа «регрессией к среднему состоянию». С тех пор термин «регрессия» широко используется в статистической литературе, хотя во многих случаях он недостаточно точно характеризует понятие статистической зависимости. Для точного описания уравнения регрессии необходимо знать закон распределения результативного показателя у. В статистической практике обычно приходится ограничиваться поиском подходящих аппроксимаций для неизвестной истинной функции регрессии, так как исследователь не располагает точным знанем условного закона распределения вероятностей анализируемого результатирующего показателя у при заданных значениях аргумента х. Рассмотрим взаимоотношение между истинной f(х) = М(у1х), мо дельной регрессией? и оценкой y регрессии. Пусть результативный показатель у связан с аргументом х соотношением: где - е случайная величина, имеющая нормальный закон распределения, причем Ме = 0 и D е = у 2 . Истинная функция регрессии в этом случае имеет вид: f (х) = М(у/х) = 2х 1.5 . Предположим, что точный вид истинного уравнения регрессии нам не известен, но мы располагаем девятью наблюдениями над двумерной случайной величиной, связанной соотношением уi= 2х1,5+е, и представленной на рис. 1 Рисунок 1 - Взаимное расположение истиной f (х) и теоретической? модели регрессии Расположение точек на рис. 1 позволяет ограничиться классом линейных зависимостей вида? = в 0 +в 1 x. С помощью метода наименьших квадратов найдем оценку уравнения регрессии у = b 0 +b 1 x. Для сравнения на рис. 1 приводятся графики истинной функции регрессии у=2х 1,5 , теоретической аппроксимирующей функции регрессии? = в 0 +в 1 x . Поскольку мы ошиблись в выборе класса функции регрессии, а это достаточно часто встречается в практике статистических исследований, то наши статистические выводы и оценки окажутся ошибочными. И как бы мы ни увеличивали объем наблюдений, наша выборочная оценка у не будет близка к истинной функции регрессии f (х). Если бы мы правильно выбрали класс функций регрессии, то неточность в описании f(х) с помощью? объяснялась бы только ограниченностью выборки. С целью наилучшего восстановления по исходным статистическим данным условного значения результативного показателя у(х) и неизвестной функции регрессии f(х) = М(у/х) наиболее часто используют следующие критерии адекватности (функции потерь). Метод наименьших квадратов. Согласно ему минимизируется квадрат отклонения наблюдаемых значений результативного показателя у, (i = 1,2,..., п) от модельных значений,? = f(х i), где, х i - значение вектора аргументов в i-м наблюдении: ?(y i - f(х i) 2 > min. Получаемая регрессия называется среднеквадратической. Метод наименьших модулей. Согласно ему минимизируется сумма абсолютных отклонений наблюдаемых значений результативного показателя от модульных значений. И получаем,? = f(х i), среднеабсолютную медианную регрессию? |y i - f(х i)| >min. Регрессионным анализом называется метод статистического анализа зависимости случайной величины у от переменных х j = (j=1,2,..., к), рассматриваемых в регрессионном анализе как неслучайные величины, независимо от истинного закона распределения х j. Обычно предполагается, что случайная величина у имеет нормальный закон распределения с условным математическим ожиданием у, являющимся функцией от аргументов х/ (/= 1, 2,..., к) и постоянной, не зависящей от аргументов, дисперсией у 2 . В общем линейная модель регрессионного анализа имеет вид: Y
= Уk
j=0
вj
цj
(x1
,
x2 . . ..
,xk
)+Э где ц j - некоторая функция его переменных - x 1 , x 2 . . .. ,x k , Э - случайная величина с нулевым математическим ожиданием и дисперсией у 2 . В регрессионном анализе вид уравнения регрессии выбирают исходя из физической сущности изучаемого явления и результатов наблюдения. Оценки неизвестных параметров уравнения регрессии находят обычно методом наименьших квадратов. Ниже остановимся более подробно на этой проблеме. Двумерное линейное уравнение регрессии. Пусть на основании анализа исследуемого явления предполагается, что в «среднем» у есть линейная функция от х, т. е. имеется уравнение регрессии у=М(у/х)=в 0 + в 1 х) где М(у1х) - условное математическое ожидание случайной величины у при заданном х; в 0 и в 1 - неизвестные параметры генеральной совокупности, которые надлежит оценить по результатам выборочных наблюдений. Предположим, что для оценки параметров в 0 и в 1 из двухмерной генеральной совокупности (х, у) взята выборка объемом n, где (х, у,) результат i-го наблюдения (i = 1, 2,..., n). В этом случае модель регрессионного анализа имеет вид: y j = в 0 + в 1 x+е j . где е j .- независимые нормально распределенные случайные величины с нулевым математическим ожиданием и дисперсией у 2 , т. е. М е j . = 0; D е j .= у 2 для всех i = 1, 2,..., n. Согласно методу наименьших квадратов в качестве оценок неизвестных параметров в 0 и в 1 следует брать такие значения выборочных характеристик b 0 и b 1 , которые минимизируют сумму квадратов отклонений значений результативного признака у i от условного математического ожидания? i Методику определения влияния характеристик маркетинга на прибыль предприятия рассмотрим на примере семнадцати типичных предприятий, имеющих средние размеры и показатели хозяйственной деятельности. При решении задачи учитывались следующие характеристики, выявленные в результате анкетного опроса как наиболее значимые (важные): * инновационная деятельность предприятия; * планирование ассортимента производимой продукции; * формирование ценовой политики; * взаимоотношения с общественностью; * система сбыта; * система стимулирования работников. На основе системы сравнений по факторам были построены квадратные матрицы смежности, в которых вычислялись значения относительных приоритетов по каждому фактору: инновационная деятельность предприятия, планирование ассортимента производимой продукции, формирование ценовой политики, реклама, взаимоотношения с общественностью, система сбыта, система стимулирования работников. Оценки приоритетов по фактору «взаимоотношения с общественностью» получены в результате анкетирования специалистов предприятия. Приняты следующие обозначения: > (лучше), > (лучше или одинаково), = (одинаково), < (хуже или одинаково), < Далее решалась задача комплексной оценки уровня маркетинга предприятия. При расчете показателя была определена значимость (вес) рассмотренных частных признаков и решалась задача линейного свертывания частных показателей. Обработка данных производилась по специально разработанным программам. Далее рассчитывается комплексная оценка уровня маркетинга предприятия -- коэффициент маркетинга, который вносится в таблице 1. Кроме того, в названую таблицу включены показатели, характеризующие предприятие в целом. Данные в таблице будут использованы для проведения регрессионного анализа. Результативным признаком является прибыль. В качестве факторных признаков наряду с коэффициентом маркетинга использованы следующие показатели: объем валовой продукции, стоимость основных фондов, численность работников, коэффициент специализации. Таблица 1 - Исходные данные для регрессионного анализа По данным таблицы и на основе факторов с наиболее существенными значениями коэффициентов корреляции были построены регрессионные функции зависимости прибыли от факторов. Уравнение регрессии в нашем случае примет вид: О количественном влиянии рассмотренных выше факторов на величину прибыли говорят коэффициенты уравнения регрессии. Они показывают, на сколько тысяч рублей изменяется ее величина при изменении факторного признака на одну единицу. Как следует из уравнения, увеличение коэффициента комплекса маркетинга на одну единицу дает прирост прибыли на 1547,7 тыс. руб. Это говорит о том, что в совершенствовании маркетинговой деятельности кроется огромный потенциал улучшения экономических показателей предприятий. При исследовании эффективности маркетинга наиболее интересным и самым важным факторным признаком является фактор Х5 -- коэффициент маркетинга. В соответствии с теорией статистики достоинство имеющегося уравнения множественной регрессии является возможность оценивать изолированное влияние каждого фактора, в том числе фактора маркетинга. Результаты проведенного регрессионного анализа имеют и более широкое применение, чем для расчета параметров уравнения. Критерий отнесения (КЭф,) предприятий к относительно лучшим или относительно худшим основан на относительном показателе результата: где Y фактi - фактическая величина i-го предприятия, тыс. руб.; Y расчi -величина прибыли i-го предприятия, полученная расчетным путем по уравнению регрессии В терминах решаемой задачи величина носит название «коэффициент эффективности». Деятельность предприятия можно признать эффективной в тех случаях, когда величина коэффициента больше единицы. Это означает, что фактическая прибыль больше прибыли, усредненной по выборке. Фактические и расчетные значения прибыли представлены в табл. 2. Таблица 2 - Анализ результативного признака в регрессионной модели Анализ таблицы показывает, что в нашем случае деятельность предприятий 3, 5, 7, 9, 12, 14, 15, 17 за рассматриваемый период можно признать успешной. А) Графический
анализ простой линейной регрессии.
Простое линейное
уравнение регрессии y=a+bx.
Если между случайными величинами У и X
существует корреляционная связь, то
значение у = ý
+ , где ý
– теоретическое значение у, полученное
из уравнения
ý = f(x), – погрешность
отклонения теоретического уравнения
ý
от фактических (экспериментальных)
данных. Уравнение зависимости
средней величины ý
от х, то есть ý
= f(x)
называют уравнением регрессии.
Регрессионный анализ состоит из четырёх
зтапов: 1) постановка задачи
и установление причин связи. 2) ограничение
объекта исследований, сбор статастической
информации. 3) выбор уравнения
связи на основе анализа и характера
собранных данных. 4) расчёт числовых
значений, характеристик корреляционной
связи. Если две переменные
связаны таким образом, что изменение
одной переменной соответствует
систематическому изменению другой
переменной, то для оценки и выбора
уравнения связи между ними применяют
регрессионный анализ в том случае, если
эти переменные известны. В отличие от
регрессионного анализа, корреляционный
анализ применяют для анализа тесноты
связи между X
и У. Рассмотрим
нахождение прямой при регрессионном
анализе: Теоретическое
уравнение регрессии.
Термин «простая
регрессия» указывает на то, что величина
одной переменной оценивается на основе
знаний о другой переменной. В отличие
от простой многофакторная регрессия
применяется для оценки переменной на
основе знания двух, трёх и более
переменных. Рассмотрим графический
анализ простой линейной регрессии. Предположим,
имеются результаты отборочных испытании
по предварительному найму на работу и
производительности труда. Результаты отбора
(100 баллов), x Производительность
(20 баллов), y Нанеся точки на
график, получим диаграмму (поле) рассеяния.
Используем её для анализа результатов
отборочных испытаний и производительности
труда. По диаграмме
рассеяния проанализируем линию регрессии.
В регрессионном анализе всегда указываются
хотя бы две переменные. Систематическое
изменение одной переменной связано с
изменением другой. Основная
цель
регрессионного
анализа
заключается
в оценке величины одной переменной,
если величина другой переменной известна.
Для полной задачи важна оценка
производительности труда. Независимой
переменной
в регрессионном
анализе называется величина, которая
используется в качестве основы для
анализа другой переменной. В данном
случае – это результаты отборочных
испытаний (по оси X). Зависимой
переменной
называется
оцениваемая величина (по оси У). В
регрессионном анализе может быть только
одна зависимая переменная и несколько
независимых переменных. Для простого
регрессионного анализа зависимость
можно представить в двухкоординатной
системе (х и у), по оси X
– независимая переменная, по оси У –
зависимая. Наносим точки пересечения
таким образом, чтобы на графике была
представлена пара величин. График
называют диаграммой
рассеяния
.
Ее построение
– это второй этап регрессионного
анализа, поскольку первый – это выбор
анализируемых величин и сбор данных
выборки. Таким образом, регрессионный
анализ применяется для статистического
анализа. Связь между выборочными данными
диаграммы линейная. Для оценки величины
переменной у на основе переменной х
необходимо определить положение линии,
которая наилучшим образом представляет
связь между х и у на основе расположения
точек диаграммы рассеяния. В нашем
примере это анализ производительности.
Линия, проведенная через точки рассеяния
– линия
регрессии
.
Одним из
способов построения линии регрессии,
основанном на визуальном опыте, является
способ построения от руки. По нашей
линии регрессии можно определить
производительность труда. При нахождении
уравнения линии регрессии часто применяют
критерий наименьших квадратов. Наиболее
подходящей является та линия, где сумма
квадратов отклонений минимальна Математическое
уравнение линии роста представляет
закон роста в арифметической прогрессии: у
= а
– b
х
. Y
= а
+ b
х
– приведённое уравнение с одним
параметром является простейшим
видом
уравнения связи. Оно приемлемо для
средних величин. Чтобы точнее выразить
связь между х
и у
,
вводится дополнительный коэффициент
пропорциональности b
,
который указывает наклон линии регрессии. Б) Построение
теоретической линии регрессии.
Процесс её нахождения
заключается в выборе и обосновании типа
кривой и расчётов параметров а
,
b
,
с
и т.д. Процесс построения называют
выравниванием, и запас кривых, предлагаемых
мат. анализом, разнообразен. Чаще всего
в экономических задачах используют
семейство кривых, уравнения которые
выражаются многочленами целых
положительных степеней. 1)
2)
3)
где ý – ординаты
теоретической линии регрессии. Выбрав тип уравнения,
необходимо найти параметры, от которых
зависит это уравнение. Например, характер
расположения точек в поле рассеяния
показал, что теоретическая линия
регрессии является прямой. Диаграмма рассеяния
позволяет представить производительность
труда с помощью регрессионного анализа.
В экономике с помощью регрессионного
анализа предсказываются многие
характеристики, влияющие на конечный
продукт (с учётом ценообразования). В) Критерий
наименьших кадратов для нахождения
прямой линии.
Один из критериев,
которые мы могли бы применить для
подходящей линии регрессии на диаграмме
рассеяния, основан на выборе линии, для
которой сумма квадратов погрешностей
будет минимальна. Близость точек
рассеяния к прямой измеряется ординатами
отрезков. Отклонения этих точек могут
быть положительными и отрицательными,
но сумма квадратов отклонений теоретической
прямой от экспериментальной всегда
положительна и должна быть минимальна.
Факт несовпадения всех точек рассеяния
с положением линии регрессии указывает
на существование расхождения между
экспериментальными и теоретическими
данными. Таким образом, можно сказать,
что никакая другая линия регрессии,
кроме той, которую нашли, не может дать
меньшую сумму отклонений между
экспериментальными и опытными данными.
Следовательно, найдя теоретическое
уравнение ý
и линию
регрессии, мы удовлетворяем требованию
наименьших квадратов. Это делается с
помощью уравнения связи
Выведем из уравнений
частных производных формулы параметров
а
и b
: получим систему
уравнений: Подставив числовые
значения, найдем параметры а
и b
. Существует понятие
Если е
< 33%, то модель приемлема для дальнейшего
анализа; Если е
> 33%, то берём гиперболу, параболу и
т.д. Это даёт право для анализа в различных
ситуациях. Вывод: по критерию
коэффициента аппроксимации наиболее
подходящей является та линия, для которых Г) Квадратическая
ошибка оценки, проверка их типичности.
Применительно к
совокупности, у которой число параметров
исследования меньше 30 (n
< 30), для проверки типичности параметров
уравнения регрессии используется
t
-критерий
Стьюдента. При этом вычисляется
фактическое значение t
-критерия: Отсюда
где
t
a
< t
k
< t
b
. Вывод
:
по проверенным
на типичность параметрам уравнения
регрессии производится построение
математической модели связи
Д) Криволинейная
регрессия.
Довольно
часто встречается криволинейная
зависимость, когда между переменными
устанавливается меняющееся соотношение.
Интенсивность возрастания (убывания)
зависит от уровня нахождения X.
Криволинейная зависимость бывает разных
видов. Например, рассмотрим зависимость
между урожаем и осадками. С увеличением
осадков при равных природных условиях
интенсивное увеличение урожая, но до
определенного предела. После критической
точки осадки оказываются излишними, и
урожайность катастрофически падает.
Из примера видно, что вначале связь была
положительной, а потом отрицательной.
Критическая точка - оптимальный уровень
признака X,
которому соответствует максимальное
или минимальное значение признака У. В экономике такая
связь наблюдается между ценой и
потреблением, производительностью и
стажем. Параболическая
зависимость.
Если данные
показывают, что увеличение факторного
признака приводит к росту результативного
признака, то в качестве уравнения
регрессии берется уравнение второго
порядка (парабола). Получаем систему
уравнений: Виды криволинейных
уравнений: Вправе
предполагать, что между производительностью
труда и баллами отборочных испытаний
существует криволинейная зависимость.
Это означает, что с ростом бальной
системы производительность начнёт на
каком-то уровне уменьшаться, поэтому
прямая модель может оказаться
криволинейной. Третьей
моделью будет гипербола, и во всех
уравнениях вместо переменной х будет
стоять выражение
.
Основная цель регрессионного анализа
состоит в определении аналитической формы связи, в которой изменение результативного признака обусловлено влиянием одного или нескольких факторных признаков, а множество всех прочих факторов, также оказывающих влияние на результативный признак, принимается за постоянные и средние значения.
Задачи регрессионного анализа
:
а) Установление формы зависимости. Относительно характера и формы зависимости между явлениями, различают положительную линейную и нелинейную и отрицательную линейную и нелинейную регрессию.
б) Определение функции регрессии в виде математического уравнения того или иного типа и установление влияния объясняющих переменных на зависимую переменную.
в) Оценка неизвестных значений зависимой переменной. С помощью функции регрессии можно воспроизвести значения зависимой переменной внутри интервала заданных значений объясняющих переменных (т. е. решить задачу интерполяции) или оценить течение процесса вне заданного интервала (т. е. решить задачу экстраполяции). Результат представляет собой оценку значения зависимой переменной.
Линейная регрессия: y = a + bx + ε
Нелинейные регрессии делятся на два класса: регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, и регрессии, нелинейные по оцениваемым параметрам.
Регрессии, нелинейные по объясняющим переменным:
.
Для линейных и нелинейных уравнений, приводимых к линейным, решается следующая система относительно a и b:
Можно воспользоваться готовыми формулами, которые вытекают из этой системы:
Тесноту связи изучаемых явлений оценивает линейный коэффициент парной корреляции для линейной регрессии :
и индекс корреляции - для нелинейной регрессии:
Оценку качества построенной модели даст коэффициент (индекс) детерминации, а также средняя ошибка аппроксимации .
Средняя ошибка аппроксимации - среднее отклонение расчетных значений от фактических:
.
Допустимый предел значений - не более 8-10%.
Средний коэффициент эластичности показывает, на сколько процентов в среднем по совокупности изменится результат у от своей средней величины при изменении фактора x на 1% от своего среднего значения:
.
,
где - общая сумма квадратов отклонений;
- сумма квадратов отклонений, обусловленная регрессией («объясненная» или «факторная»);
- остаточная сумма квадратов отклонений.
Долю дисперсии, объясняемую регрессией, в общей дисперсии результативного признака у характеризует коэффициент (индекс) детерминации R 2:
Коэффициент детерминации - квадрат коэффициента или индекса корреляции.
,
где n - число единиц совокупности; m - число параметров при переменных х.
F табл - это максимально возможное значение критерия под влиянием случайных факторов при данных степенях свободы и уровне значимости a. Уровень значимости a - вероятность отвергнуть правильную гипотезу при условии, что она верна. Обычно a принимается равной 0,05 или 0,01.
Если F табл < F факт, то Н о - гипотеза о случайной природе оцениваемых характеристик отклоняется и признается их статистическая значимость и надежность. Если F табл > F факт, то гипотеза Н о не отклоняется и признается статистическая незначимость, ненадежность уравнения регрессии.
Для оценки статистической значимости коэффициентов регрессии и корреляции рассчитываются t-критерий Стьюдента и доверительные интервалы каждого из показателей. Выдвигается гипотеза Н о о случайной природе показателей, т.е. о незначимом их отличии от нуля. Оценка значимости коэффициентов регрессии и корреляции с помощью t-критерия Стьюдента проводится путем сопоставления их значений с величиной случайной ошибки:
; ; .
Случайные ошибки параметров линейной регрессии и коэффициента корреляции определяются по формулам:
Сравнивая фактическое и критическое (табличное) значения t-статистики - t табл и t факт - принимаем или отвергаем гипотезу Н о.
Связь между F-критерием Фишера и t-статистикой Стьюдента выражается равенством
Если t табл < t факт то H o отклоняется, т.е. a, b и не случайно отличаются от нуля и сформировались под влиянием систематически действующего фактора х. Если t табл > t факт то гипотеза Н о не отклоняется и признается случайная природа формирования а, b или .
Для расчета доверительного интервала определяем предельную ошибку D для каждого показателя:
, .
Формулы для расчета доверительных интервалов имеют следующий вид:
; ;
; ;
Если в границы доверительного интервала попадает ноль, т.е. нижняя граница отрицательна, а верхняя положительна, то оцениваемый параметр принимается нулевым, так как он не может одновременно принимать и положительное, и отрицательное значения.
Прогнозное значение определяется путем подстановки в уравнение регрессии соответствующего (прогнозного) значения . Вычисляется средняя стандартная ошибка прогноза :
,
где 
и строится доверительный интервал прогноза:
; 
; 
где 
.Пример решения
Задача №1
. По семи территориям Уральского района За 199Х г. известны значения двух признаков.
Таблица 1.
Требуется:
1. Для характеристики зависимости у от х рассчитать параметры следующих функций:
а) линейной;
б) степенной (предварительно нужно произвести процедуру линеаризации переменных, путем логарифмирования обеих частей);
в) показательной;
г) равносторонней гиперболы (так же нужно придумать как предварительно линеаризовать данную модель).
2. Оценить каждую модель через среднюю ошибку аппроксимации и F-критерий Фишера.
Решение (Вариант №1)
Для расчета параметров a и b линейной регрессии (расчет можно проводить с помощью калькулятора).
решаем систему нормальных уравнений относительно а
и b:
По исходным данным рассчитываем 
:
y
x
yx
x 2
y 2
A i
l
68,8
45,1
3102,88
2034,01
4733,44
61,3
7,5
10,9
2
61,2
59,0
3610,80
3481,00
3745,44
56,5
4,7
7,7
3
59,9
57,2
3426,28
3271,84
3588,01
57,1
2,8
4,7
4
56,7
61,8
3504,06
3819,24
3214,89
55,5
1,2
2,1
5
55,0
58,8
3234,00
3457,44
3025,00
56,5
-1,5
2,7
6
54,3
47,2
2562,96
2227,84
2948,49
60,5
-6,2
11,4
7
49,3
55,2
2721,36
3047,04
2430,49
57,8
-8,5
17,2
Итого
405,2
384,3
22162,34
21338,41
23685,76
405,2
0,0
56,7
Ср. знач. (Итого/n)
57,89
54,90
3166,05
3048,34
3383,68
X
X
8,1
s
5,74
5,86
X
X
X
X
X
X
s 2
32,92
34,34
X
X
X
X
X
X
Рассчитаем линейный коэффициент парной корреляции:
Связь умеренная, обратная.
Определим коэффициент детерминации:
Вариация результата на 12,7% объясняется вариацией фактора х. Подставляя в уравнение регрессии фактические значения х,
определим теоретические (расчетные) значения
.
Найдем величину средней ошибки аппроксимации :
В среднем расчетные значения отклоняются от фактических на 8,1%.
Рассчитаем F-критерий:
Полученное значение указывает на необходимость принять гипотезу Но о
случайной природе выявленной зависимости и статистической незначимости параметров уравнения и показателя тесноты связи.
1б.
Построению степенной модели предшествует процедура линеаризации переменных. В примере линеаризация производится путем логарифмирования обеих частей уравнения:
где
Y=lg(y), X=lg(x), C=lg(a).
Y
X
YX
Y 2
X 2
A i
1
1,8376
1,6542
3,0398
3,3768
2,7364
61,0
7,8
60,8
11,3
2
1,7868
1,7709
3,1642
3,1927
3,1361
56,3
4,9
24,0
8,0
3
1,7774
1,7574
3,1236
3,1592
3,0885
56,8
3,1
9,6
5,2
4
1,7536
1,7910
3,1407
3,0751
3,2077
55,5
1,2
1,4
2,1
5
1,7404
1,7694
3,0795
3,0290
3,1308
56,3
-1,3
1,7
2,4
6
1,7348
1,6739
2,9039
3,0095
2,8019
60,2
-5,9
34,8
10,9
7
1,6928
1,7419
2,9487
2,8656
3,0342
57,4
-8,1
65,6
16,4
Итого
12,3234
12,1587
21,4003
21,7078
21,1355
403,5
1,7
197,9
56,3
Среднее значение
1,7605
1,7370
3,0572
3,1011
3,0194
X
X
28,27
8,0
σ
0,0425
0,0484
X
X
X
X
X
X
X
σ 2
0,0018
0,0023
X
X
X
X
X
X
X
Получим линейное уравнение:
.
Выполнив его потенцирование, получим:
Подставляя в данное уравнение фактические значения х,
получаем теоретические значения результата. По ним рассчитаем показатели: тесноты связи - индекс корреляции и среднюю ошибку аппроксимации 
Характеристики степенной модели указывают, что она несколько лучше линейной функции описывает взаимосвязь.
Для расчетов используем данные таблицы.
Y
x
Yx
Y 2
x 2
A i
1
1,8376
45,1
82,8758
3,3768
2034,01
60,7
8,1
65,61
11,8
2
1,7868
59,0
105,4212
3,1927
3481,00
56,4
4,8
23,04
7,8
3
1,7774
57,2
101,6673
3,1592
3271,84
56,9
3,0
9,00
5,0
4
1,7536
61,8
108,3725
3,0751
3819,24
55,5
1,2
1,44
2,1
5
1,7404
58,8
102,3355
3,0290
3457,44
56,4
-1,4
1,96
2,5
6
1,7348
47,2
81,8826
3,0095
2227,84
60,0
-5,7
32,49
10,5
7
1,6928
55,2
93,4426
2,8656
3047,04
57,5
-8,2
67,24
16,6
Итого
12,3234
384,3
675,9974
21,7078
21338,41
403,4
-1,8
200,78
56,3
Ср. зн.
1,7605
54,9
96,5711
3,1011
3048,34
X
X
28,68
8,0
σ
0,0425
5,86
X
X
X
X
X
X
X
σ 2
0,0018
34,339
X
X
X
X
X
X
X
Получено линейное уравнение: 
.
Произведем потенцирование полученного уравнения и запишем его в обычной форме:
Тесноту связи оценим через индекс корреляции :
– уравнение прямой,
– уравнение гиперболы,
– уравнение параболы,
,
используя формулы для нахождения
параметров а
и b
.
Взяв теоретическое значение
и обозначив левую часть уравнения черезf
,
получим функцию
от неизвестных параметрова
и b
.
Значения а
и b
будут удовлетворять минимуму функции
f
и находятся из уравнений частных
производных
и
.
Этонеобходимое
условие
,
однако для положительной квадратической
функции это является и достаточным
условием для нахождения а
и b
.
где
– среднеарифметические погрешности.
.
Это коэффициент аппроксимации.
,
и никакая другая линия регрессии для
нашей задачи не даёт минимум отклонений.
– остаточная среднеквадратическая
погрешность. Полученныеt
a
и
t
b
сравнивают с критическим t
k
из таблицы Стьюдента с учётом принятого
уровня значимости (
= 0,01 = 99% или
= 0,05 = 95%). P
= f
= k
1
= m
– число параметров исследуемого
уравнения (степень свободы). Например,
если y
= a
+ bx
;
m
= 2, k
2
= f
2
= p
2
= n
– (m
+ 1), где n
– количество исследуемых признаков.
.
При этом параметры примененной в анализе
математической функции (линейная,
гипербола, парабола) получают
соответствующие количественные значения.
Смысловое содержание полученных таким
образом моделей состоит в том, что они
характеризуют среднюю величину
результативного признака
от факторного
признака X
.
.
Коэффициенты a,b,c
находятся из уравнений частных
производных:
,
,
