Проверка гипотез и анализ правдоподобия

Пример

Код к примеру

Пример использует так называемые данные Герри по социальной статистике во Франции в 1830х.

df = sm.datasets.get_rdataset("Guerry", "HistData").data

df.describe()

Удалим строки с пустыми значениями с помощью dropna()

vars = ['Department', 'Lottery', 'Literacy', 'Wealth', 'Region']

df = df.dropna()[vars]
df[-5:]

Постановка задачи

Будет использоваться модель обычного метода наименьших квадратов OLS. Решается задача регрессии лотерейных ставок в королевской лотерее Франции в 1820х против показателей грамотности с учётом материального достатка населения. При этом в правой части регерессионного уравнения придётся учитывать "пустые" переменные, которые тем не менее вносят неоднородность в данные по департаментам.

План-матрицы

Для большинства моделей из statsmodels придётся определить 2 план-матрицы - для зависимых (endogenous, response, dependent) и независимых (exogenous, independent, predictor, regressor) переменных. Регрессионные МНК коэффиценты вычисляются как обычно:

где y имеет размер N * 1 - это данные из столбца Lottery X размера N * 7 - столбцы Wealth , Literacy и 4 бинарных, отвечающих за регионы.

Используется функция dmatrices библиотеки patsy для формирования план-матриц регрессионных моделей. Там используется синтаксис языка R .

y, X = dmatrices('Lottery ~ Literacy + Wealth + Region', data=df, return_type='dataframe')

y

X

Важно заметить, что dmatrices

• разделила Region на несколько индикаторных признаков ({1,0})
• добавила константу к независимым переменным (exogenous)
• возвращает pandas dataframe вместо обычного numpy array и позволяет сохранять описательные данные.

Типичная последовательность действий

Как правило работа со statsmodels состоит из 3 этапов :

1. выбор класса статистических моделей
2. обучение модели с помощью соответствующего метода
3. изучеие полученных коэффицентов с помощью summary()

Для МНК (OLS) это выглядит так:

mod = sm.OLS(y, X)    # Describe model
res = mod.fit()       # Fit model
print(res.summary())   # Summarize model, like df.describe()

                            OLS Regression Results
==============================================================================
Dep. Variable:                Lottery   R-squared:                       0.338
Model:                            OLS   Adj. R-squared:                  0.287
Method:                 Least Squares   F-statistic:                     6.636
Date:                Tue, 12 Apr 2022   Prob (F-statistic):           1.07e-05
Time:                        02:44:16   Log-Likelihood:                -375.30
No. Observations:                  85   AIC:                             764.6
Df Residuals:                      78   BIC:                             781.7
Df Model:                           6
Covariance Type:            nonrobust
===============================================================================
                  coef    std err          t      P>|t|      [0.025      0.975]
-------------------------------------------------------------------------------
Intercept      38.6517      9.456      4.087      0.000      19.826      57.478
Region[T.E]   -15.4278      9.727     -1.586      0.117     -34.793       3.938
Region[T.N]   -10.0170      9.260     -1.082      0.283     -28.453       8.419
Region[T.S]    -4.5483      7.279     -0.625      0.534     -19.039       9.943
Region[T.W]   -10.0913      7.196     -1.402      0.165     -24.418       4.235
Literacy       -0.1858      0.210     -0.886      0.378      -0.603       0.232
Wealth          0.4515      0.103      4.390      0.000       0.247       0.656
==============================================================================
Omnibus:                        3.049   Durbin-Watson:                   1.785
Prob(Omnibus):                  0.218   Jarque-Bera (JB):                2.694
Skew:                          -0.340   Prob(JB):                        0.260
Kurtosis:                       2.454   Cond. No.                         371.
==============================================================================

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.

res.params

Intercept      38.651655
Region[T.E]   -15.427785
Region[T.N]   -10.016961
Region[T.S]    -4.548257
Region[T.W]   -10.091276
Literacy       -0.185819
Wealth          0.451475
dtype: float64

res.rsquared

0.3379508691928823

Анализ и визуализация результатов

statsmodels содержит также много тестов для оценки качества поолученной (обученной) статистической модели.

И инструменты для отрисовки графиков приближений модели.

sm.graphics.plot_partregress('Lottery', 'Wealth', ['Region', 'Literacy'],
   ....:                              data=df, obs_labels=False)