Библиотека Pandas для работы с данными

import pandas as pd
import numpy as np

Создание DataFrame

d = {'feature1': [4,3,2,1,0], 'feature2': ['x', 'z', 'y', 'x', 'z'], 'feature3': [2,3,4,1,0]}
df = pd.DataFrame(d)
df

data = [['tom', 10], ['nick', 15], ['juli', 14]]
df = pd.DataFrame(data, columns = ['Name', 'Age'])
df

data = {'Name':['Tom', 'Jack', 'nick', 'juli'], 'marks':[99, 98, 95, 90]}
df = pd.DataFrame(data, index =['rank1', 'rank2', 'rank3', 'rank4'])
df

data = [{'a': 1, 'b': 2, 'c':3}, {'a':10, 'b': 20}]
df = pd.DataFrame(data)
df

d = {'one' : pd.Series([10, 20, 30, 40], index =['a', 'b', 'c', 'd']),
      'two' : pd.Series([10, 20, 30, 40], index =['a', 'b', 'c', 'd'])}
df = pd.DataFrame(d)
df

Первичный анализ данных с Pandas

Pandas — это библиотека Python, предоставляющая широкие возможности для анализа данных. С ее помощью очень удобно загружать, обрабатывать и анализировать табличные данные с помощью SQL-подобных запросов. В связке с библиотеками Matplotlib и Seaborn появляется возможность удобного визуального анализа табличных данных.

Данные, с которыми работают датсаентисты и аналитики, обычно хранятся в виде табличек — например, в форматах .csv, .tsv или .xlsx. Для того, чтобы считать нужные данные из такого файла, отлично подходит библиотека Pandas.

Основными структурами данных в Pandas являются классы Series и DataFrame. Первый из них представляет собой одномерный индексированный массив данных некоторого фиксированного типа. Второй - это двухмерная структура данных, представляющая собой таблицу, каждый столбец которой содержит данные одного типа. Можно представлять её как словарь объектов типа Series. Структура DataFrame отлично подходит для представления реальных данных: строки соответствуют признаковым описаниям отдельных объектов, а столбцы соответствуют признакам.

pd.read_csv('beauty.csv', nrows=2)

#help(pd.read_csv)
path_to_file = 'beauty.csv'
data = pd.read_csv(path_to_file, sep=';')

print(data.shape)
#df.tail()
data.head()

(1260, 10)

Мы считали данные по модельному бизнесу 80-90е года в США

type(data)

pandas.core.frame.DataFrame

#data.shape
len(data)

1260

Чтобы посмотреть общую информацию по датафрейму и всем признакам, воспользуемся методом info:

data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1260 entries, 0 to 1259
Data columns (total 10 columns):
wage        1260 non-null float64
exper       1260 non-null int64
union       1260 non-null int64
goodhlth    1260 non-null int64
black       1260 non-null int64
female      1260 non-null int64
married     1260 non-null int64
service     1260 non-null int64
educ        1260 non-null int64
looks       1260 non-null int64
dtypes: float64(1), int64(9)
memory usage: 98.6 KB

int64 и float64 — это типы признаков. Видим, что 1 признак — float64 и 9 признаков имеют тип int64.

Метод describe показывает основные статистические характеристики данных по каждому числовому признаку (типы int64 и float64): число непропущенных значений, среднее, стандартное отклонение, диапазон, медиану, 0.25 и 0.75 квартили.

data.describe()

Посмотрим на признак “exper” - рабочий стаж

data['exper'].head()
#data.exper.head() # 2-ой вариант

0    30
1    28
2    35
3    38
4    27
Name: exper, dtype: int64

Как описывалось ранее - тип данных в колонке является Series, что по сути является проиндексированным массивом

type(data['exper'])

pandas.core.series.Series

loc и iloc

С помощью loc и iloc - можно из начального датафрейма зафиксировать определённые интервал строк и интересующих столбцов и работать/смотреть только их

#data.loc[1:5, ['wage']]
data.wage.loc[1:5]

1     4.28
2     7.96
3    11.57
4    11.42
5     3.91
Name: wage, dtype: float64

#data.iloc[0,1] # первое число - номер столбца (начинается с 0). Второе - индекс строчки
data['wage'].iloc[1:5]

1     4.28
2     7.96
3    11.57
4    11.42
Name: wage, dtype: float64

Условия

Посмотрим на наш датафрейм, на соответствие какому-то условию

(data['exper'] >= 15)

0        True
1        True
2        True
3        True
4        True
        ...
1255     True
1256    False
1257     True
1258     True
1259     True
Name: exper, Length: 1260, dtype: bool

Посмотрим только те строки, в датафрейме, которые удовлетворяют определённому условию, и выведем первые 5 из них

data[(data['female'] == 1) & (data['black'] == 1)].head(10)

Посмотрим только те строки, которые удовлетворяют условию и выведем значение определённого столбца

data[data['female'] == 1]['wage'].head(10)

0      5.73
1      4.28
2      7.96
5      3.91
8      5.00
9      3.89
10     3.45
18    10.44
19     7.69
44     4.95
Name: wage, dtype: float64

data[(data['female'] == 0) & (data['married'] == 1)].head(10)

# Метод describe для сложного условия
data[(data['female'] == 0) & (data['married'] == 1)].describe()

Посчитаем средние значения из тех данных, что удовлетворяют условию

data[data['female'] == 1]['wage'].mean(), data[data['female'] == 0]['wage'].mean() # .std, .min, .max, .count

(4.299357798165136, 7.3688228155339734)

Вывод медианного значения, для данных, удовлетворяющих сложному условию

data[(data['female'] == 0) & (data['married'] == 1)]['wage'].median(), \
data[(data['female'] == 0) & (data['married'] == 0)]['wage'].median()

(6.710000000000001, 5.0649999999999995)

data['wage'].nunique()

520

Ниже приводятся примеры использования метода groupby для отображения информации по сгруппированному признаку

data.groupby('looks').wage.count()

looks
1     13
2    142
3    722
4    364
5     19
Name: wage, dtype: int64

for look, sub_df in data.drop(['goodhlth'],axis=1).groupby('looks'):
    print(look)
    print(sub_df.head())
    print()

1
      wage  exper  union  black  female  married  service  educ  looks
28    8.35     41      0      0       0        1        1    16      1
200   3.75     36      0      0       0        0        0    12      1
248  10.99     40      0      0       0        1        0    12      1
327   1.65     24      0      0       1        0        1    13      1
751   7.93     39      1      0       0        1        0    12      1

2
    wage  exper  union  black  female  married  service  educ  looks
12  5.14     19      0      0       0        1        1    17      2
33  8.17     18      0      0       0        1        0    16      2
35  9.62     37      0      0       0        1        0    13      2
37  7.69     10      1      0       0        1        0    13      2
57  6.56     17      0      0       0        1        0    13      2

3
    wage  exper  union  black  female  married  service  educ  looks
1   4.28     28      0      0       1        1        0    12      3
3  11.57     38      0      0       0        1        1    16      3
4  11.42     27      0      0       0        1        0    16      3
5   3.91     20      0      0       1        1        0    12      3
6   8.76     12      0      0       0        1        0    16      3

4
    wage  exper  union  black  female  married  service  educ  looks
0   5.73     30      0      0       1        1        1    14      4
2   7.96     35      0      0       1        0        0    10      4
7   7.69      5      1      0       0        0        0    16      4
10  3.45      3      0      0       1        0        0    12      4
11  4.03      6      0      0       0        1        0    16      4

5
      wage  exper  union  black  female  married  service  educ  looks
26   14.84     29      0      0       0        0        1    13      5
27   19.08     17      0      0       0        0        0    17      5
76   23.32     15      0      0       0        1        1    17      5
112   6.11      7      0      0       1        1        0    12      5
316   3.92     12      0      0       0        1        1    12      5

for look, sub_df in data.groupby('looks'):
    print(look)
    print(sub_df['wage'].median())
    print()

1
3.46

2
4.595000000000001

3
5.635

4
5.24

5
4.81

for look, sub_df in data.groupby('looks'):
    print(look)
    print(round(sub_df['female'].mean(), 3))
    print()

1
0.385

2
0.38

3
0.323

4
0.374

5
0.421

for look, sub_df in data.groupby(['looks', 'female']):
    print(look)
    print(sub_df['goodhlth'].mean())
    print()

(1, 0)
0.75

(1, 1)
1.0

(2, 0)
0.9431818181818182

(2, 1)
0.9259259259259259

(3, 0)
0.9304703476482618

(3, 1)
0.9012875536480687

(4, 0)
0.9649122807017544

(4, 1)
0.9411764705882353

(5, 0)
1.0

(5, 1)
1.0

С помощью .agg метод groupby может применять различные функции к данным, что он получает

data.groupby('looks')[['wage', 'exper']].max()

Декартово произведение признаков из столбцов и их отображение

pd.crosstab(data['female'], data['married'])

pd.crosstab(data['female'], data['looks'])

Создание нового признака из наложения дополнительных условий на основе старых данных

data['exp'] = (data['exper'] >=15).astype(int)
data.head(10)

new = data[data['female'] == 1]
new.to_csv('new.csv', index=False)
new.head()

data['wage'].sort_values(ascending=False).head(3)

602    77.72
269    41.67
415    38.86
Name: wage, dtype: float64

data['is_rich'] = (data['wage'] > data['wage'].quantile(.75)).astype('int64')

data['wage'].quantile(.75)

7.695

data.head()

data['rubbish'] = .56 * data['wage'] + 0.32 * data['exper']
data.head()

Контест для проверки понимания ссылка.

Домашнее задание будет во 2ой части