Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

import pandas as pd
import numpy as np # pandas reposant sur numpy on a souvent besoin des deux librairies

introduction

copier une dataframe ou une série

# le code
df = pd.read_csv('data/titanic.csv', index_col='PassengerId')
df2 = df.copy()
df2.loc[552, 'Age'] = 100
df2.head(1)
Loading...
df.head(1)
Loading...

créer une nouvelle colonne

# le code
df['Deceased'] = 1 - df['Survived']
df.head(3)
Loading...

rappels python, numpy

# le code - rappels sur Python

L = [10, 20, 30, 40, 60]
L[0] = "Hello !"
print(L)
L[1:3] = [200, 300, 500]
L
['Hello !', 20, 30, 40, 60]
['Hello !', 200, 300, 500, 40, 60]
# le code - rappels sur numpy

mat = np.arange(12).reshape((4, 3))
mat[0:2, 0:2] = 999
mat
array([[999, 999, 2], [999, 999, 5], [ 6, 7, 8], [ 9, 10, 11]])
# le code - accéder à un élément de la df 
# ATTENTION: ça marche mais IL NE FAUT PAS FAIRE COMME CA !

df['Age'][552]
np.float64(27.0)

localiser en pandas

ligne,colonne vs colonne, ligne

localisation avec loc et iloc

df = pd.read_csv('data/titanic.csv', index_col='PassengerId')
df.head(2)
Loading...
df.tail(1)
Loading...
df.loc[552, 'Name']
'Sharp, Mr. Percival James R'
df.iloc[0, 2]
'Sharp, Mr. Percival James R'
df.iloc[-1, 2]
'Richards, Master. George Sibley'

sélection multiple

df.loc[552]
Survived 0 Pclass 2 Name Sharp, Mr. Percival James R Sex male Age 27.0 SibSp 0 Parch 0 Ticket 244358 Fare 26.0 Cabin NaN Embarked S Name: 552, dtype: object
# indexation par une liste
# bien sûr les index choisis
# ne pas forcément contigus

df.loc[[552, 832]]
Loading...
# choisir plusieurs lignes et plusieurs colonnes

df.loc[[552, 832], ['Name', 'Pclass']]
Loading...
# la même avec iloc

df.iloc[[0, -1], [2, 1]]
Loading...
# plusieurs colonnes avec .loc

df.loc[:, ['Name', 'Pclass']]
Loading...
# .loc avec un masque (généralement sur les lignes)

df.loc[df.Pclass == 1, ['Name', 'Sex']]
Loading...

slicing pandas et bornes

slicing avec loc par index

# les ids des 5 premières lignes

df.index[:5]
Index([552, 638, 499, 261, 395], dtype='int64', name='PassengerId')
# les noms des 5 premières colonnes

df.columns[:5]
Index(['Survived', 'Pclass', 'Name', 'Sex', 'Age'], dtype='str')
# slice avec loc -> inclusif

df.loc[ 638:261, 'Pclass': 'Age'].shape # (3, 4)
(3, 4)
# le code

df.loc[ 638:261, 'Pclass': 'Age']
Loading...
# exemple d'utilisation de get_loc

df.columns.get_loc('Pclass'), df.index.get_loc(261)
(1, 3)

slicing avec iloc par indices

# le code

df.iloc[1:7, 1:4].shape
(6, 3)

localiser une ligne ou une colonne

→

ou un extrait

par exemple on peut slicer, par index, pour obtenir une ligne
(dans ce cas on obtient un objet de type pandas.Series)

df.loc[552, :] # première ligne (toutes les colonnes)
df.loc[552, :].shape
-> (11,)

on peut slicer, par index, pour obtenir une colonne

df.loc[:, 'Survived'] # première colonne (toutes les lignes)
df.loc[:, 'Survived'].shape
-> (891,)

on peut slicer, par indice, pour obtenir une ligne

df.iloc[0, :] # première ligne (toutes les colonnes)
df.iloc[0, :].shape
-> (11,)

notez qu’on peut alors omettre les colonnes puisqu’on les prend toutes

df.iloc[0] # première ligne (toutes les colonnes)
df.iloc[0].shape
-> (11,)

on peut slicer, par indice, pour obtenir une colonne

df.iloc[:, 0] # première colonne (toutes les lignes)
df.iloc[:, 0].shape
-> (891,)

exercice sélections multiples et slicing

  1. lisez le titanic et mettez les PassengerId comme index des lignes

# votre code

  1. localisez l’élément d’index 40
    a. Quel est le type de l’élément ?
    b. localisez le nom du passager d’index 40 ?

# votre code

  1. quel est le nom de la personne qui apparaît en avant-dernier dans le fichier

# votre code

  1. localisez les 3 derniers éléments (colonnes) de la ligne d’index 40

# votre code

  1. localisez les 4 derniers éléments de la colonne Cabin

# votre code

  1. fabriquez une dataframe contenant

# votre code

indexation par un masque

rappel sur les masques

# le code pour calculer les taux de survie
# - global
# - des passagers femmes de première classe

# le code
df = pd.read_csv('data/titanic.csv', index_col='PassengerId')

mask_survived = (df['Survived'] == 1)

rate_global = mask_survived.sum()/len(df)
print(f"taux survie global = {rate_global:.2f}")

# the group
mask_female_1 = (df['Sex'] == 'female') & (df['Pclass'] == 1)
# survived in the group
mask_female_1_survived = mask_female_1 & mask_survived

rate_group = mask_female_1_survived.sum() / mask_female_1.sum()
print(f"rate in the group {rate_group:.2f}")
taux survie global = 0.38
rate in the group 0.97

sélection par masque booléen

# le code
# on fabrique une dataframe qui contient seulement les femmes
df.loc [ df['Sex'] == 'female' ]
Loading...

df[mask] décortiqué

# le code
mask = df.Sex == 'female'
print(type(mask))   # pandas.core.series.Series
print(mask.dtype)   # dtype('bool')
print(mask.shape)
mask.head() # un masque de booléens sur la colonne des index donc la colonne PassengerId
<class 'pandas.Series'>
bool
(891,)
PassengerId 552 False 638 False 499 True 261 False 395 True Name: Sex, dtype: bool
# on indexe directement la dataframe par un masque
df[mask].head()
Loading...
# tout sur une ligne
df[df.Sex == 'female'].head()
Loading...

exercice combinaison d’expressions booléennes

  1. en une seule ligne sélectionner la sous-dataframe des passagers
    qui ne sont pas en première classe
    et dont l’age est supérieur ou égal à 70 ans

# votre code

  1. Combien trouvez-vous de passagers ?

# votre code

  1. Accédez à la valeur Name du premier de ces passagers

# votre code

  1. Faites la même expression que la question 1
    en utilisant les fonctions numpy.logical_and, numpy.logical_not

# votre code

résumé des méthodes d’indexation

# le code
df.loc[
    # dans la dimension des lignes: une liste
    [450, 3, 67],
    # dans la dimension des colonnes: une slice
    'Sex':'Cabin':2]
Loading...
# le code
df.loc[df['Age'] >= 71, ['Sex', 'Survived']]
Loading...

règles des modifications

sélections de parties de dataframe

modification d’une copie

# le code
df = pd.read_csv('data/titanic.csv', index_col='PassengerId')
df.loc[552, 'Survived']
np.int64(0)
df['Survived'][552] = 1
# possible que df['Survived'][1] soit passé à 1, par hasard
# mais votre code est faux
# et dans tous les cas vous recevez un gros warning !
df.loc[552, 'Survived']
/tmp/ipykernel_1776/3582046640.py:1: ChainedAssignmentError: A value is being set on a copy of a DataFrame or Series through chained assignment.
Such chained assignment never works to update the original DataFrame or Series, because the intermediate object on which we are setting values always behaves as a copy (due to Copy-on-Write).

Try using '.loc[row_indexer, col_indexer] = value' instead, to perform the assignment in a single step.

See the documentation for a more detailed explanation: https://pandas.pydata.org/pandas-docs/stable/user_guide/copy_on_write.html#chained-assignment
  df['Survived'][552] = 1
np.int64(0)
# ça c'est la façon propre de faire
df.loc[552, 'Survived'] = 1
df.loc[552, 'Survived']
np.int64(1)
# la preuve
df.loc[552, 'Survived'] = 0
df.loc[552, 'Survived']
np.int64(0)
# le code
print(df['Age'][889])

# le code
df.loc[889, 'Age'] = 27.5

# le code
df['Age'][889] = 27.5
nan

/tmp/ipykernel_1776/2655944779.py:8: ChainedAssignmentError: A value is being set on a copy of a DataFrame or Series through chained assignment.
Such chained assignment never works to update the original DataFrame or Series, because the intermediate object on which we are setting values always behaves as a copy (due to Copy-on-Write).

Try using '.loc[row_indexer, col_indexer] = value' instead, to perform the assignment in a single step.

See the documentation for a more detailed explanation: https://pandas.pydata.org/pandas-docs/stable/user_guide/copy_on_write.html#chained-assignment
  df['Age'][889] = 27.5

faire des copies explicites

# le code
df1 = df.loc[ :, ['Survived', 'Pclass', 'Sex'] ]
df1.loc[1, 'Survived'] = 1
# le code
df2 = df[ ['Survived', 'Pclass', 'Sex'] ].copy()
print(df2.loc[1, 'Survived'])
df2.loc[1, 'Survived'] = 0
print(df2.loc[1, 'Survived'])
print(df.loc[1, 'Survived'])
0
0
0
pandas
conditions et masques
pandas
TP on the moon