Python pour la data science

Lino Galiana

doi:10.5281/zenodo.8229676

pandas et numpy sont essentiels pour manipuler les données. Néanmoins, il est nécessaire de ne pas faire l’impasse sur les fondements du langage Python. Une bonne compréhension des éléments structurants le langage entraîne une plus grande productivité et liberté.

Ce chapitre est inspiré du matériel qui était proposé par Xavier Dupré, le précédent professeur de ce cours.

Voir aussi Essential Cheat Sheets for Machine Learning and Deep Learning Engineers.

Les quelques règles de `Python`

Python est un peu susceptible et protocolaire, plus formaliste que ne l’est R. Il y a ainsi quelques règles à respecter :

Règle 1: L’indentation est primordiale : un code mal indenté provoque une erreur. L’indentation indique à l’interpréteur où se trouvent les séparations entre des blocs d’instructions. Un peu comme des points dans un texte.

Si les lignes ne sont pas bien alignées, l’interpréteur ne sait plus à quel bloc associer la ligne. Par exemple, le corps d’une fonction doit être indenté d’un niveau ; les éléments dans une clause logique (if, else, etc.) également.

Règle 2: On commence à compter à 0, comme dans beaucoup de langages (C++, java…). Python diffère dans ce domaine de R où on commence à compter à 1. Le premier élément d’une liste est ainsi, en Python, le 0-ème.

Règle 3: Comme dans une langue naturelle, les marques de ponctuation sont importantes :

Pour une liste : []
Pour un dictionnaire : {}
Pour un tuple : ()
Pour séparer des éléments : ,
Pour commenter un bout de code : #
Pour aller à la ligne dans un bloc d’instructions : \
Les majuscules et minuscules sont importantes
Par contre l’usage des ' ou des " est indifférent. Il faut juste avoir les mêmes début et fin.
Pour documenter une fonction ou une classe ““” mon texte de documentation “““

Les outputs de `Python` : l’opération, le `print` et le `return`

Quand Python réalise des opérations, il faut lui préciser ce qu’il doit en faire :

est-ce qu’il doit juste faire l’opération,
afficher le résultat de l’opération,
créer un objet avec le résultat de l’opération ?

Note

Dans l’environnement Jupyter Notebook, le dernier élement d’une cellule est automatiquement affiché (print), qu’on lui demande ou non de le faire. Ce comportement est particulièrement pratique pour afficher des figures générées via matplotlib ou seaborn.

Ce comportement n’est pas le cas dans un éditeur classique comme VisualStudio, Spyder ou PyCharm. Pour afficher un résultat dans la console, il faut utiliser print ou la commande consacrée (par exemple plt.show() pour afficher la dernière figure générée par matplotlib)

Le `print`

# on calcule : dans le cas d'une opération par exemple une somme
2+3 # Python calcule le résultat mais n'affiche rien dans la sortie

# le print : on affiche

print(2+3) # Python calcule et on lui demande juste de l'afficher
# le résultat est en dessous du code

# le print dans une fonction 

def addition_v1(a,b) : 
    print(a+b)

resultat_print = addition_v1(2,0) 
print(type(resultat_print))

# dans la sortie on a l'affichage du résultat, car la sortie de la fonction est un print 
# en plus on lui demande quel est le type du résultat. Un print ne renvoie aucun type, ce n'est ni un numérique,
# ni une chaine de charactères, le résultat d'un print n'est pas un format utilisable

2
<class 'NoneType'>

Le résultat de l’addition est affiché car la fonction addition_v1 effectue un print

Par contre, l’objet créé n’a pas de type, il n’est pas un chiffre, ce n’est qu’un affichage.

Le `return`

Pour créer un objet avec le résultat de la fonction, il faut utiliser return

# le return dans une fonction
def addition_v2(a,b) : 
    return a+b

resultat_return = addition_v2(2,5) # 
print(type(resultat_return))
## là on a bien un résultat qui est du type "entier"

<class 'int'>

Le résultat de addition_v2 n’est pas affiché comme dans addition_v1

Par contre, la fonction addition_v2 permet d’avoir un objet de type int, un entier donc.

Les types de base : variables, listes, dictionnaires…

Python permet de manipuler différents types de base. Nous en verrons des extensions dans la suite du cours (np.array par exemple) qui, d’une manière ou d’une autre, s’appuient sur ces types de base.

On distingue deux types de variables : les immuables (immutables) qui ne peuvent être modifiés et les modifiables (mutables)

Les variables immuables

Les variables immuables ne peuvent être modifiées

None : ce type est une convention de programmation pour dire que la valeur n’est pas calculée
bool : un booléen
int : un entier
float : un réel
str : une chaine de caractères
tuple : un vecteur

i = 3         # entier = type numérique (type int)
r = 3.3       # réel   = type numérique (type float)
s = "exemple" # chaîne de caractères = type str 
n = None      # None signifie que la variable existe mais qu'elle ne contient rien
              # elle est souvent utilisée pour signifier qu'il n'y a pas de résultat
a = (1,2)     # tuple

print(i,r,s,n,a)

3 3.3 exemple None (1, 2)

Si on essaie de changer le premier élément de la chaine de caractères s on va avoir un peu de mal.

Par exemple si on voulait mettre une majuscule à “exemple”, on aurait envie d’écrire que le premier élément de la chaine s est “E” majuscule

Mais Python ne va pas nous laisser faire, il nous dit que les objets “chaine de caractère” ne peuvent être modifiés

s[0] = "E"  # déclenche une exception

TypeError: 'str' object does not support item assignment

Tout ce qu’on peut faire avec une variable immuable, c’est la réaffecter à une autre valeur : elle ne peut pas être modifiée.

Pour s’en convaincre, utilisons la fonction id() qui donne un identifiant à chaque objet.

print(s)
id(s)

exemple

140589194417904

s = "autre_mot"
id(s)

140589530505328

On voit bien que s a changé d’identifiant : il peut avoir le même nom, ce n’est plus le même objet

Les types modifiable : listes et dictionnaires

Heureusement, il existe des variables modifiables comme les listes et les dictionnaires.

Les listes - elles s’écrivent entre `[ ]`

Les listes sont des élements très utiles, notamment quand vous souhaitez faire des boucles.

Pour faire appel aux élements d’une liste, on donne leur position dans la liste : le 1er est le 0, le 2ème est le 1 …

ma_liste = [1,2,3,4]


print("La longueur de ma liste est de", len(ma_liste))
print("Le premier élément de ma liste est :", ma_liste[0])
print("Le dernier élément de ma liste est :", ma_liste[3])
print("Le dernier élément de ma liste est :", ma_liste[-1])

La longueur de ma liste est de 4
Le premier élément de ma liste est : 1
Le dernier élément de ma liste est : 4
Le dernier élément de ma liste est : 4

Pour effectuer des boucles sur les listes, la méthode la plus lisible est d’utiliser les list comprehension. Cette approche consiste à itérer les éléments d’une liste à la volée.

Par exemple, si on reprend cet exemple, un code qui repose sur les list comprehension sera le suivant :

fruits = ["apple", "banana", "cherry", "kiwi", "mango"]
newlist = [x for x in fruits if "a" in x]
print(newlist)

['apple', 'banana', 'mango']

Le même code, ne reposant pas sur les compréhensions de liste, sera beaucoup moins concis et ainsi inutilement verbeux:

fruits = ["apple", "banana", "cherry", "kiwi", "mango"]
newlist = []

for x in fruits:
  if "a" in x:
    newlist.append(x)

print(newlist)

['apple', 'banana', 'mango']

Les dictionnaires - ils s’écrivent entre accolades `{}`

Un dictionnaire associe à une clé un autre élément, appelé une valeur : un chiffre, un nom, une liste, un autre dictionnaire etc. Le format d’un dictionnaire est le suivant : {Clé : valeur}. Il s’agit d’un objet très pratique pour la recherche, beaucoup plus que les listes qui ne permettent pas de stocker de l’information diverse de manière hiérarchisée.

Dictionnaire avec des valeurs int

On peut par exemple associer à un nom, un nombre

mon_dictionnaire_notes = { 'Nicolas' : 18 , 'Pimprenelle' : 15} 
# un dictionnaire qui à chaque nom associe un nombre
# à Nicolas, on associe 18

print(mon_dictionnaire_notes)

{'Nicolas': 18, 'Pimprenelle': 15}

Dictionnaire avec des valeurs qui sont des listes

Pour chaque clé d’un dictionnaire, il ne faut pas forcément garder la même forme de valeur

Dans l’exemple, la valeur de la clé “Nicolas” est une liste, alors que celle de “Philou” est une liste de liste

mon_dictionnaire_loisirs =  \
{ 'Nicolas' : ['Rugby','Pastis','Belote'] , 
  'Pimprenelle' : ['Gin Rami','Tisane','Tara Jarmon','Barcelone','Mickey Mouse'],
  'Philou' : [['Maths','Jeux'],['Guillaume','Jeanne','Thimothée','Adrien']]}

Pour accéder à un élément du dictionnaire, on fait appel à la clé et non plus à la position, comme c’était le cas dans les listes. C’est beaucoup plus pratique pour rechercher de l’information:

print(mon_dictionnaire_loisirs['Nicolas']) # on affiche une liste

['Rugby', 'Pastis', 'Belote']

print(mon_dictionnaire_loisirs['Philou']) # on affiche une liste de listes

[['Maths', 'Jeux'], ['Guillaume', 'Jeanne', 'Thimothée', 'Adrien']]

Si on ne veut avoir que la première liste des loisirs de Philou, on demande le premier élément de la liste

print(mon_dictionnaire_loisirs['Philou'][0]) # on affiche alors juste la première liste

['Maths', 'Jeux']

On peut aussi avoir des valeurs qui sont des int et des list

mon_dictionnaire_patchwork_good = \
{ 'Nicolas' : ['Rugby','Pastis','Belote'] ,
  'Pimprenelle' : 18 }

A retenir

L’indentation du code est importante (4 espaces et pas une tabulation)
Une liste est entre [] et on peut appeler les positions par leur place
Un dictionnaire, clé x valeur, s’écrit entre {} et on appelle un élément en fonction de la clé

Questions pratiques :

Exercice

Quelle est la position de 7 dans la liste suivante

liste_nombres = [1,2,7,5,3]

Combien de clés a ce dictionnaire ?

dictionnaire_evangile = {"Marc" : "Lion", "Matthieu" : ["Ange","Homme ailé"] , 
                          "Jean" : "Aigle" , "Luc" : "Taureau"}

Que faut-il écrire pour obtenir “Ange” en résultat à partir du dictionnaire_evangile ?

Effectuer des opérations sur les objets de base `Python`

Maintenant qu’on a vu quels objets existent en Python, nous allons voir comment nous en servir. Pour comprendre comment modifier un objet, il convient de distinguer deux concepts, développés plus amplement dans le chapitre dédié : les attributs et les méthodes :

Les attributs décrivent la structure interne d’un objet. Par exemple, la taille d’un objet, sa langue, etc. Nous n’allons pas trop développer ce concept ici. Le chapitre dédié au sujet permettra de plus développer ce concept.
Les méthodes correspondent à des actions qui s’appliqueront à l’objet et s’adaptent à sa structure. La même méthode (par exemple append) fonctionnera ainsi de manière différente selon le type d’objet.

Premiers exemples de méthodes

Avec les éléments définis dans la partie 1 (les listes, les dictionnaires) on peut faire appel à des méthodes qui sont directement liées à ces objets.

Une méthode pour les listes

Pour ajouter un élément (item) dans une liste : on va utiliser la méthode .append()

ma_liste = ["Nicolas","Michel","Bernard"]

ma_liste.append("Philippe")

print(ma_liste)

['Nicolas', 'Michel', 'Bernard', 'Philippe']

Une méthode pour les dictionnaires

Pour connaitre l’ensemble des clés d’un dictionnaire, on appelle la méthode .keys()

mon_dictionnaire = {"Marc" : "Lion", "Matthieu" : ["Ange","Homme ailé"] , 
                          "Jean" : "Aigle" , "Luc" : "Taureau"}

print(mon_dictionnaire.keys())

dict_keys(['Marc', 'Matthieu', 'Jean', 'Luc'])

Connaitre les méthodes d’un objet

Pour savoir quelles sont les méthodes d’un objet vous pouvez :

taper help(mon_objet) ou mon_objet? dans la console Python
taper mon_objet. + touche tabulation dans la console Python ou dans le Notebook. Python permet la complétion, c’est-à-dire que vous pouvez faire appaître la liste des méthodes possibles.

Les opérations et méthodes classiques des listes

Créer une liste

Pour créer un objet de la classe list, il suffit de le déclarer. Ici on affecte à x une liste

x = [4, 5] # création d’une liste composée de deux entiers
x = ["un", 1, "deux", 2] # création d’une liste composée de 2 chaînes de caractères
# et de deux entiers, l’ordre d’écriture est important
x = [3] # création d’une liste d’un élément, sans la virgule,
x = [ ] # crée une liste vide
x = list () # crée une liste vide

Un premier test sur les listes

Si on veut tester la présence d’un élément dans une liste, on l’écrit de la manière suivante :

# Exemple 

x = "Marcel"

l = ["Marcel","Edith","Maurice","Jean"]

print(x in l)

#vrai si x est un des éléments de l

True

`+`: une méthode pour concaténer deux listes

On utilise le symbole +

t = ["Antoine","David"]
print(l + t) #concaténation de l et t

['Marcel', 'Edith', 'Maurice', 'Jean', 'Antoine', 'David']

Pour trouver certains éléments d’une liste

Pour chercher des élements dans une liste, on utilise la position dans la liste.

l[1] # donne l'élément qui est en 2ème position de la liste

'Edith'

l[1:3] # donne les éléments de la 2ème position de la liste à la 4ème exclue

['Edith', 'Maurice']

Quelques fonctions des listes

Les listes embarquent ainsi nativement un certain nombre de méthodes qui sont pratiques. Cependant, pour avoir certaines informations sur une liste, il faut parfois plutôt passer par des fonctions natives comme les suivantes :

longueur = len(l) # nombre d’éléments de l
minimum = min(l) # plus petit élément de l, ici par ordre alphabétique
maximum = max(l) # plus grand élément de l, ici par ordre alphabétique
print(longueur,minimum,maximum)

4 Edith Maurice

del l[0 : 2] # supprime les éléments entre la position 0 et 2 exclue
print(l)

['Maurice', 'Jean']

Les méthodes des listes

On les trouve dans l’aide de la liste. On distingue les méthodes et les méthodes spéciales : visuellement, les méthodes spéciales sont celles qui précédées et suivis de deux caractères de soulignement, les autres sont des méthodes classiques.

help(l)

Help on list object:

class list(object)
 |  list(iterable=(), /)
 |  
 |  Built-in mutable sequence.
 |  
 |  If no argument is given, the constructor creates a new empty list.
 |  The argument must be an iterable if specified.
 |  
 |  Methods defined here:
 |  
 |  __add__(self, value, /)
 |      Return self+value.
 |  
 |  __contains__(self, key, /)
 |      Return key in self.
 |  
 |  __delitem__(self, key, /)
 |      Delete self[key].
 |  
 |  __eq__(self, value, /)
 |      Return self==value.
 |  
 |  __ge__(self, value, /)
 |      Return self>=value.
 |  
 |  __getattribute__(self, name, /)
 |      Return getattr(self, name).
 |  
 |  __getitem__(...)
 |      x.__getitem__(y) <==> x[y]
 |  
 |  __gt__(self, value, /)
 |      Return self>value.
 |  
 |  __iadd__(self, value, /)
 |      Implement self+=value.
 |  
 |  __imul__(self, value, /)
 |      Implement self*=value.
 |  
 |  __init__(self, /, *args, **kwargs)
 |      Initialize self.  See help(type(self)) for accurate signature.
 |  
 |  __iter__(self, /)
 |      Implement iter(self).
 |  
 |  __le__(self, value, /)
 |      Return self<=value.
 |  
 |  __len__(self, /)
 |      Return len(self).
 |  
 |  __lt__(self, value, /)
 |      Return self<value.
 |  
 |  __mul__(self, value, /)
 |      Return self*value.
 |  
 |  __ne__(self, value, /)
 |      Return self!=value.
 |  
 |  __repr__(self, /)
 |      Return repr(self).
 |  
 |  __reversed__(self, /)
 |      Return a reverse iterator over the list.
 |  
 |  __rmul__(self, value, /)
 |      Return value*self.
 |  
 |  __setitem__(self, key, value, /)
 |      Set self[key] to value.
 |  
 |  __sizeof__(self, /)
 |      Return the size of the list in memory, in bytes.
 |  
 |  append(self, object, /)
 |      Append object to the end of the list.
 |  
 |  clear(self, /)
 |      Remove all items from list.
 |  
 |  copy(self, /)
 |      Return a shallow copy of the list.
 |  
 |  count(self, value, /)
 |      Return number of occurrences of value.
 |  
 |  extend(self, iterable, /)
 |      Extend list by appending elements from the iterable.
 |  
 |  index(self, value, start=0, stop=9223372036854775807, /)
 |      Return first index of value.
 |      
 |      Raises ValueError if the value is not present.
 |  
 |  insert(self, index, object, /)
 |      Insert object before index.
 |  
 |  pop(self, index=-1, /)
 |      Remove and return item at index (default last).
 |      
 |      Raises IndexError if list is empty or index is out of range.
 |  
 |  remove(self, value, /)
 |      Remove first occurrence of value.
 |      
 |      Raises ValueError if the value is not present.
 |  
 |  reverse(self, /)
 |      Reverse *IN PLACE*.
 |  
 |  sort(self, /, *, key=None, reverse=False)
 |      Sort the list in ascending order and return None.
 |      
 |      The sort is in-place (i.e. the list itself is modified) and stable (i.e. the
 |      order of two equal elements is maintained).
 |      
 |      If a key function is given, apply it once to each list item and sort them,
 |      ascending or descending, according to their function values.
 |      
 |      The reverse flag can be set to sort in descending order.
 |  
 |  ----------------------------------------------------------------------
 |  Class methods defined here:
 |  
 |  __class_getitem__(...) from builtins.type
 |      See PEP 585
 |  
 |  ----------------------------------------------------------------------
 |  Static methods defined here:
 |  
 |  __new__(*args, **kwargs) from builtins.type
 |      Create and return a new object.  See help(type) for accurate signature.
 |  
 |  ----------------------------------------------------------------------
 |  Data and other attributes defined here:
 |  
 |  __hash__ = None

A retenir et questions

A retenir :

Chaque objet Python a des attributs et des méthodes
Vous pouvez créer des classes avec des attributs et des méthodes
Les méthodes des listes et des dictionnaires qui sont les plus utilisées :
- list.count()
- list.sort()
- list.append()
- dict.keys()
- dict.items()
- dict.values()

Exercice 2

Définir la liste allant de 1 à 10, puis effectuez les actions suivantes :

triez et affichez la liste
ajoutez l’élément 11 à la liste et affichez la liste
renversez et affichez la liste
affichez l’élément d’indice 7
enlevez l’élément 9 et affichez la liste
affichez la sous-liste du 2e au 3e éléments inclus ;
affichez la sous-liste du début au 2e élément inclus ;
affichez la sous-liste du 3e élément à la fin de la liste ;

Construire le dictionnaire des 6 premiers mois de l’année avec comme valeurs le nombre de jours respectif.

Renvoyer la liste des mois
Renvoyer la liste des jours
Ajoutez la clé du mois de Juillet

Passer des listes, dictionnaires à `pandas`

Supposons que la variable ‘data’ est une liste qui contient nos données.

Une observation correspond à un dictionnaire qui contient le nom, le type, l’ambiance et la note d’un restaurant.

Il est aisé de transformer cette liste en dataframe grâce à la fonction ‘DataFrame’.

import pandas 

data = [{"nom": "Little Pub", "type" : "Bar", "ambiance": 9, "note": 7},
     {"nom": "Le Corse", "type" : "Sandwicherie", "ambiance": 2, "note": 8},
     {"nom": "Café Caumartin", "type" : "Bar", "ambiance": 1}]

df = pandas.DataFrame(data)

print(data)
df

[{'nom': 'Little Pub', 'type': 'Bar', 'ambiance': 9, 'note': 7}, {'nom': 'Le Corse', 'type': 'Sandwicherie', 'ambiance': 2, 'note': 8}, {'nom': 'Café Caumartin', 'type': 'Bar', 'ambiance': 1}]

	nom	type	ambiance	note
0	Little Pub	Bar	9	7.0
1	Le Corse	Sandwicherie	2	8.0
2	Café Caumartin	Bar	1	NaN

Back to top

Citation

BibTeX citation:

@book{galiana2023,
  author = {Galiana, Lino},
  title = {Python Pour La Data Science},
  date = {2023},
  url = {https://pythonds.linogaliana.fr/},
  doi = {10.5281/zenodo.8229676},
  langid = {en}
}

For attribution, please cite this work as:

Galiana, Lino. 2023. Python Pour La Data Science. https://doi.org/10.5281/zenodo.8229676.

Les quelques règles de Python

Les outputs de Python : l’opération, le print et le return