Tutoriel sur pandas read_csv(): Importer les données comme un pro

Name

Rajiv Chandra

Published on 08/05/2023

(opens in a new tab) (opens in a new tab) (opens in a new tab) (opens in a new tab) (opens in a new tab) (opens in a new tab)

Si vous souhaitez importer des données dans votre projet de science des données, la fonction read_csv() de pandas est un excellent point de départ. Elle vous permet de lire des fichiers CSV en mémoire et offre de puissants outils pour l'analyse et la manipulation des données. Dans ce tutoriel, nous couvrirons tout ce que vous devez savoir pour importer les données comme un pro.

Vous voulez créer rapidement des visualisations de données en Python?

PyGWalker est un projet Python Open Source qui peut vous aider à accélérer le workflow d'analyse et de visualisation des données directement dans un environnement basé sur Jupyter Notebook.

PyGWalker (opens in a new tab) transforme votre DataFrame Pandas (ou DataFrame Polars) en une interface utilisateur "visuelle" où vous pouvez faire glisser et déposer des variables pour créer des graphiques facilement. Utilisez simplement le code suivant:

pip install pygwalker
import pygwalker as pyg
gwalker = pyg.walk(df)

Vous pouvez utiliser PyGWalker dès maintenant avec ces notebooks en ligne :

Et n'oubliez pas de nous donner une ⭐️ sur GitHub !

Utiliser PyGWalker dans un notebook Kaggle (opens in a new tab)	Utiliser PyGWalker dans Google Colab (opens in a new tab)	Donner une ⭐️ à PyGWalker sur GitHub (opens in a new tab)
(opens in a new tab)	(opens in a new tab)	(opens in a new tab)

Qu'est-ce que pandas?

Pandas est une bibliothèque open-source populaire pour la manipulation et l'analyse de données en Python. Elle fournit des structures de données et des fonctions nécessaires pour manipuler et analyser des données structurées, telles que des feuilles de calcul, des tables et des séries temporelles. Les principales structures de données dans pandas sont la Series et le DataFrame, qui vous permettent de représenter des données unidimensionnelles et bidimensionnelles, respectivement.

Qu'est-ce que la fonction read_csv() dans pandas?

La fonction read_csv() est une méthode pratique pour lire des données à partir d'un fichier CSV et les stocker dans un DataFrame pandas. Cette fonction dispose de nombreux paramètres que vous pouvez personnaliser pour répondre à vos besoins d'importation de données, tels que la spécification des délimiteurs, la gestion des valeurs manquantes et la définition de la colonne d'index.

Avantages de l'utilisation de pandas pour l'analyse de données

Pandas offre plusieurs avantages pour l'analyse de données, notamment:

1. Manipulation facile des données: Avec ses puissantes structures de données, pandas permet un nettoyage, un remodelage et une transformation efficaces des données.
2. Visualisation des données: Pandas s'intègre à des bibliothèques de visualisation populaires telles que Matplotlib, Seaborn et Plotly, ce qui facilite la création de graphiques et de diagrammes instructifs.
3. Manipulation de grands ensembles de données: Pandas peut traiter efficacement de grands ensembles de données et effectuer des opérations complexes avec facilité.

Lecture de données à partir d'un fichier CSV à l'aide de pandas

Pour lire un fichier CSV à l'aide de pandas, vous devez d'abord importer la bibliothèque pandas :

import pandas as pd

Ensuite, utilisez la fonction read_csv() pour lire votre fichier CSV :

data = pd.read_csv('votre_fichier.csv')

Cette commande va lire le fichier CSV et stocker les données dans un DataFrame pandas nommé data. Vous pouvez afficher les premières lignes du DataFrame à l'aide de la méthode head() :

print(data.head())

Comment définir une colonne comme index dans pandas

Pour définir une colonne spécifique comme index dans pandas, utilisez la méthode set_index() :

data = data.set_index('nom_de_colonne')

Alternativement, vous pouvez définir la colonne d'index lors de la lecture du fichier CSV en utilisant le paramètre index_col :

data = pd.read_csv('votre_fichier.csv', index_col='nom_de_colonne')

Sélection de colonnes spécifiques à lire en mémoire

Si vous voulez lire uniquement des colonnes spécifiques du fichier CSV, vous pouvez utiliser le paramètre usecols de la fonction read_csv() :

data = pd.read_csv('votre_fichier.csv', usecols=['colonne1', 'colonne2'])

Cette commande va lire uniquement les colonnes spécifiées et les stocker dans le DataFrame.

Autres fonctionnalités de pandas

Pandas propose diverses autres fonctionnalités pour la manipulation et l'analyse de données, telles que :

1. Opérations de fusion, de remodelage, de jointure et de concaténation.
2. Gestion de différents formats de données, notamment JSON, Excel et les bases de données SQL.
3. Exportation des données dans différents formats de fichier, tels que CSV, Excel et JSON.
4. Techniques de nettoyage des données, y compris la gestion des valeurs manquantes, le renommage des colonnes et le filtrage des données en fonction de conditions.
5. Réalisation d'analyses statistiques sur les données, telles que le calcul de la moyenne, de la médiane, du mode, de l'écart type et de la corrélation.
6. Analyse de séries chronologiques, qui est utile pour la manipulation et l'analyse de données horodatées.

Comment utiliser pandas pour l'analyse de données

Pour utiliser pandas pour l'analyse de données, suivez ces étapes :

1. Importez la bibliothèque pandas :

import pandas as pd

2. Lisez vos données dans un DataFrame : Veuillez fournir la traduction en français de ce fichier markdown sans traduire le code intégré : ```python copier Lire vos données dans un DataFrame :

3.  Explorez vos données en utilisant des méthodes telles que `head()`, `tail()`, `describe()` et `info()` :

```python copier
print(data.head())
print(data.tail())
print(data.describe())
print(data.info())

4. Nettoyez et pré-traitez vos données, si nécessaire. Cela peut impliquer de gérer les valeurs manquantes, de renommer des colonnes et de convertir les types de données :

data = data.dropna()
data = data.rename(columns={'old_name': 'new_name'})
data['column'] = data['column'].astype('int')

5. Effectuez une analyse des données en utilisant des méthodes et des fonctions pandas. Vous pouvez calculer diverses statistiques, filtrer les données en fonction de conditions et effectuer des opérations telles que le regroupement et l'agrégation des données :

mean_value = data['column'].mean()
filtered_data = data[data['column'] > 50]
grouped_data = data.groupby('category').sum()

6. Visualisez vos données en utilisant des bibliothèques comme Matplotlib, Seaborn ou ggPlot. Ces bibliothèques s'intègrent parfaitement à pandas, ce qui facilite la création de graphiques et de graphiques informatifs :

import matplotlib.pyplot as plt
 
data['column'].plot(kind='bar')
plt.show()

7. Exportez vos données traitées vers différents formats de fichier, tels que CSV, Excel ou JSON :

data.to_csv('processed_data.csv', index=False)

Quels sont les différents formats de données que pandas peut gérer ?

Pandas peut gérer une grande variété de formats de données, notamment :

1. CSV : fichiers de valeurs séparées par des virgules.
2. JSON : fichiers de notation d'objet JavaScript.
3. Excel : fichiers Microsoft Excel (.xls et .xlsx).
4. SQL : données provenant de bases de données relationnelles, telles que SQLite, MySQL et PostgreSQL.
5. HTML : données provenant de tableaux HTML.
6. Parquet : format de stockage en colonnes utilisé dans l'écosystème Hadoop.
7. HDF5 : format de données hiérarchiques utilisé pour stocker de grands ensembles de données.

Comment exporter des données depuis pandas vers un fichier CSV

Pour exporter des données depuis un DataFrame pandas vers un fichier CSV, utilisez la méthode to_csv() :

data.to_csv('output.csv', index=False)

Cette commande enregistrera le DataFrame nommé data dans un fichier CSV nommé output.csv. Le paramètre index=False empêche la colonne d'index d'être écrite dans le fichier de sortie.

Techniques courantes de nettoyage des données dans pandas

Certaines techniques courantes de nettoyage des données dans pandas comprennent :

1. Gestion des valeurs manquantes : utilisez des méthodes telles que dropna(), fillna() et interpolate() pour supprimer, remplir ou estimer les valeurs manquantes.
2. Renommer les colonnes : utilisez la méthode rename() pour renommer des colonnes dans un DataFrame.
3. Conversion des types de données : utilisez la méthode astype() pour convertir les colonnes aux types de données appropriés.
4. Filtrer les données : utilisez l'indexation booléenne pour filtrer les lignes en fonction de conditions spécifiques.
5. Suppression des doublons : utilisez la méthode drop_duplicates() pour supprimer les lignes en double d'un DataFrame.
6. Remplacement des valeurs : utilisez la méthode replace() pour remplacer des valeurs spécifiques dans un DataFrame.

Effectuer des opérations de fusion, de remodelage, de jointure et de concaténation en utilisant pandas

Pandas fournit plusieurs méthodes pour fusionner, remodeler, joindre et concaténer des DataFrames, ce qui est utile pour combiner et transformer les données :

1. Fusion : La fonction merge() vous permet de fusionner deux DataFrames en fonction de colonnes ou d'indices communs. Vous pouvez spécifier le type de fusion à effectuer, tel que inner, outer, left ou right[^9^] :

merged_data = pd.merge(data1, data2, on='common_column', how='inner')

2. Remodelage : Les fonctions pivot() et melt() sont utiles pour remodeler les DataFrames. La fonction pivot() est utilisée pour créer un nouveau DataFrame avec un index hiérarchique, tandis que la fonction melt() est utilisée pour transformer les DataFrames au format large en format long[^10^] :

pivoted_data = data.pivot(index='row', columns='column', values='value')
melted_data = pd.melt(data, id_vars='identifier', value_vars=['column1', 'column2'])

3. Jointure : La méthode join() est utilisée pour joindre deux DataFrames en fonction de leurs index. Vous pouvez spécifier le type de jointure, similaire à la fonction merge() :

joined_data = data1.join(data2, how='inner')

4. Concaténation : La fonction concat() est utilisée pour concaténer plusieurs DataFrames le long d'un axe particulier (lignes ou colonnes). Vous pouvez spécifier si vous souhaitez concaténer le long des lignes (axe=0) ou des colonnes (axe=1)[^11^] :

concatenated_data = pd.concat([data1, data2], axis=0)

Ces opérations sont fondamentales pour travailler avec plusieurs DataFrames et peuvent être combinées pour créer des transformations et des analyses de données complexes.

Conclusion

En résumé, pandas est une puissante bibliothèque pour la manipulation et l'analyse des données en Python. La fonction read_csv() est un outil essentiel pour importer des données à partir de fichiers CSV, et pandas offre une large gamme de fonctions pour le nettoyage, l'analyse et l'exportation des données. En maîtrisant ces techniques, vous pouvez effectuer des analyses avancées des données et créer des visualisations informatives pour mener à bien vos projets axés sur les données.

Plus de tutoriels sur pandas :

• Principes de base du DataFrame pandas
• Exemples de DataFrame pandas
• Nettoyage des données dans le DataFrame pandas
• Comment tracer avec le DataFrame pandas
• Utilisez read_csv() avec le DataFrame pandas
• Accélérez vos opérations pandas avec Modin
• Qu'est-ce que le groupby dans pandas ?
• Pandas 2.0 : Quoi de neuf ?