10 Mejores Ejemplos y Herramientas de Consultas en Pandas: Una Guía Completa
- Name
- Oluwaseun Adeojo
Published on
Pandas es una potente biblioteca de Python para la manipulación y análisis de datos. Una de sus herramientas más poderosas es la función query(). Esta función te permite filtrar y manipular datos en un DataFrame utilizando una sintaxis intuitiva y eficiente. Este artículo profundizará en las complejidades de la función query(), proporcionándote el conocimiento que necesitas para aprovechar todo su potencial.
La función query() en Pandas funciona tomando una expresión booleana y comparándola con cada fila en tu DataFrame. Solo las filas que devuelvan True para la expresión se devuelven, filtrando eficazmente tus datos. Esta función no solo es poderosa sino también eficiente, lo que la convierte en una herramienta esencial en el conjunto de herramientas de cualquier analista de datos.
¿Quieres crear rápidamente visualizaciones de datos a partir de un dataframe de Pandas en Python sin escribir código?
PyGWalker es una biblioteca de Python para el análisis exploratorio de datos con visualización. PyGWalker (opens in a new tab) puede simplificar tu flujo de trabajo de análisis y visualización de datos en Jupyter Notebook, convirtiendo tu dataframe de pandas (y dataframe de polars) en una interfaz de usuario tipo Tableau para la exploración visual.
Parte 1: Entendiendo las Consultas en Pandas
¿Qué es una Consulta en Pandas?
La consulta en Pandas es una función de la biblioteca de Pandas que te permite filtrar datos en un DataFrame utilizando una expresión booleana. La función compara la expresión con cada fila en el DataFrame, devolviendo solo aquellas filas donde la expresión se evalúa como True. Esta función es una herramienta poderosa para la manipulación de datos y es especialmente útil cuando se trabaja conconjuntos de datos grandes.
¿Cómo funciona una Consulta en Pandas?
La consulta en Pandas funciona tomando una expresión booleana como argumento. Esta expresión se compara entonces con cada fila en el DataFrame. Si la expresión se evalúa como True para una fila en particular, esa fila se incluye en el DataFrame de salida. Si la expresión se evalúa como False, la fila se excluye.
Por ejemplo, considera un DataFrame df con una columna 'A'. Si queremos filtrar todas las filas donde 'A' sea menor que 5, podríamos usar la siguiente consulta:
df.query('A < 5')Esto devolvería un nuevo DataFrame que contiene solo las filas donde 'A' es menor que 5.
Parte 2: Consulta en Pandas vs Loc
Entendiendo la Diferencia
Si bien tanto query() como loc[] se utilizan para la selección de datos en Pandas, funcionan de manera ligeramente diferente. La función loc[] es un método de selección de datos basado en etiquetas, lo que significa que se utiliza para seleccionar datos basados en etiquetas. Por otro lado, query() es un método más flexible que utiliza una expresión de cadena para la selección de datos.
Por ejemplo, si deseas seleccionar filas donde 'A' es menor que 5, usarías loc[] de la siguiente manera:
df.loc[df['A'] < 5]Y con query(), usarías:
df.query('A < 5')Si bien ambos métodos logran el mismo resultado, query() proporciona una sintaxis más legible y concisa, especialmente cuando se trabaja con expresiones complejas.
Parte 3: Uso de Consultas en Pandas para Filtrar Datos
Filtrado Básico
El uso principal de query() es filtrar datos basados en ciertas condiciones. Como hemos visto en los ejemplos anteriores, puedes usar query() para seleccionar filas donde se cumpla una cierta condición. La condición se especifica como una cadena y puede incluir cualquier expresión válida de Python.
Por ejemplo, si tienes un DataFrame df con las columnas 'A', 'B' y 'C', y quieres seleccionar todas las filas donde 'A' sea menor que 'B' y 'C' sea mayor que 10, podrías usar la siguiente consulta:
df.query('A < B and C > 10')Esto devolvería un nuevo DataFrame que contiene solo las filas donde 'A' es menor que 'B' y 'C' es mayor que 10.
Filtrado con Múltiples Condiciones
Pandas query también te permite filtrar datos basados en múltiples condiciones. Puedes usar operadores lógicos como and y or para combinar múltiples condiciones.
Por ejemplo, si quisieras seleccionar todas las filas donde 'A' es menor que 5 o 'B' es mayor que 10, podrías usar la siguiente consulta:
df.query('A < 5 or B > 10')Esto devolvería un nuevo DataFrame que contiene solo las filas donde 'A' es menor que 5 o 'B' es mayor que 10.
Filtrado con Contenido de Cadena
Pandas query también se puede usar para filtrar datos basados en valores de cadena. Por ejemplo, si tienes un DataFrame con una columna 'Name' y deseas seleccionar todas las filas donde 'Name' contiene la cadena 'John', podrías usar la siguiente consulta:
df.query('Name.str.contains("John")')Esto devolvería un nuevo DataFrame que contiene solo las filas donde 'Name' contiene la cadena 'John'.
Parte 4: Usos Avanzados de las Consultas en Pandas
Usando Consulta con DataFrames que tienen Nombres de Columna con Espacios
Si tu DataFrame tiene nombres de columna con espacios, aún puedes usar query() utilizando comillas invertidas alrededor del nombre de la columna. Por ejemplo, si tienes una columna llamada 'First Name', podrías usar la siguiente consulta:
df.query('`First Name` == "John"')Esto devolvería un nuevo DataFrame que contiene solo las filas donde 'First Name' es 'John'.
Usando Consulta para Seleccionar Filas y Columnas
Pandas query también se puede usar para seleccionar filas y columnas específicas de un DataFrame. Por ejemplo, si quieres seleccionar las columnas 'A' y 'B' para todas las filas donde 'C' sea mayor que 10, podrías usar la siguiente consulta:
df.query('C > 10')[['A', 'B']]Este devolvería un nuevo DataFrame que contiene solo las columnas 'A' y 'B' para las filas donde 'C' es mayor que 10.
Parte 5: Optimización del rendimiento de la consulta de Pandas
La consulta de Pandas ya está optimizada para el rendimiento, pero hay algunas cosas que puedes hacer para que tus consultas se ejecuten aún más rápido. Una de las formas más efectivas de mejorar el rendimiento de la consulta es utilizar operaciones vectorizadas. Estas son operaciones que se aplican a matrices completas a la vez, en lugar de a elementos individuales.
Por ejemplo, en lugar de utilizar un bucle para iterar sobre cada elemento en una columna, puedes utilizar una operación vectorizada para aplicar una función a toda la columna de una sola vez. Esto puede mejorar significativamente el rendimiento, especialmente para conjuntos de datos grandes.
Otra forma de mejorar el rendimiento de la consulta es utilizar la función eval() junto a query(). La función eval() puede evaluar expresiones complejas de manera más eficiente que query(), y se puede utilizar para acelerar tus consultas.
Por ejemplo, si tienes una consulta compleja como esta:
df.query('A < B and C > D or E < F')Podrías utilizar eval() para evaluar la expresión de manera más eficiente:
df.query(df.eval('A < B and C > D or E < F'))Parte 6: Consulta de Pandas para Machine Learning y Generative AI
La consulta de Pandas no solo es útil para el análisis de datos, sino también para el machine learning y el generative AI. Al permitirte filtrar y manipular datos de manera eficiente, query() puede ayudarte a preparar tus datos para algoritmos de machine learning.
Por ejemplo, puedes utilizar query() para seleccionar características específicas de tu conjunto de datos, o para filtrar valores atípicos que puedan afectar negativamente el rendimiento de tu modelo. También puedes utilizar query() para crear nuevas características basadas en las existentes, lo cual puede mejorar el poder predictivo de tu modelo.
El generative AI, que implica crear nuevos datos basados en datos existentes, también puede beneficiarse de query(). Al permitirte filtrar y manipular fácilmente tus datos, query() puede ayudarte a crear datos sintéticos más diversos y realistas.
Preguntas frecuentes
¿Se puede utilizar query() con DataFrames que tienen nombres de columna con espacios?
Sí, si tu DataFrame tiene nombres de columna con espacios, aún puedes utilizar query() utilizando comillas invertidas alrededor del nombre de la columna. Por ejemplo, si tienes una columna llamada 'First Name', podrías usar la siguiente consulta:
df.query('`First Name` == "John"')¿Cómo se puede utilizar Pandas query para filtrar datos en un DataFrame?
La consulta de Pandas se utiliza para filtrar datos basados en ciertas condiciones. La función toma una expresión booleana como argumento, que se compara con cada fila en el DataFrame. Si la expresión se evalúa como True para una fila en particular, esa fila se incluye en el DataFrame de salida.
¿Cuál es la diferencia entre Pandas query y loc?
Si bien tanto query() como loc[] se utilizan para la selección de datos en Pandas, funcionan de manera ligeramente diferente. La función loc[] es un método de selección de datos basado en etiquetas, lo que significa que se utiliza para seleccionar datos según las etiquetas. Por otro lado, query() es un método más flexible que utiliza una expresión de cadena para la selección de datos.