DataFrames

¿Qué es un DataFrame?

Un DataFrame es una estructura de datos que organiza los datos en una tabla bidimensional de filas y columnas, muy parecida a una hoja de cálculo. Los DataFrames son una de las estructuras de datos más comunes utilizadas en el análisis de datos moderno, ya que son una forma flexible e intuitiva de almacenar y trabajar con datos.

Cada DataFrame contiene un plano, conocido como esquema, que define el nombre y el tipo de datos de cada columna. Los DataFrames de Spark pueden contener tipos de datos universales como StringType e IntegerType, así como tipos de datos que son específicos de Spark, como StructType. Los valores faltantes o incompletos se almacenan como valores nulos en el DataFrame.

Una analogía simple es que un DataFrame es como una hoja de cálculo con columnas con nombre. Sin embargo, la diferencia entre ambos es que una hoja de cálculo se encuentra en una sola computadora, en una ubicación específica, mientras que un DataFrame puede abarcar miles de computadoras. De esta manera, los DataFrames permiten realizar análisis de big data mediante clústeres de computación distribuida.

La razón para poner los datos en más de una computadora debería ser intuitiva: o los datos son demasiado grandes para caber en una sola máquina o simplemente tomaría demasiado tiempo realizar ese cómputo en una sola máquina.

El concepto de DataFrame es común en muchos lenguajes y frameworks diferentes. Los DataFrames son el principal tipo de datos que se usa en pandas, la popular biblioteca de Python para el análisis de datos, y también se usan en R, Scala y otros lenguajes.