Compartir a través de

to_json

Convierte una columna que contiene , StructTypeArrayTypeMapType o en VariantType una cadena JSON. Produce una excepción, en el caso de un tipo no admitido.

Syntax

from pyspark.sql import functions as sf

sf.to_json(col, options=None)

Parámetros

Parámetro Tipo Description
col pyspark.sql.Column o str Nombre de columna que contiene una estructura, una matriz, un mapa o un objeto variant.
options dict, opcional Opciones para controlar la conversión. Acepta las mismas opciones que el origen de datos JSON. Además, la función admite la pretty opción que permite la generación de JSON bastante.

Devoluciones

pyspark.sql.Column: objeto JSON como columna de cadena.

Examples

Ejemplo 1: Conversión de una columna StructType en JSON

import pyspark.sql.functions as sf
from pyspark.sql import Row
data = [(1, Row(age=2, name='Alice'))]
df = spark.createDataFrame(data, ("key", "value"))
df.select(sf.to_json(df.value).alias("json")).show(truncate=False)

+------------------------+
|json                    |
+------------------------+
|{"age":2,"name":"Alice"}|
+------------------------+

Ejemplo 2: Conversión de una columna ArrayType en JSON

import pyspark.sql.functions as sf
from pyspark.sql import Row
data = [(1, [Row(age=2, name='Alice'), Row(age=3, name='Bob')])]
df = spark.createDataFrame(data, ("key", "value"))
df.select(sf.to_json(df.value).alias("json")).show(truncate=False)

+-------------------------------------------------+
|json                                             |
+-------------------------------------------------+
|[{"age":2,"name":"Alice"},{"age":3,"name":"Bob"}]|
+-------------------------------------------------+

Ejemplo 3: Conversión de una columna MapType en JSON

import pyspark.sql.functions as sf
df = spark.createDataFrame([(1, {"name": "Alice"})], ("key", "value"))
df.select(sf.to_json(df.value).alias("json")).show(truncate=False)

+----------------+
|json            |
+----------------+
|{"name":"Alice"}|
+----------------+

Ejemplo 4: Conversión de una columna VariantType en JSON

import pyspark.sql.functions as sf
df = spark.createDataFrame([(1, '{"name": "Alice"}')], ("key", "value"))
df.select(sf.to_json(sf.parse_json(df.value)).alias("json")).show(truncate=False)

+----------------+
|json            |
+----------------+
|{"name":"Alice"}|
+----------------+

Ejemplo 5: Conversión de una columna MapType anidada en JSON

import pyspark.sql.functions as sf
df = spark.createDataFrame([(1, [{"name": "Alice"}, {"name": "Bob"}])], ("key", "value"))
df.select(sf.to_json(df.value).alias("json")).show(truncate=False)

+---------------------------------+
|json                             |
+---------------------------------+
|[{"name":"Alice"},{"name":"Bob"}]|
+---------------------------------+

Ejemplo 6: Conversión de una columna ArrayType simple en JSON

import pyspark.sql.functions as sf
df = spark.createDataFrame([(1, ["Alice", "Bob"])], ("key", "value"))
df.select(sf.to_json(df.value).alias("json")).show(truncate=False)

+---------------+
|json           |
+---------------+
|["Alice","Bob"]|
+---------------+

Ejemplo 7: Conversión a JSON con opciones especificadas

import pyspark.sql.functions as sf
df = spark.sql("SELECT (DATE('2022-02-22'), 1) AS date")
json1 = sf.to_json(df.date)
json2 = sf.to_json(df.date, {"dateFormat": "yyyy/MM/dd"})
df.select("date", json1, json2).show(truncate=False)

+---------------+------------------------------+------------------------------+
|date           |to_json(date)                 |to_json(date)                 |
+---------------+------------------------------+------------------------------+
|{2022-02-22, 1}|{"col1":"2022-02-22","col2":1}|{"col1":"2022/02/22","col2":1}|
+---------------+------------------------------+------------------------------+
  • Last updated on