window_time

Calcula la hora del evento desde una columna de ventana. Los valores de la ventana de columna se generan mediante operadores de agregación de ventanas y son de tipo STRUCT<start: TIMESTAMP, end: TIMESTAMP> donde start es inclusivo y end es exclusivo. La hora de evento de los registros generados por operadores de agregación de ventanas se puede calcular tal y como window_time(window) son window.end - lit(1).alias("microsecond") (ya que microsegundos es la precisión mínima de tiempo de evento admitida). La columna de ventana debe ser una generada por un operador de agregación de ventanas.

Para obtener la función SQL de Databricks correspondiente, consulte window_time function.

Syntax

from pyspark.databricks.sql import functions as dbf

dbf.window_time(windowColumn=<windowColumn>)

Parámetros

Devoluciones

pyspark.sql.Column: la columna para los resultados calculados.

Examples

import datetime
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(datetime.datetime(2016, 3, 11, 9, 0, 7), 1)], ['dt', 'v'])

df2 = df.groupBy(dbf.window('dt', '5 seconds')).agg(dbf.sum('v'))