Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Tillämpar en funktion på varje nyckel/värde-par i en karta och returnerar en karta med resultatet av dessa program som nya värden för paren. Stöder Spark Connect.
För motsvarande Databricks SQL-funktion, se transform_values funktion.
Syntax
from pyspark.databricks.sql import functions as dbf
dbf.transform_values(col=<col>, f=<f>)
Parameterar
| Parameter | Typ | Description |
|---|---|---|
col |
pyspark.sql.Column eller str |
Namn på kolumn eller uttryck. |
f |
function |
En binär funktion. |
Retur
pyspark.sql.Column: en ny mappning över poster där nya värden beräknades genom att tillämpa den angivna funktionen på varje nyckelvärdeargument.
Examples
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, {"IT": 10.0, "SALES": 2.0, "OPS": 24.0})], ("id", "data"))
row = df.select(dbf.transform_values(
"data", lambda k, v: dbf.when(k.isin("IT", "OPS"), v + 10.0).otherwise(v)
).alias("new_data")).head()
sorted(row["new_data"].items())
[('IT', 20.0), ('OPS', 34.0), ('SALES', 2.0)]