RuntimeConfig

Användaranpassat konfigurations-API som är tillgängligt via SparkSession.conf.

Stöder Spark Connect

Alternativ som anges här sprids automatiskt till Hadoop-konfigurationen under I/O.

Syntax

spark.conf.set(key, value)
spark.conf.get(key)

Fastighet	Beskrivning
`getAll`	Returnerar alla egenskaper som anges i den här konfigurationen som en diktering.

Metod	Beskrivning
`set(key, value)`	Anger den angivna konfigurationsegenskapen för Spark-körning. `value` kan vara en sträng, ett heltal eller ett booleskt värde.
`get(key, default)`	Returnerar värdet för konfigurationsegenskapen för den angivna nyckeln. Returnerar `default` om nyckeln inte finns. Genererar ett undantag om nyckeln inte har angetts och ingen standard har angetts.
`unset(key)`	Återställer konfigurationsegenskapen för den angivna nyckeln.
`isModifiable(key)`	Returnerar `True` om konfigurationsegenskapen för den angivna nyckeln kan ändras i den aktuella sessionen.

Ange och hämta en konfigurationsegenskap:

spark.conf.set("key1", "value1")
spark.conf.get("key1")

'value1'

Hämta en egenskap med ett standardvärde:

spark.conf.get("non-existent-key", "my_default")

'my_default'

Ta bort en konfigurationsegenskap:

spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")

pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...

Hämta alla konfigurationsegenskaper:

spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll

{'key1': 'value1', 'key2': 'value2'}

Var den här sidan till hjälp?