Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
API de configuração voltada para o utilizador, acessível através de SparkSession.conf.
Suporta Spark Connect
As opções aqui definidas são automaticamente propagadas para a configuração Hadoop durante a I/O.
Sintaxe
spark.conf.set(key, value)
spark.conf.get(key)
Propriedades
| Propriedade | Descrição |
|---|---|
getAll |
Devolve todas as propriedades definidas nesta configuração como um dict. |
Methods
| Método | Descrição |
|---|---|
set(key, value) |
Define a propriedade de configuração em tempo de execução do Spark dada.
value pode ser uma cadeia, um inteiro ou um booleano. |
get(key, default) |
Devolve o valor da propriedade de configuração para a chave dada. Retorna default se a chave não existir. Levanta uma exceção se a chave não estiver definida e não for fornecido o padrão. |
unset(key) |
Redefine a propriedade de configuração para a chave dada. |
isModifiable(key) |
Retorna True se a propriedade de configuração para a chave dada for modificável na sessão atual. |
Exemplos
Defina e recupere uma propriedade de configuração:
spark.conf.set("key1", "value1")
spark.conf.get("key1")
'value1'
Recuperar uma propriedade com valor predefinido:
spark.conf.get("non-existent-key", "my_default")
'my_default'
Desdefinir uma propriedade de configuração:
spark.conf.set("my_key", "my_value")
spark.conf.unset("my_key")
spark.conf.get("my_key")
pyspark...SparkNoSuchElementException: ... The SQL config "my_key" cannot be found...
Recuperar todas as propriedades de configuração:
spark.conf.set("key1", "value1")
spark.conf.set("key2", "value2")
spark.conf.getAll
{'key1': 'value1', 'key2': 'value2'}